編輯導(dǎo)語：標簽加工與落庫是標簽體系完成后重要的步驟，本篇文章作者分享了標簽加工與落庫過程中需要關(guān)注的注意點，講述了不同標簽的加工內(nèi)容以及標簽的更新與落庫等內(nèi)容，一起來學(xué)習(xí)一下吧，希望對你有幫助。

在標簽生命周期流程中，標簽體系設(shè)計完成后，便進入標簽加工與上線運行階段，一般來說數(shù)據(jù)開發(fā)團隊會主導(dǎo)此過程，但我們需要關(guān)心以下幾個問題：

標簽如何快速創(chuàng)建和實現(xiàn)標簽邏輯的在線化管理；

業(yè)務(wù)人員怎么參與到標簽建設(shè)流程中；

百級別的標簽如何落表。

一、加工方式：傳統(tǒng) VS 在線

當企業(yè)無標簽系統(tǒng)時，一般由數(shù)據(jù)開發(fā)在離線數(shù)倉中完成標簽加工和運行，運營或市場同學(xué)需要某個標簽需要通過產(chǎn)品經(jīng)理向數(shù)據(jù)開發(fā)提需求，這個過程存在很多問題：

標簽資產(chǎn)不可見：標簽是存在于表里的字段，業(yè)務(wù)人員不清楚現(xiàn)在有多少標簽；標簽的加工邏輯與業(yè)務(wù)邏輯是否一致只能查看SQL代碼；新上線的標簽只有部分人知道，標簽價值散發(fā)慢等。

標簽資產(chǎn)不可管：加工好的標簽，有多少在真正被使用，有多少沒人用，完全黑盒，不用的標簽每天繼續(xù)運行浪費計算與存儲資源。

標簽加工效率低：當業(yè)務(wù)人員需要某個簡單標簽時，也需要提交需求給數(shù)據(jù)開發(fā)，加工到上線基本需要2-*天流程。

基于以上這些問題，標簽在線化創(chuàng)建與管理顯得尤為重要，在線化主要包含以下內(nèi)容：

標簽在線化加工；

標簽在線化管理；

標簽在線化更新。

其讓標簽加工過程、有哪些標簽變得透明，業(yè)務(wù)人員也可以參與進標簽建設(shè)的流程中。

二、各類型標簽加工

標簽類型的區(qū)分在此處便不再贅述了。在袋鼠云智能標簽產(chǎn)品中，我們按照標簽加工邏輯，將標簽分為下文類型，各類型標簽的加工層次如下圖：

接下來，我們看下具體各類型標簽的加工吧。

1. 原子標簽

該類標簽由數(shù)據(jù)開發(fā)在數(shù)倉加工中完成，一般基于數(shù)倉DWD、DWS層的明細表與匯總表加工而來，處理邏輯較為復(fù)雜，同時維表中的一些字段也可以作為原子標簽。這類標簽一般包含哪些內(nèi)容呢？

比如建立用戶的標簽體系，會包含：

用戶維表中的用戶基礎(chǔ)屬性：性別、年齡、置業(yè)、會員等級、手機號、身份證號等信息，一般用戶系統(tǒng)會有該類信息。

基于交易表加工的交易指標：最近*0天購買次數(shù)、最近*0天交易金額、最近*天購買次數(shù)、最近*天交易金額。這部分標簽也建議放在數(shù)倉中實現(xiàn)，有以下幾點原因。

因為其本身也是一個指標，除后續(xù)作為標簽進行畫像分析外，也常用于在數(shù)據(jù)門戶、BI報表中分析，可作為對外服務(wù)的指標放在ADS層中，并且市場上也會有專門指標管理的產(chǎn)品，來實現(xiàn)該指標的加工。

這類標簽若屬于同一個統(tǒng)計維度（如都計算最近*天），數(shù)據(jù)開發(fā)可以在一個SQL片段中計算多個標簽，節(jié)約計算成本。

若業(yè)務(wù)人員直接基于DWS層的輕度匯總表（每天匯總的交易次數(shù)、交易金額）、或DWD層的明細表（每條交易記錄一行數(shù)據(jù)）來加工最近*0天購買次數(shù)這個標簽，需要針對對應(yīng)的字段進行求和，稍微涉及到一點SQL理解，有一點難度。

故該類使用場景多、對于業(yè)務(wù)人員有計算難度，可在數(shù)倉中合并加工降低成本的標簽，可在數(shù)倉中作為原子標簽加工。

基于行為表加工的行為指標：可經(jīng)過數(shù)倉加工成如下表格式，加工行為類的標簽，便于后續(xù)業(yè)務(wù)人員去衍生。

原子標簽在數(shù)倉加工好后，可導(dǎo)入到標簽系統(tǒng)中，進行在線化管理。

2. 規(guī)則標簽

該類標簽配置可由數(shù)據(jù)開發(fā)或數(shù)據(jù)分析師來完成，可基于單張表或關(guān)聯(lián)表中的字段進行在線化加工，可設(shè)置統(tǒng)計周期、數(shù)據(jù)過濾條件，其內(nèi)置常用的聚合函數(shù)（求和、均值、計數(shù)、去重技術(shù)、最大值、最小值等）、操作符（大于、小于、區(qū)間、有值、無值、包含等），通過規(guī)則化的在線配置完成標簽加工。配置界面如以下：

根據(jù)上面的描述，該類標簽可以將指標的類型的標簽在數(shù)倉或指標平臺加工好，導(dǎo)入至標簽平臺作為原子標簽，再基于這些原子標簽取操作符更好。但在實際場景中，基于不同考慮，有的客戶也會在標簽平臺直接加工此類型標簽，如以下場景：

數(shù)倉無對應(yīng)的基礎(chǔ)標簽，但業(yè)務(wù)人員很著急需要該標簽?zāi)硺撕?，走正常的排期、?shù)倉加工、測試，上線到使用基本2天以上了，基于這種情況可以通過該類標簽在標簽系統(tǒng)直接配置，*分鐘即可配置、更新完成，業(yè)務(wù)人員便可以使用了；

客戶方想把標簽的加工邏輯在線化呈現(xiàn)、方便查找與追溯，通過可視化的方式在線配置。

*. SQL標簽

SQL標簽主要數(shù)據(jù)開發(fā)、數(shù)據(jù)分析師使用，主要解決通過規(guī)則標簽無法表達的邏輯，如用到排序函數(shù)、字符轉(zhuǎn)化函數(shù)、子查詢等內(nèi)容。可以通過標準SQL語法靈活完成標簽加工。

4. 模型標簽

模型標簽可由業(yè)務(wù)人員創(chuàng)建。系統(tǒng)集成常見的用戶分層RFM模型，用戶營銷AIPL模型、用戶生命周期模型，用戶輸入對應(yīng)的指標值區(qū)間，便可定義對應(yīng)的標簽值。

以RFM模型舉例，基于該模型生成“客戶價值”標簽?？苫谧罱淮钨徺I時間、最近一年消費金額、最近一年消費頻率等幾個原子標簽，進行不同區(qū)間的取值，給用戶打上“重要價值客戶”、“重要發(fā)展客戶”、“重要發(fā)展客戶”、“重要挽留客戶”等。

*. 組合標簽

模型標簽可由業(yè)務(wù)人員創(chuàng)建?；谝焉傻脑?、規(guī)則、SQL、模型標簽等，進行規(guī)則衍生，生成組合標簽。如組合標簽“高收入低購買”用戶，可通過“收入水平”衍生標簽，與“最近*年消費金額區(qū)間”衍生標簽組合加工，如下圖：

6. 自定義標簽

自定義標簽可由業(yè)務(wù)人員創(chuàng)建。手動為某些用戶打上標簽，該類標簽手動導(dǎo)入，常見場景如下：

客服人員和用戶ID為1001的用戶溝通后，給該用戶打上”性格：溫和、有耐心”標簽。

如監(jiān)管機構(gòu)提供的一些信貸黑名單用戶，該類標簽可直接導(dǎo)入進標簽系統(tǒng)，為用戶打上新的標簽。

*. 算法標簽

算法標簽由算法開發(fā)同學(xué)創(chuàng)建，該類標簽可在算法平臺完成，將算好的結(jié)果存儲至Hive表中，標簽系統(tǒng)可獲取算法標簽的元數(shù)據(jù)，拿到算法標簽的中文名、英文名，注冊至標簽系統(tǒng)中，在標簽系統(tǒng)中完成算法標簽的標簽信息查看、標簽查詢等。

如利用機器學(xué)習(xí)模型加工預(yù)測類的算法標簽，如根據(jù)用戶的特征，預(yù)測哪些用戶是否即將流失，流失的概率等，從而在用戶流失之前做一些措施來挽留。

8. 實時標簽

實時標簽由數(shù)據(jù)開發(fā)同學(xué)創(chuàng)建，該類標簽可在流計算平臺完成，實時行為數(shù)據(jù)打入到kafka中，用FlinkSQL消費，再輸出到Kafka、或數(shù)據(jù)表中，下游直接訂閱或查詢。

三、標簽更新與落庫

標簽配置完成后，便需要進行標簽更新與落庫，即將標簽打到對象（如用戶）的身上，這樣業(yè)務(wù)同學(xué)就可以根據(jù)標簽圈選目標群組啦。在此處我們需要說明以下幾個問題：

1. 技術(shù)選型

首先說明一下標簽加工的技術(shù)選型，在袋鼠云智能標簽產(chǎn)品中我們用的 Trino（Presto）高性能分析引擎讀寫 Hive 表的方式，標簽表存儲在Hive中。主要有以下幾點原因：

隨著國家對數(shù)字化轉(zhuǎn)型的支持，從金融、政府到小企業(yè)都在建設(shè)數(shù)倉，進行數(shù)字化應(yīng)用，在這個過程中，大多采用的是分布式的Hadoop系統(tǒng)作為計算存儲引擎（不論是開源Hadoop，還是發(fā)行版的CDH、TDH、FusionInsight等），Hive表便是最常用的存儲形式。標簽是基于數(shù)倉模型搭建出來的，與數(shù)倉用同一種存儲可以節(jié)省存儲資源以及不用兩種存儲之間進行數(shù)據(jù)交換。

而用Trino（Presto）的原因是其首先是一個分析型引擎，讀寫速度均可；其次是其SQL語法完備、函數(shù)豐富、靈活，可以處理絕大多是業(yè)務(wù)場景的需求；并且支持跨庫同時讀取，如Trino可以同時取Hive與MySQL的數(shù)據(jù)進行數(shù)據(jù)處理。

但沒有一種完美的技術(shù)選型，只能貼合企業(yè)自己的業(yè)務(wù)，選取最合適的技術(shù)。在這里我們就不分析各種標簽的技術(shù)選型了。

2. 落表方式

上面我們介紹了有各種類型的標簽，標簽如何落表呢，大家看下面這個圖：

在業(yè)務(wù)場景中，存在有的標簽需要每天更新，如最近*0天消費金額區(qū)間。而有的標簽周更新、月更新即可，更新頻率不高，如活動類型偏好。

這樣，便需要支持每個標簽有不同的更新頻率，但hive2.x版本不支持單列更新，為了解決該問題，我們將每個標簽先在臨時表存一下（就包含2列，1列用戶ID，1列標簽）該臨時表即建即用即刪，每個標簽只有一個臨時表（非分區(qū)表），每個標簽占用的占用不大，又能解決標簽更新周期不一致的問題。

但如果后續(xù)的標簽圈群、群組畫像分析，我們基于這些單獨表的去做吉印通查詢，那效率會很低。

因為每個用營銷活動，我們需要*個標簽圈選出來一批人群，并查詢出這群人的性別、年齡、月消費、會員等級、是否活躍用戶等信息，加起來用到了10個標簽左右，會涉及到10個表的join操作，客戶集群資源不豐裕的情況，查詢速度慢。

所有我們便將多個臨時表通過聚合任務(wù)，將所有的臨時表join到一張標簽大寬表中，進行固化，這張表是一個分區(qū)表，可以每天存儲一份全量用戶標簽信息，當然可以自行設(shè)置該表的更新周期與保存多少個分區(qū)。

這樣，業(yè)務(wù)人員進行圈群和分析就可以一張表查詢數(shù)據(jù)，查詢效率大大提升。通過標簽跑批時間的消耗換取業(yè)務(wù)的查詢速度。

但會遇到有些企業(yè)標簽數(shù)量在*00-1000個之間，用戶量在千萬、億級別，這樣的話，用一張表去存所有的標簽會遇到標簽大寬表跑批時間過長或跑不出來的情況，所以便需要分表，可以根據(jù)標簽數(shù)量分表。

綜上，以上加工存儲方式，有缺點的地方便是大寬表加工時，需要join多個臨時表，消耗內(nèi)存，跑批時間長。

為解決該問題，袋鼠云智能標簽產(chǎn)品在引入數(shù)據(jù)湖Iceberg進行標簽表的存儲，其可以實現(xiàn)單列更新，每個標簽可以單獨更新，這樣，便不需要那些臨時表了，解決加工效率的問題。

該篇講了標簽的加工與落庫，歡迎大家留言討論，也可以分享下自己見到一些好的標簽加工方式，我們共同進步。

對了，業(yè)務(wù)人員怎么參與到標簽建設(shè)流程中，該問題在【標簽畫像系列】標簽畫像建設(shè)方法論中有介紹過，可以去那里查看。

本文由 @木研 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自 Unsplash，基于 CC0 協(xié)議。