數(shù)據(jù)中臺建設(shè)是一個宏大的工程，涉及整體規(guī)劃、組織搭建、中臺落地與運營等方方面面的工作，本節(jié)重點從物理形態(tài)上講述企業(yè)的數(shù)據(jù)中臺應(yīng)該如何搭建。一般來講，企業(yè)的數(shù)據(jù)中臺在物理形態(tài)上分為三個大層：工具平臺層、數(shù)據(jù)資產(chǎn)層和數(shù)據(jù)應(yīng)用層(見圖4-2)。
▲圖4-2 數(shù)據(jù)中臺功能架構(gòu)
1. 工具平臺層
工具平臺層是數(shù)據(jù)中臺的載體，包含大數(shù)據(jù)處理的基礎(chǔ)能力技術(shù)，如集數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)計算、數(shù)據(jù)安全等于一體的大數(shù)據(jù)平臺;還包含建設(shè)數(shù)據(jù)中臺的一系列工具，如離線或?qū)崟r數(shù)據(jù)研發(fā)工具、數(shù)據(jù)聯(lián)通工具、標(biāo)簽計算工具、算法平臺工具、數(shù)據(jù)服務(wù)工具及自助分析工具。
以上工具集基本覆蓋了數(shù)據(jù)中臺的數(shù)據(jù)加工過程。
(1) 數(shù)據(jù)開發(fā)平臺
大數(shù)據(jù)的4V特征[1]決定了數(shù)據(jù)處理是一個復(fù)雜的工程。建設(shè)數(shù)據(jù)中臺需要搭建建設(shè)數(shù)據(jù)中臺的基建工具，要滿足各種結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的采集、存儲與處理，要根據(jù)場景處理離線和實時數(shù)據(jù)的計算與存儲，要將一個個數(shù)據(jù)處理任務(wù)串聯(lián)起來以保障數(shù)據(jù)的運轉(zhuǎn)能賦能到業(yè)務(wù)端。
[1] 大數(shù)據(jù)的4V 指Volume(數(shù)據(jù)量大)、Variety(類型繁多)、Velocity(速度快，效率高)、Value(價值密度低)。
因此首先搭建一個大數(shù)據(jù)能力平臺是非常有必要的。當(dāng)然，可根據(jù)企業(yè)實際情況來決定是外采還是自建平臺。
(2) 數(shù)據(jù)資產(chǎn)管理
數(shù)據(jù)中臺建設(shè)的成功與否，與數(shù)據(jù)資產(chǎn)是否管理有序有直接關(guān)系。前文提到，數(shù)據(jù)中臺是需要持續(xù)運營的。隨著時間的推移，數(shù)據(jù)不斷涌入數(shù)據(jù)中臺，如果沒有一套井然有序的數(shù)據(jù)資產(chǎn)平臺來進(jìn)行管理，后果將不堪設(shè)想。
數(shù)據(jù)資產(chǎn)管理工具既能幫助企業(yè)合理評估、規(guī)范和治理信息資產(chǎn)，又可以發(fā)揮數(shù)據(jù)資產(chǎn)價值并促進(jìn)數(shù)據(jù)資產(chǎn)持續(xù)增值。對于數(shù)據(jù)資產(chǎn)管理，我們不推薦事后管理，而要與數(shù)據(jù)研發(fā)的過程聯(lián)動。也就是說，當(dāng)數(shù)據(jù)經(jīng)過數(shù)據(jù)開發(fā)平臺加工的鏈路時，數(shù)據(jù)資產(chǎn)管理平臺就已經(jīng)無聲無息地介入了。
數(shù)據(jù)資產(chǎn)管理的首要任務(wù)是管理好進(jìn)入數(shù)據(jù)中臺的元數(shù)據(jù)，這里的元數(shù)據(jù)包括數(shù)據(jù)源、建設(shè)的各種模型、通過模型拆解出來的指標(biāo)與標(biāo)簽以及調(diào)度作業(yè)。有序管理這些數(shù)據(jù)資產(chǎn)的元數(shù)據(jù)是前提條件，只有做好了這一步，才能繼續(xù)對數(shù)據(jù)流向的追溯，才能對指標(biāo)、標(biāo)簽體系的生命周期進(jìn)行管理，確定指標(biāo)的使用頻率，決定是否下線。
(3) 標(biāo)簽工廠
標(biāo)簽工廠又稱標(biāo)簽平臺，是數(shù)據(jù)中臺體系內(nèi)的明星工具類產(chǎn)品。標(biāo)簽建設(shè)是數(shù)據(jù)中臺走向數(shù)據(jù)業(yè)務(wù)化的關(guān)鍵步驟。因此，一個強(qiáng)大的標(biāo)簽工廠是數(shù)據(jù)中臺價值體現(xiàn)的有力保障。
嚴(yán)格來說，標(biāo)簽工廠也屬于數(shù)據(jù)開發(fā)平臺的一部分，為什么我們要把它單獨剝離出來講呢?這是因為標(biāo)簽的使用場景豐富，標(biāo)簽與業(yè)務(wù)結(jié)合得非常緊密;同時，標(biāo)簽數(shù)據(jù)的存儲與分析型數(shù)據(jù)的存儲有一定的差異。
標(biāo)簽工廠致力于屏蔽底層復(fù)雜的大數(shù)據(jù)框架，面向普通開發(fā)人員、數(shù)據(jù)分析師、運營人員提供友好的界面交互配置，完成標(biāo)簽的全生命周期管理;同時，對上層業(yè)務(wù)系統(tǒng)提供自身API能力，與各業(yè)務(wù)系統(tǒng)形成數(shù)據(jù)閉環(huán)。
標(biāo)簽工廠按功能一般分為兩部分：底層的標(biāo)簽計算引擎與上層的標(biāo)簽配置與管理門戶。標(biāo)簽計算引擎一般會采用MapReduce、Spark、Flink等大數(shù)據(jù)計算框架，而計算后的標(biāo)簽存儲可采用Elasticsearch或者HBase，這樣存儲的好處是便于快速檢索。
而標(biāo)簽配置與管理門戶則支持通過配置標(biāo)簽規(guī)則提交到標(biāo)簽計算引擎，就能定時算出所需要的標(biāo)簽。標(biāo)簽配置和管理門戶還提供標(biāo)準(zhǔn)的標(biāo)簽服務(wù)申請與調(diào)用。通過標(biāo)簽工廠，數(shù)據(jù)中臺團(tuán)隊可減少大量的數(shù)據(jù)開發(fā)工作。
(4) ID-Mapping
ID-Mapping又稱ID打通工具，directadmin授權(quán)，是數(shù)據(jù)中臺建設(shè)的可選項。可選不代表不重要，在一些多渠道、多觸點的新零售企業(yè)，離開了這個工具，數(shù)據(jù)質(zhì)量將大打折扣。
舉個例子。消費者在逛街的時候看到一款剃須刀，掃了店內(nèi)的二維碼，正準(zhǔn)備下單購買時被朋友的電話中斷了。回到家，打開抖音又看到這個剃須刀的廣告，便立即打開鏈接下單購買了。
這樣的場景在生活中比比皆是，VPS，其中隱藏了很多的消費者信息，如果我們不去打通ID，那么可能至少會將同一個用戶當(dāng)作4個用戶來處理。實際上可以將掃描二維碼記錄留下的OpenID、抖音注冊留下的微信號、下單提供的訂單手機(jī)號碼及注冊賬號等多條信息結(jié)合起來，判別是不是同一個人。這樣給這個消費者打標(biāo)簽或者推薦商品就會更加精準(zhǔn)。
