在一個有一定規模的企業中,通常都會存在各種各樣的應用系統,它們分別由企業的各個不同部門、在各種不同歷史時期、為滿足各種不同業務目的而開發。由于數據格式沒有統一規范,相互之間沒有聯通、數據更沒有整合,像一個個煙囪,因此稱其為“煙囪式應用”。在大數據應用興起的今天,隨著企業對數據價值的高度重視,煙囪式應用帶來了數據整合難題,給數據的分析和挖掘帶來了不小的困難,已經成為當代不少企業在大數據應用乃至智能化升級路上的一個攔路虎。
有問題總要找到解決辦法,誕生于互聯網公司的數據中臺技術被認為一個有效辦法。從阿里幾年前首次將“中臺”這個概念推到市場,到如今成為行業中的一個熱詞,“中臺”的流行本質上還是用戶的真實需求在支撐。中臺到底能為企業的大數據利用帶來哪些幫助?國外的企業如何解決這類問題?從硅谷回國創業的大數據專家智領云聯合創始人、CEO 彭鋒對此進行了自己的解讀。
彭鋒于2016年從硅谷歸來,創立了智領云。彼時中國國內大數據熱還未褪去,“中臺”概念雖然不像今天這么熱,但已經被不少企業接受。在美國并沒有“中臺”這個概念,但“中臺”所做的事情,尤其是與數據相關的部分(即數據中臺)彭鋒是再熟悉不過了。他從業以來一直在做的就是這些工作。
彭鋒2000年到美國攻讀博士學位,畢業后到了硅谷,先去了當時第四大搜索引擎公司ASK.com,參與分布式操作系統(就是今天的云計算)的開發。為了追趕前面的Google、微軟、雅虎,當時的ASK.COM為此項目投入了十幾億美元。這個項目后來被放棄,彭鋒轉而參與大數據項目,在原來用作搜索的800多臺服務器集群上使用Hadoop來進行公司數據的處理,在硅谷是最早一批在生產系統中大規模使用大數據的團隊。在當時的硅谷有如此規模的Hadoop集群并不多,彭鋒在項目中擔任大數據總監,領導了分布在美國硅谷、紐約、中國杭州等多地的研發隊伍。2011年,彭鋒加入了Twitter,進入了Twitter架構委員會,擔任大數據架構師,見證了Twitter服務器規模從數十臺擴展到后來的8000臺的過程。
在美國硅谷的這段工作經歷讓彭鋒受益匪淺,其中最大的收獲是看到了數據的價值,這為彭鋒后來的創業確定了方向。
“它們真的是在用數據產生價值,用數據來驅動所有商業的決策、驅動產品的開發。整個公司都是建立在數據的決策基礎之上,數據決策非常高效和科學。”彭鋒告訴記者。
彭鋒的另一個收獲是看到了如何更好地讓數據發揮價值。無論是ASK.COM的大數據總監還是Twitter的大數據架構師,彭鋒的核心工作內容都是對數據的采集、分析和處理進行規范,以利于數據能力的共享和重用。為了做好這個工作,這些公司都專門建立了一個數據運營管理平臺,來確保數據能力的重用和共享,這個平臺與我們今天所說數據中臺的概念高度吻合。
數據中臺成就數據驅動企業
在彭鋒看來,無論是美國硅谷所說的數據運營管理平臺還是在中國流行的數據中臺,其核心目的是實現公司的數字化運營。“所謂數字化運營就是公司所有的管理、產品、人員和市場,都全部實現數字化。”彭鋒表示。
而公司之所以要努力實現數字化運營,是這樣能帶來兩個好處:其一是管理者能夠實時了解其運營狀況,從而在虧損時能夠及時止損,在賺錢時能夠盡快做決策,大大加快商業流程。其次,能支持數據驅動的產品,比如個性化的客戶服務,就高度依賴數據的分析和挖掘。
而要數字化運營,必須對企業的數據進行全面的梳理和整合,這是一個非常復雜而且長期的工作,其難點之一在于,很多企業(尤其是傳統企業)沒有建立統一的數據格式和使用規范,而整合往往涉及眾多數據源,多種處理框架,面臨很大挑戰,同時,各種來源不同的數據質量也難以保障,系統中運行的數據應用也缺乏統一的管理。而數據中臺的目的就是要解決這類問題,而且是在平臺層面系統解決問題,避免各個部門或者每個項目都要重復做這個工作。
“數據中臺把數據相關的可復用和共享的能力集中起來,而不需要每個部門都重復做。同時,不同部門在使用這個能力時還不能相互影響,需要新的功能直接在這個平臺上擴展。這就避免了今天在不少企業,尤其是傳統企業存在的數據孤島問題。”彭鋒表示。
實際上,在硅谷很少聽說過“數據孤島”這個問題,除了公司歷史普遍不長,一個重要原因正是在于類似數據運營管理平臺廣泛存在。