在數據中臺之前,企業都在探索各種方式來利用數據的價值,同時也處理著數據帶來的問題。例如各個業務系統以煙囪架構形式存在,長期以往導致數據孤島,數據隔離,數據一致性等一系列的問題,那么當我們需要充分利用數據的時候,就不得不去考慮怎么解決這些問題。于是各個企業分別形成數據團隊或者數據部分開始繼續數據整頓工作,數據倉庫,數據湖,主數據治理等一系列的工作應運而生;數據中臺對一個企業的重要性,逐漸被發現。
再加上云計算、人工智能、5G等技術的蓬勃發展,帶來了智能化時代算力的提升。以數據為“能源”、以技術為“引擎”,國內服務器,才能將數據轉化為智能,產生突破局限、跨越發展的力量。
TalkingData在T11 2019數據智能技術峰會上發布了拳頭型產品,TalkingData數據中臺——SmartDP數據智能平臺的全新版本SmartDP Fusion,旨在幫助企業加速數據與業務場景的融合發展,推動傳統企業數字化轉型進程。那么現今數據中臺落地現狀如何,背后涉及的實現技術有哪些?小編專訪了TalkingData的技術專家,帶大家一探究竟。
數據中臺現狀
對于很多企業來說,其實數據中臺的建設就是加速數據到價值的過程。企業的數據中臺都要經過數據的清洗、標準化、加工融合、開發、上架的過程。本質上,數據中臺就是對企業數據治理的一系列動作,對于如何利用數據來發力,去形成一個強有力的底座。
都在說2019是的數據中臺元年,很多企業都在聊數據中臺,那么企業數據中臺為何如此火爆?
首先是企業信息化演進的必然。企業在生產中習慣了往常的摸著石頭過河,來到今天的數字化轉型也是,企業數字化系統是一個一個地逐步建立起來的,加上部門、業務割裂的原因,系統互通存在嚴重的問題,這并不是新鮮。不通則痛,國內服務器租用服務器托管,痛則思變,就要變出數據中臺。其次是互聯網技術應用的成熟。這個一是互聯網讓業務數據化更為普遍,二是技術架構可以支撐起更大規模數據的統一管理和應用。最后卻是最重要的,是經濟下行對企業技術與組織建設的影響。
AI助力數據中臺落地
“AI可以看做是大數據的一種處理方法,目前從狹義的AI上講,技術模式和傳統數據處理模式有一些差異,特別是從它的計算密集性上,和傳統的大數據相比,在做報表、做洞察這些應用上是有區別的。“在采訪時TalkingData首席架構師黃洋成提到:”另外,本身的計算分布也不一樣,從流程上看,一般來說會分成訓練和生產、上線這兩個階段。以前像傳統的大數據來支持別的流程,開發本身相對輕量,生產上會消耗的資源更多一些。“
據TalkingData認為,大數據和AI這兩個技術鏈路從業務解決的角度是非常類似的。中國與美國或者其他成熟市場不同,并不是從IT化、到數據化,再一步一步走到智能。在國內有更多的應用場景,也為新AI技術提供了快速應用、發展的土壤。在這方面,TalkingData在2019年也做了很多智能產品應用場景的探索,包括從智能選址、到銷量預測、再到千人千面推薦系統等方面的探索。
此外,在人員部署方面,TalkingData重點在建設數據科學家團隊。TalkingData期待通過數據科學家的技術能力和思維方式來加速工程落地。其次TalkingData也在投入一些AI方面的平臺建設,以及對數據科學家的一些支持,讓數據科學和大數據之間兩者之間技能上的距離彌補的越來越小。
安全和隱私至關重要
“TalkingData是一直很重視數據安全和合規性。”閻志濤提到:“TalkingData從端側處理數據的時候從開始就做脫敏,可能也是國內最早提出脫敏ID的公司。目前我們在與麻省理工學院合作探索OPAL(Open Algorithms)框架,目標是在數據不流動的情況下讓數據利用起來。包括從去年開始嘗試去用同態加密算法做安全數據分享,也有一些專利的產生。還有在嘗試用英特爾的可信計算能力,去做基于可信環境的數據安全計算能力等等。”
閻志濤認為,大環境的趨勢是對合規安全越來越重視。對于大數據公司來講,或者對于任何一個需要運用數據的公司來講,如何在合規的情況下、不侵犯用戶隱私的情況下,用技術的手段合規地去發揮出這些數據的價值,這是所有公司面臨的挑戰,也是TalkingData一直在探索和解決的問題。
數據中臺未來在哪里
TalkingData認為,如果沒有適合的業務場景,數據中臺產品很難在企業中用起來,因為數據中臺還需要反過來幫助企業定義業務場景,把業務場景梳理清楚,再對應數據中臺某一個能力,比如數據科學的能力、數據工程的能力、數據安全的能力等。這也是TalkingData在今年發布新版數據智能平臺SmartDP Fusion的原因,要把對行業的理解和積淀固化在系統和產品里面去,再傳遞出來。
專訪TalkingData技術專家