數(shù)據(jù)是指記錄和識(shí)別客觀事件的符號(hào),是記錄客觀事物的性質(zhì)、狀態(tài)和相互關(guān)系或這些物理符號(hào)組合的物理符號(hào)。它是一個(gè)可識(shí)別的抽象符號(hào)。如何實(shí)現(xiàn)“數(shù)據(jù)找人而不是人找數(shù)據(jù)”的夢(mèng)想?“數(shù)據(jù)織物”悄然出現(xiàn)。IBM大中華區(qū)技術(shù)事業(yè)部云計(jì)算與認(rèn)知軟件事業(yè)部數(shù)據(jù)與人工智能信息架構(gòu)產(chǎn)品總監(jiān)王積杰稱之為“數(shù)據(jù)經(jīng)緯度”,而高德納高級(jí)研究總監(jiān)孫鑫則認(rèn)為“數(shù)據(jù)編織”更適合,因?yàn)樗J(rèn)為數(shù)據(jù)編織更“動(dòng)態(tài)”。在Data Fabric問(wèn)世之前,數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)主要部署為靜態(tài)基礎(chǔ)設(shè)施,但未來(lái)將需要采用更加動(dòng)態(tài)的數(shù)據(jù)網(wǎng)格方法進(jìn)行徹底的重新設(shè)計(jì)。孫鑫在接受記者采訪時(shí)表示,Data Fabric不是產(chǎn)品,而是一種設(shè)計(jì)理念,利用AI、機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)的功能來(lái)訪問(wèn)數(shù)據(jù)或支持?jǐn)?shù)據(jù)動(dòng)態(tài)集成,從而發(fā)現(xiàn)可用數(shù)據(jù)之間獨(dú)特的、與業(yè)務(wù)相關(guān)的關(guān)系。
然而,IBM對(duì)數(shù)據(jù)結(jié)構(gòu)的看法與高德納專家提到的“動(dòng)態(tài)”、“數(shù)據(jù)網(wǎng)格”和人工智能賦能并不沖突。IBM中國(guó)R&D中心首席技術(shù)官趙俊偉解釋說(shuō):“經(jīng)緯作為名詞,原本是指織物的直線和水平線,引申為萬(wàn)物相連的規(guī)律。”《左傳·趙專公二十五年》寫(xiě)道——‘禮,紀(jì)律上下,天地經(jīng)緯’。”作為地理概念,經(jīng)緯度可以定位地球上的任何位置,而‘數(shù)據(jù)經(jīng)緯度’可以定位復(fù)雜企業(yè)數(shù)據(jù)目錄中的任何數(shù)據(jù)源。經(jīng)緯是動(dòng)詞,意思是規(guī)劃和治理。《周樹(shù)》中提到的“田靜狄威紀(jì)”,意思是治理天下。"
“我們可以將Data Fabric視為虛擬網(wǎng)絡(luò),它不是點(diǎn)對(duì)點(diǎn)連接,而是虛擬連接。每個(gè)節(jié)點(diǎn)可以是不同的數(shù)據(jù)系統(tǒng),不同系統(tǒng)上的數(shù)據(jù)可以在互聯(lián)網(wǎng)上快速定位和找到。數(shù)據(jù)結(jié)構(gòu)的主要功能是在正確的時(shí)間將正確的數(shù)據(jù)提供給正確的人。通過(guò)數(shù)據(jù)結(jié)構(gòu),合適的人可以在合適的時(shí)間從合適的地點(diǎn)獲得合適的數(shù)據(jù)。”王積杰告訴記者。目前數(shù)據(jù)連接的架構(gòu)設(shè)計(jì)主要以“人找數(shù)據(jù)”為主,而Data Fabric設(shè)計(jì)的核心是“數(shù)據(jù)找人”,可以在合適的時(shí)間將合適的數(shù)據(jù)推送給需要的人。
為什么Data Fabric會(huì)成為一種趨勢(shì),為什么未來(lái)會(huì)有越來(lái)越多的企業(yè)以這種方式部署?王積杰談到了數(shù)據(jù)利用結(jié)構(gòu)模式的變化。在傳統(tǒng)的IT時(shí)代,無(wú)論是早年的“數(shù)據(jù)倉(cāng)庫(kù)”還是近年來(lái)的“數(shù)據(jù)湖”“大數(shù)據(jù)”時(shí)代,其實(shí)數(shù)據(jù)利用都是一個(gè)集中的結(jié)構(gòu),將數(shù)據(jù)集中在一起,讓企業(yè)數(shù)據(jù)分析師和BI (Business Intelligence)分析師對(duì)數(shù)據(jù)進(jìn)行分析。然而,在云計(jì)算時(shí)代,用戶的業(yè)務(wù)部署在多云的環(huán)境中,收集分布在不同云中的數(shù)據(jù)成本高、費(fèi)力,因此采用分散、分布式的數(shù)據(jù)網(wǎng)絡(luò)架構(gòu)是必然的選擇。
數(shù)據(jù)結(jié)構(gòu)可以同時(shí)為業(yè)務(wù)和技術(shù)團(tuán)隊(duì)帶來(lái)明顯的價(jià)值。王積杰表示,從業(yè)務(wù)角度來(lái)看,因?yàn)槠髽I(yè)可以輕松獲得高質(zhì)量的數(shù)據(jù),他們可以更快、更準(zhǔn)確地獲得企業(yè)數(shù)據(jù)洞察。從技術(shù)方面來(lái)說(shuō),數(shù)據(jù)復(fù)制的次數(shù)和頻率更少,減少了數(shù)據(jù)整合的工作,方便了數(shù)據(jù)質(zhì)量和標(biāo)準(zhǔn)的維護(hù),降低了硬件架構(gòu)和存儲(chǔ)的開(kāi)銷。由于減少了數(shù)據(jù)復(fù)制并大大優(yōu)化了數(shù)據(jù)流,數(shù)據(jù)處理過(guò)程得到了加速和簡(jiǎn)化,從而通過(guò)實(shí)施自動(dòng)化的整體數(shù)據(jù)策略減少了數(shù)據(jù)訪問(wèn)管理的工作。
Gartner認(rèn)為,隨著數(shù)據(jù)復(fù)雜性的不斷增加和數(shù)字服務(wù)的加速發(fā)展,Data Fabric已成為支持組合數(shù)據(jù)分析及其各種組件的基礎(chǔ)架構(gòu)。由于在技術(shù)設(shè)計(jì)中可以使用/重用和組合不同的數(shù)據(jù)集成方法,Data Fabric可以將集成設(shè)計(jì)時(shí)間縮短30%,部署時(shí)間縮短30%,維護(hù)時(shí)間縮短70%。IBM 7月發(fā)布的Cloud Pak for Data4.0增加了智能數(shù)據(jù)結(jié)構(gòu)功能,其中AutoSQL(結(jié)構(gòu)化查詢語(yǔ)言)可以通過(guò)AI自動(dòng)訪問(wèn)、集成和管理數(shù)據(jù),可以幫助客戶以8倍的速度、不到一半的成本獲得分布式查詢的答案。
如何“編織”數(shù)據(jù)?
數(shù)據(jù)結(jié)構(gòu)如何“編織”實(shí)現(xiàn)“數(shù)據(jù)找人而不是人找數(shù)據(jù)”?據(jù)王積杰介紹,數(shù)據(jù)結(jié)構(gòu)至少需要四個(gè)維度。首先,它可以在數(shù)據(jù)之間建立虛擬鏈接,簡(jiǎn)化數(shù)據(jù)訪問(wèn)模式,從而減少數(shù)據(jù)復(fù)制的次數(shù)。二是建立企業(yè)數(shù)據(jù)目錄,利用AI技術(shù)自動(dòng)實(shí)現(xiàn)語(yǔ)義和知識(shí)分析,理解數(shù)據(jù)及其業(yè)務(wù)含義,建立知識(shí)圖譜,從而使數(shù)據(jù)目錄智能化、自動(dòng)化。需要數(shù)據(jù)的用戶可以隨時(shí)知道哪里需要數(shù)據(jù)以及如何需要數(shù)據(jù)。三是建立自動(dòng)化數(shù)據(jù)平臺(tái),允許用戶以自助方式訪問(wèn)和獲取數(shù)據(jù)。第四,通過(guò)提供全面的自動(dòng)化策略,我們可以確保數(shù)據(jù)安全,增加數(shù)據(jù)隱私和權(quán)限保護(hù),并提高數(shù)據(jù)質(zhì)量。
數(shù)據(jù)編織是一種新的設(shè)計(jì)理念,是數(shù)據(jù)管理和數(shù)據(jù)收集理念的轉(zhuǎn)變。它不是與數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖等技術(shù)的替代關(guān)系。既可以利用數(shù)據(jù)中心、數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)的現(xiàn)有技術(shù)和技能,也可以在未來(lái)增加新的方法和工具。孫鑫談到了實(shí)現(xiàn)Data Fabric的一些關(guān)鍵技術(shù),比如增強(qiáng)數(shù)據(jù)目錄。為了找到數(shù)據(jù)而不是數(shù)據(jù)的人,需要一個(gè)增強(qiáng)的數(shù)據(jù)目錄。應(yīng)該涵蓋用戶數(shù)據(jù)使用的頻率和機(jī)制,了解數(shù)據(jù)和業(yè)務(wù)的關(guān)系。它還包括知識(shí)地圖,通過(guò)知識(shí)地圖可以發(fā)現(xiàn)數(shù)據(jù)和業(yè)務(wù)之間的關(guān)系,并找到元數(shù)據(jù)利用的集成策略。還包括推薦引擎和數(shù)據(jù)準(zhǔn)備階段的低代碼等工具。低代碼工具的作用是降低數(shù)據(jù)使用的門(mén)檻。
從Data Fabric推動(dòng)的困難來(lái)看,“一是概念層面的問(wèn)題,中國(guó)用戶還沒(méi)有意識(shí)到數(shù)據(jù)利用和使用的方式發(fā)生了變化,傳統(tǒng)的集中收集和復(fù)用的方式已經(jīng)不能滿足需求。二是目前很多企業(yè)對(duì)元數(shù)據(jù)不夠重視。第三,從人的角度出發(fā),需要提高企業(yè)數(shù)據(jù)工程師培訓(xùn)知識(shí)圖譜、圖語(yǔ)言、圖建模等數(shù)據(jù)工具的能力。第四,數(shù)據(jù)編織的實(shí)現(xiàn)不是找廠家就能完成的。這是一段旅程,需要分幾步走。”據(jù)孫鑫介紹,從用戶角度來(lái)看,率先采用Data Fabric的是金融電信行業(yè)和數(shù)據(jù)應(yīng)用場(chǎng)景復(fù)雜的用戶。在這一點(diǎn)上,王積杰表達(dá)了與孫鑫相同的觀點(diǎn)——這是一個(gè)方向,但不可能一蹴而就。用戶需要一步一步地實(shí)現(xiàn)它。關(guān)鍵是要意識(shí)到趨勢(shì),并在后續(xù)的項(xiàng)目實(shí)施中按照Data Fabric的思路進(jìn)行構(gòu)建。
國(guó)產(chǎn)廠商為何止步不前?
雖然Gartner、Forrester等分析師在幾年前就指出,Data Fabric是數(shù)據(jù)利用和分析領(lǐng)域的革命性變革,是未來(lái)的方向,但記者在國(guó)內(nèi)大數(shù)據(jù)相關(guān)領(lǐng)域企業(yè)采訪時(shí)發(fā)現(xiàn),了解或布局,甚至找不到的企業(yè)并不多。這與國(guó)內(nèi)大數(shù)據(jù)廠商的分布有關(guān)。“國(guó)內(nèi)做數(shù)據(jù)庫(kù)和BI(商業(yè)智能)的企業(yè)很多,但做數(shù)據(jù)集成的企業(yè)很少。事實(shí)上,國(guó)外的數(shù)據(jù)編織往往是由數(shù)據(jù)集成和數(shù)據(jù)虛擬化廠商完成的。這很好地理解了為什么國(guó)內(nèi)大數(shù)據(jù)廠商沒(méi)有進(jìn)入Data Fabric,因?yàn)檫@樣的企業(yè)并不多。”孫鑫告訴記者。
大廠商不進(jìn)入市場(chǎng)很容易理解,因?yàn)樵贒ata Fabric的思想下,往往需要用點(diǎn)和邊的新方式來(lái)描述數(shù)據(jù)關(guān)系,需要知識(shí)圖譜、圖數(shù)據(jù)庫(kù)等。,這往往是新公司正在做的領(lǐng)域,而大廠商往往都有自己的數(shù)據(jù)集成工具,都希望在自己的平臺(tái)上進(jìn)行集成,但這種情況在未來(lái)幾年肯定會(huì)改變。“數(shù)據(jù)結(jié)構(gòu)(Data Fabric)的概念在全球范圍內(nèi)變得炙手可熱,但目前國(guó)內(nèi)了解它的IT用戶并不多。十年前,大數(shù)據(jù)概念在國(guó)外興起后,不到三年就被中國(guó)用戶廣泛接受。未來(lái)中國(guó)接受和應(yīng)用這種數(shù)據(jù)結(jié)構(gòu)概念需要多長(zhǎng)時(shí)間?等待時(shí)間給出答案。”王積杰說(shuō)道。租用服務(wù)器可咨詢夢(mèng)飛云idc了解。