在2017年的下半年談?wù)摯?a href="http://www.qzkangyuan.com/cnidc/bigdata/faal/20170619/3456.html">數(shù)據(jù)似乎已經(jīng)沒(méi)有什么新意，甚至有些令人生厭了，畢竟這個(gè)詞在中國(guó)已經(jīng)流行太久，形形色色的產(chǎn)品、平臺(tái)和公司早已貼滿了大數(shù)據(jù)標(biāo)簽，而真正有價(jià)值的創(chuàng)新永遠(yuǎn)都是少數(shù)。
行業(yè)對(duì)于大數(shù)據(jù)的認(rèn)知開(kāi)始變得更加理性和客觀，這是一種成熟的表現(xiàn)。但如果因此就認(rèn)為大數(shù)據(jù)時(shí)代已經(jīng)進(jìn)入風(fēng)平浪靜的“發(fā)展期”，那么我們很可能會(huì)錯(cuò)過(guò)一場(chǎng)更加波瀾壯闊的變革。
被忽視的非結(jié)構(gòu)化數(shù)據(jù)
在過(guò)去幾年，大數(shù)據(jù)產(chǎn)業(yè)更多關(guān)注的是如何處理海量、多源和異構(gòu)的數(shù)據(jù)，并從中獲得價(jià)值，而其中絕大多數(shù)都是結(jié)構(gòu)化數(shù)據(jù)。不可否認(rèn)，這些數(shù)據(jù)的體量足夠巨大，然而我們今天必須承認(rèn)這些只是冰山一角——行業(yè)公認(rèn)的數(shù)據(jù)是，結(jié)構(gòu)化數(shù)據(jù)僅占到全部數(shù)據(jù)量的20%，其余80%都是以文件形式存在的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，包括各種辦公文檔、圖片、視頻、音頻、設(shè)計(jì)文檔、日志文件、機(jī)器數(shù)據(jù)等，這些數(shù)據(jù)如同“暗網(wǎng)”一般地沉默著。可以想象，如果我們只閱讀了一本書(shū)的五分之一，又如何正確理解這本書(shū)的含義呢?
非結(jié)構(gòu)化數(shù)據(jù)占數(shù)據(jù)總量的80%以上
事實(shí)上，過(guò)去大家并非有意忽視非結(jié)構(gòu)化數(shù)據(jù)，而是受到一些條件的制約和影響，不得不策略性地“放棄”這部分數(shù)據(jù)：
1、存儲(chǔ)資源受限，大量數(shù)據(jù)被拋棄
非結(jié)構(gòu)化數(shù)據(jù)體量巨大并且產(chǎn)生速度非常快，需要占用大量的存儲(chǔ)資源，而存儲(chǔ)成本降低也只是最近幾年的事情，大量數(shù)據(jù)還沒(méi)有加以分析和利用就被早早拋棄，以便為新產(chǎn)生的數(shù)據(jù)騰出空間;
2、數(shù)據(jù)體量大，獲取和流轉(zhuǎn)困難
對(duì)于已經(jīng)保留下來(lái)的非結(jié)構(gòu)化數(shù)據(jù)，真要去使用和處理它，依然是一項(xiàng)不討好的“體力活兒”。由于體量、距離和網(wǎng)速的原因，非結(jié)構(gòu)化數(shù)據(jù)并不容易獲得，更不要說(shuō)被靈活地放入業(yè)務(wù)分析和處理流程之中了;
3、缺乏處理分析的技術(shù)手段
非結(jié)構(gòu)化數(shù)據(jù)的價(jià)值密度相對(duì)較低，缺乏有效的技術(shù)對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理和分析，面對(duì)海量文件數(shù)據(jù)束手無(wú)策。相比之下，結(jié)構(gòu)化數(shù)據(jù)更容易入手，優(yōu)先處理結(jié)構(gòu)化數(shù)據(jù)也是非常合情合理的。
結(jié)構(gòu)化數(shù)據(jù)的局限性
然而在對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析和挖掘的過(guò)程中，我們?cè)絹?lái)越多地發(fā)現(xiàn)一些新的問(wèn)題，甚至已經(jīng)造成很大困擾：
1、結(jié)構(gòu)化數(shù)據(jù)可能在“說(shuō)謊”
結(jié)構(gòu)化數(shù)據(jù)的優(yōu)點(diǎn)在于便于統(tǒng)計(jì)和處理，包括結(jié)構(gòu)化數(shù)據(jù)的形成本身就可能來(lái)自于統(tǒng)計(jì)。而統(tǒng)計(jì)并不能代表全部信息，必然存在一定程度的損耗，并帶來(lái)誤導(dǎo)。這也是為什么有些時(shí)候明明看似得出了合理的結(jié)論，卻不能有效改進(jìn)我們的業(yè)務(wù)。
相比之下，非結(jié)構(gòu)化數(shù)據(jù)則“誠(chéng)實(shí)”得多，通常包含了完整而連續(xù)的信息，其中充滿了大量微小但卻非常關(guān)鍵的細(xì)節(jié)，而這些數(shù)據(jù)將成為我們信息來(lái)源的重要組成部分，甚至?xí)鸬經(jīng)Q定性的作用。
2、僅有結(jié)構(gòu)化數(shù)據(jù)的世界簡(jiǎn)直太乏味了
人類先天是感性的生物，我們都喜歡豐富多彩的世界，它應(yīng)該是立體而全方位的，包含了多種感官的信息和刺激，而不僅僅是枯燥的數(shù)字。很多時(shí)候我們發(fā)現(xiàn)，無(wú)論是從受眾的接受程度還是所傳遞的信息量來(lái)看，即便是再酷炫的統(tǒng)計(jì)圖表，也抵不過(guò)一分鐘生動(dòng)的視頻。這一點(diǎn)從各大企業(yè)官方網(wǎng)站的變化中，就能明顯地感受到。
另外，值得注意的是，人類對(duì)于結(jié)構(gòu)化數(shù)據(jù)的運(yùn)用由來(lái)已久。比如在企業(yè)級(jí)市場(chǎng)，包括ERP、CRM、MRP等管理軟件一向都屬于這一范疇，而所謂的大數(shù)據(jù)應(yīng)用只是一個(gè)更高級(jí)的階段而已。因此，從實(shí)際的技術(shù)發(fā)展和應(yīng)用水平的角度來(lái)看，結(jié)構(gòu)化數(shù)據(jù)市場(chǎng)是相當(dāng)成熟的，也會(huì)愈發(fā)平穩(wěn)。比如賽迪在今年5月發(fā)布的一份報(bào)告就顯示，以ERP和CRM為代表的結(jié)構(gòu)化數(shù)據(jù)市場(chǎng)增速放緩，相比之下非結(jié)構(gòu)化數(shù)據(jù)市場(chǎng)的代表ECM(企業(yè)內(nèi)容管理)則表現(xiàn)出強(qiáng)勁的增長(zhǎng)動(dòng)力。我想這也在一定程度上反映了市場(chǎng)的看法和整體的趨勢(shì)。
2011-2016年CRM軟件、ERP軟件和ECM軟件市場(chǎng)規(guī)模增速對(duì)比
(數(shù)據(jù)來(lái)源：CCID,2017.5)
未來(lái)世界將是非結(jié)構(gòu)化的
世界隨時(shí)都在發(fā)生變化，時(shí)至今日，對(duì)非結(jié)構(gòu)化數(shù)據(jù)的管理和應(yīng)用走到了一個(gè)重要關(guān)口。
一方面得益于存儲(chǔ)成本的下降。隨著存儲(chǔ)技術(shù)和公有云平臺(tái)的不斷發(fā)展和成熟，域名注冊(cè)，用戶可以擁有充足并且彈性可擴(kuò)展的存儲(chǔ)資源，用于存放更大量的非結(jié)構(gòu)化數(shù)據(jù)，從而使得非結(jié)構(gòu)化數(shù)據(jù)的積累和應(yīng)用成為可能。
Hype Cycle for Storage Technologies,2016,Gartner
