技術(shù)型的高科技創(chuàng)業(yè)公司都喜歡閃閃發(fā)光的新東西，而“大數(shù)據(jù)”跟3年前火熱程度相比反而有些凄慘。雖然Hadoop創(chuàng)建于2006年，在“大數(shù)據(jù)”的概念興起到達(dá)白熱化是在2011年至2014年期間，當(dāng)時(shí)在媒體和行業(yè)面前，站群服務(wù)器，大數(shù)據(jù)就是“黑金石油”。但是現(xiàn)在有了某種高原感。2015年數(shù)據(jù)世界中時(shí)尚年輕人喜歡轉(zhuǎn)移到AI的相關(guān)概念，他們口味變成：機(jī)器智能，深度學(xué)習(xí)等。

除了不可避免的炒作周期，我們第四次年度“大數(shù)據(jù)風(fēng)水圖”（后文），回顧過(guò)去一年發(fā)生的事情，思考這個(gè)行業(yè)的未來(lái)機(jī)會(huì)。

企業(yè)級(jí)技術(shù) = 艱苦的工作

其實(shí)大數(shù)據(jù)有趣的是它不是直接可以炒作的東西。

能夠獲得廣泛興趣的產(chǎn)品和服務(wù)往往是那些人們可以觸摸和感受到的，比如：移動(dòng)應(yīng)用，社交網(wǎng)絡(luò)，可穿戴設(shè)備，虛擬現(xiàn)實(shí)等。

但大數(shù)據(jù)，從根本上說(shuō)是“管道”。當(dāng)然，大數(shù)據(jù)支持許多消費(fèi)者或企業(yè)用戶(hù)體驗(yàn)，但其核心是企業(yè)的技術(shù)：數(shù)據(jù)庫(kù)，分析等：而這后面幾乎沒(méi)人能看到東西運(yùn)行。

而且如果大家真正工作過(guò)的都知道，在企業(yè)中改造新技術(shù)并不大可能在一夜之間發(fā)生。

早年的大數(shù)據(jù)是在大型互聯(lián)網(wǎng)公司中（特別是谷歌，雅虎，F(xiàn)acebook，Twitter，LinkedIn等），它們重度使用和推動(dòng)大數(shù)據(jù)技術(shù)。這些公司突然面臨著前所未有的數(shù)據(jù)量，沒(méi)有以前的基礎(chǔ)設(shè)施，并能招到一些最好的工程師，所以他們基本上是從零開(kāi)始搭建他們所需要的技術(shù)。開(kāi)源的風(fēng)氣迅速蔓延，大量的新技術(shù)與更廣闊的世界共享。隨著時(shí)間推移，其中一些工程師離開(kāi)了大型網(wǎng)絡(luò)公司，開(kāi)始自己的大數(shù)據(jù)初創(chuàng)公司。其他的“數(shù)字原生”的公司，其中包括許多獨(dú)角獸，開(kāi)始面臨跟大型互聯(lián)網(wǎng)公司同樣需求，無(wú)論有沒(méi)有基礎(chǔ)設(shè)施，它們都是這些大數(shù)據(jù)技術(shù)的早期采用者。而早期的成功導(dǎo)致更多的創(chuàng)業(yè)和風(fēng)險(xiǎn)投資。

現(xiàn)在一晃幾年了，我們現(xiàn)在是有大得多而棘手的機(jī)會(huì)：數(shù)據(jù)技術(shù)通過(guò)更廣泛從中型企業(yè)到非常大的跨國(guó)公司。不同的是“數(shù)字原生”的公司，不必從頭開(kāi)始做。他們也有很多損失：在絕大多數(shù)的公司，現(xiàn)有的技術(shù)基礎(chǔ)設(shè)施“夠用”。這些組織也明白，宜早不宜遲需要進(jìn)化，但他們不會(huì)一夜之間淘汰并更換關(guān)鍵任務(wù)的系統(tǒng)。任何發(fā)展都需要過(guò)程，預(yù)算，項(xiàng)目管理，導(dǎo)航，部門(mén)部署，全面的安全審計(jì)等。大型企業(yè)會(huì)小心謹(jǐn)慎地讓年輕的創(chuàng)業(yè)公司處理他們的基礎(chǔ)設(shè)施的關(guān)鍵部分。而且，一些（大多數(shù)？）企業(yè)家壓根不想把他們的數(shù)據(jù)遷移到云中，至少不是公有云。

大數(shù)據(jù)分析的基本流程圖

從另一個(gè)關(guān)鍵點(diǎn)大家就明白了：大數(shù)據(jù)的成功是不是實(shí)現(xiàn)一小片技術(shù)（如Hadoop的或其他任何東西），而是需要放在一起的技術(shù)，人員，流程的流水線(xiàn)。你需要采集數(shù)據(jù)，存儲(chǔ)數(shù)據(jù)，清理數(shù)據(jù)，查詢(xún)數(shù)據(jù)，分析數(shù)據(jù)，域名購(gòu)買(mǎi) directadmin購(gòu)買(mǎi)，可視化數(shù)據(jù)。這將由產(chǎn)品來(lái)完成，有些由人力來(lái)完成。一切都需要無(wú)縫集成。歸根結(jié)底，對(duì)于這一切工作，整個(gè)公司，從高級(jí)管理人員開(kāi)始，需要致力于建立一個(gè)數(shù)據(jù)驅(qū)動(dòng)的文化，大數(shù)據(jù)不是小事，而是全局的事。

換句話(huà)說(shuō)：這是大量艱苦的工作。

部署階段

以上解釋了為什么幾年后，雖然很多高調(diào)的創(chuàng)業(yè)公司上線(xiàn)也拿到引人注目的風(fēng)險(xiǎn)投資，但只是到達(dá)大數(shù)據(jù)部署和早期成熟階段。

更有遠(yuǎn)見(jiàn)的大公司（稱(chēng)他們?yōu)?ldquo;嘗鮮者”在傳統(tǒng)的技術(shù)采用周期），在2011 - 2013年開(kāi)始早期實(shí)驗(yàn)大數(shù)據(jù)技術(shù)，推出Hadoop系統(tǒng)，或嘗試單點(diǎn)解決方案。他們招聘了形形色色的人，可能工作頭銜以前不存在（如“數(shù)據(jù)科學(xué)家”或“首席數(shù)據(jù)官”）。他們通過(guò)各種努力，包括在一個(gè)中央儲(chǔ)存庫(kù)或“數(shù)據(jù)湖”傾倒所有的數(shù)據(jù)，有時(shí)希望魔術(shù)隨之而來(lái)（通常沒(méi)有）。他們逐步建立內(nèi)部競(jìng)爭(zhēng)力，與不同廠(chǎng)商嘗試，部署到線(xiàn)上，討論在企業(yè)范圍內(nèi)實(shí)施推廣。在許多情況下，他們不知道下一個(gè)重要的拐點(diǎn)在哪里，經(jīng)過(guò)幾年建設(shè)大數(shù)據(jù)基礎(chǔ)架構(gòu)，從他們公司業(yè)務(wù)用戶(hù)的角度來(lái)看，也沒(méi)有那么多東西去顯示它。但很多吃力不討好的工作已經(jīng)完成，而部署在核心架構(gòu)之上的應(yīng)用程序又要開(kāi)始做了。

下一組的大公司（稱(chēng)他們?yōu)?ldquo;早期大眾”在傳統(tǒng)的技術(shù)采用周期）一直呆在場(chǎng)邊，還在迷惑的望著這整個(gè)大數(shù)據(jù)這玩意。直到最近，他們希望大供應(yīng)商（例如IBM）提供一個(gè)一站式的解決方案，但它們知道不會(huì)很快出現(xiàn)。他們看大數(shù)據(jù)全局圖很恐怖，就真的想知道是否要跟那些經(jīng)常發(fā)音相同，也就湊齊解決方案的創(chuàng)業(yè)公司一起做。他們?cè)噲D弄清楚他們是否應(yīng)該按順序并逐步工作，首先構(gòu)建基礎(chǔ)設(shè)施，然后再分析應(yīng)用層，或在同一時(shí)間做所有的，還是等到更容易做的東西出現(xiàn)。

生態(tài)系統(tǒng)正在走向成熟