技術型的高科技創業公司都喜歡閃閃發光的新東西，而“大數據”跟3年前火熱程度相比反而有些凄慘。雖然Hadoop創建于2006年，在“大數據”的概念興起到達白熱化是在2011年至2014年期間，當時在媒體和行業面前，站群服務器，大數據就是“黑金石油”。但是現在有了某種高原感。2015年數據世界中時尚年輕人喜歡轉移到AI的相關概念，他們口味變成：機器智能，深度學習等。
除了不可避免的炒作周期，我們第四次年度“大數據風水圖”（后文），回顧過去一年發生的事情，思考這個行業的未來機會。
企業級技術 = 艱苦的工作
能夠獲得廣泛興趣的產品和服務往往是那些人們可以觸摸和感受到的，比如：移動應用，社交網絡，可穿戴設備，虛擬現實等。
但大數據，從根本上說是“管道”。當然，大數據支持許多消費者或企業用戶體驗，但其核心是企業的技術：數據庫，分析等：而這后面幾乎沒人能看到東西運行。
而且如果大家真正工作過的都知道，在企業中改造新技術并不大可能在一夜之間發生。
早年的大數據是在大型互聯網公司中（特別是谷歌，雅虎，Facebook，Twitter，LinkedIn等），它們重度使用和推動大數據技術。這些公司突然面臨著前所未有的數據量，沒有以前的基礎設施，并能招到一些最好的工程師，所以他們基本上是從零開始搭建他們所需要的技術。開源的風氣迅速蔓延，大量的新技術與更廣闊的世界共享。隨著時間推移，其中一些工程師離開了大型網絡公司，開始自己的大數據初創公司。其他的“數字原生”的公司，其中包括許多獨角獸，開始面臨跟大型互聯網公司同樣需求，無論有沒有基礎設施，它們都是這些大數據技術的早期采用者。而早期的成功導致更多的創業和風險投資。
現在一晃幾年了，我們現在是有大得多而棘手的機會：數據技術通過更廣泛從中型企業到非常大的跨國公司。不同的是“數字原生”的公司，不必從頭開始做。他們也有很多損失：在絕大多數的公司，現有的技術基礎設施“夠用”。這些組織也明白，宜早不宜遲需要進化，但他們不會一夜之間淘汰并更換關鍵任務的系統。任何發展都需要過程，預算，項目管理，導航，部門部署，全面的安全審計等。大型企業會小心謹慎地讓年輕的創業公司處理他們的基礎設施的關鍵部分。而且，一些（大多數？）企業家壓根不想把他們的數據遷移到云中，至少不是公有云。
大數據分析的基本流程圖
從另一個關鍵點大家就明白了：大數據的成功是不是實現一小片技術（如Hadoop的或其他任何東西），而是需要放在一起的技術，人員，流程的流水線。你需要采集數據，存儲數據，清理數據，查詢數據，分析數據，域名購買 directadmin購買，可視化數據。這將由產品來完成，有些由人力來完成。一切都需要無縫集成。歸根結底，對于這一切工作，整個公司，從高級管理人員開始，需要致力于建立一個數據驅動的文化，大數據不是小事，而是全局的事。
換句話說：這是大量艱苦的工作。
部署階段
以上解釋了為什么幾年后，雖然很多高調的創業公司上線也拿到引人注目的風險投資，但只是到達大數據部署和早期成熟階段。
更有遠見的大公司（稱他們為“嘗鮮者”在傳統的技術采用周期），在2011 - 2013年開始早期實驗大數據技術，推出Hadoop系統，或嘗試單點解決方案。他們招聘了形形色色的人，可能工作頭銜以前不存在（如“數據科學家”或“首席數據官”）。他們通過各種努力，包括在一個中央儲存庫或“數據湖”傾倒所有的數據，有時希望魔術隨之而來（通常沒有）。他們逐步建立內部競爭力，與不同廠商嘗試，部署到線上，討論在企業范圍內實施推廣。在許多情況下，他們不知道下一個重要的拐點在哪里，經過幾年建設大數據基礎架構，從他們公司業務用戶的角度來看，也沒有那么多東西去顯示它。但很多吃力不討好的工作已經完成，而部署在核心架構之上的應用程序又要開始做了。
下一組的大公司（稱他們為“早期大眾”在傳統的技術采用周期）一直呆在場邊，還在迷惑的望著這整個大數據這玩意。直到最近，他們希望大供應商（例如IBM）提供一個一站式的解決方案，但它們知道不會很快出現。他們看大數據全局圖很恐怖，就真的想知道是否要跟那些經常發音相同，也就湊齊解決方案的創業公司一起做。他們試圖弄清楚他們是否應該按順序并逐步工作，首先構建基礎設施，然后再分析應用層，或在同一時間做所有的，還是等到更容易做的東西出現。
生態系統正在走向成熟
