技術的進步推動著經濟和生活的全面數字化，對數據的重視提到了前所未有的高度，“數據是資產”已經被廣泛認可。正如《大數據時代》作者舍恩伯格所說，“雖然數據還沒有被列入企業的資產負債表，但這只是一個時間問題”。
在過去幾年，我們已經開始通過數據科學、機器學習和人工智能讓部分應用場景的數據產生價值。這些技術也逐步從最初的早期采用者（BAT和初創公司）擴展到更廣泛的經濟。如何存儲數據、管理數據并深挖數據的價值已經變成了幾乎所有的企業都需要思考的問題。
我們正處在通往數據驅動的智能世界（智能交通工具、智能企業、智能產品）的快車道上。在終局到來之前，技術發展都在顛覆與被顛覆，這是初創企業的用武之地。我們持續關注數據智能鏈條上的初創企業，也在持續關注數據與AI發展當前處在什么階段，未來會有什么變化。
以下是Matt Turck（美國早期基金FirstMark合伙人）總結的2019年大數據及AI領域的主要發展趨勢。他從基礎設施、分析以及應用層面分別闡述了主要發展趨勢，希望能給大家帶來思考。
第三波浪潮？從Hadoop到云服務再到Kubernetes
專用于AI的基礎設施的崛起
數據基礎設施一直保持快速進化狀態。這個速度保持了很多年，近期有加速進化的趨勢，主要經歷三個階段：從Hadoop到云服務再到Kubernetes環境。
誕生于2003年10月的Hadoop可以算得上大數據領域的“鼻祖”。Hadoop是一個使用計算機網絡對大量數據進行分布式存儲和處理框架，在數據生態系統的爆炸式發展中發揮了絕對核心的作用。
然而，在過去的幾年里，宣布Hadoop死亡已經成為行業觀察家們的常態。隨著Hadoop供應商遇到各種各樣的麻煩，這一趨勢今年進一步加速。在撰寫本文時，MapR已經處于關閉的邊緣，也有可能已經找到了買家。最近剛剛完成52億美元合并的Cloudera和Hortonworks在6月份經歷了艱難的一天，由于令人失望的季度收益，股價暴跌了40%。Cloudera已經發布了多款云計算和混合產品，但目前還沒有正式對外售賣。
由于來自云平臺的競爭，Hadoop正面臨越來越大的阻力。Hadoop是在云沒那么完備的時候開發的，大多數數據是在本地的，那時網絡延遲是瓶頸，將數據和計算放在一起很有意義。但這一切已經改變了。
然而，Hadoop不太可能很快消失。它的發展可能會放緩，但它在企業間的部署規模之大，將使其在未來幾年保持慣性和生命力。
無論如何，向云的轉變顯然正在加速。有趣的是，在我們與《財富》1000強企業高管的交談中，2019年似乎是一個真正的轉變。在過去的幾年里，討論云的很多，但真正的行動都是本地部署，尤其是在受監管的行業。現在《財富》雜志1000強企業的許多高管都在積極轉向云計算，其中有一部分活動涉及從傳統的微軟商店轉向Azure。
因此，盡管云提供商的規模已經非常龐大，但它們仍在繼續快速增長。2018年，AWS實現收入257億美元，比2017年175億美元增長46.9%。微軟Azure的收入沒有單獨披露，但在截至2019年3月的季度中同比增長了73%。雖然這不是一個完美的對比，但是AWS的收入在同季度同比增長了41%。
隨著云計算應用的深入，客戶開始對成本望而卻步。在世界各地的董事會會議室里，高管們突然注意到一個曾經很小的賬目：他們的云賬單。云計算確實提供了敏捷性，但它通常會帶來很高的成本，尤其是當客戶的注意力離開計價器或者無法準確預測他們的計算需求時。像Adobe和Capital One等AWS客戶，他們的云賬單在2017年至2018年的短短一年里增長了60%以上，達到了2億美元以上。
成本，以及對供應商鎖定的擔憂，加速了向混合方法的發展，包括公共云、私有云和本地部署的組合。面對眾多的選擇，企業將越來越多地選擇最適合自己的工具來優化績效和經濟效益。隨著云提供商更加積極地實現差異化，企業開始采用多云策略，利用每個云提供商最擅長的領域。在某些情況下，為了優化經濟效益，最好的方法是將一些工作負載保留（甚至是調回）在本地，特別是對于非動態工作負載。
有趣的是，云提供商正在適應企業計算能力向混合環境發展的現實,像AWS會提供類似于AWS前哨的工具，允許客戶進行本地計算和存儲的同時，還能將本地負載與AWS云上其他程序無縫集成。
在這個新的多云和混合云時代，Kubernetes無疑是冉冉升起的巨星。Kubernetes是谷歌于2014年推出的一個用于管理容器化工作負載和服務的開源項目，它正經歷著與Hadoop幾年前同樣的熱情，有8000名與會者參加了KubeCon活動，還有源源不斷的博客文章和播客。許多分析師認為，RedHat在Kubernetes世界的重要地位，在很大程度上促成了IBM以340億美元的大規模收購。Kubernetes的前景是幫助企業實現跨環境運行工作負載，企業的混合環境會包括數據中心、私有云以及一個或多個公共云。
