屈指算來，Hadoop 已經誕生 13 年了。它最早誕生于 2006 年，并在 2008 年成為 Apache 頂級項目。誕生后沒過多久就成為了互聯網行業大數據計算的標準配置，同時也成了 Apache 軟件基金會的金牌項目之一。但從 2016 年開始，國內外就開始出現唱衰 Hadoop 的聲音，以 Hadoop 為代表的開源大數據的未來何去何從？

十年前，三家資金雄厚的初創公司 Cloudera、Hortonworks 和 MapR 開始圍繞 Hadoop 開源生態系統中的產品和服務進行商業化。有關 Hadoop 的炒作在 2014 年初達到了巔峰。當時，Cloudrea 籌集了大約 9 億美元的巨額融資，估值為 41 億美元。

“最近 Cloudrea 和 MapR 的爭端上了很多媒體的頭條，不由讓公眾想知道這場爭端對大數據的未來意味著什么。”Unravel Data 首席執行官 Kunal Aganwal 表示。“企業對數據的興趣是正在減弱嗎？完全沒有的事。只是由于大數據向公用云快速轉型，導致這些公司步履蹣跚，這些專為本地部署而設計的平臺已經沒有什么增長潛力了。由于大數據對于高彈性計算的需求，它天然更適合云計算。此外，現代數據系統正變得越來越復雜，它們在本地管理要比在云端管理更加困難。 隨著新的數據棧橫空出世，Hadoop 不再是權威的大數據技術了 ：像 Spark 和 Kafka 這樣的技術正在興起，以支持使用人工智能和機器學習的現代數據應用。 Hadoop 不會消失，也不是所有的數據工作負載都會遷移到云端 ，但公有云和 Spark 等技術將越來越多地定義大數據，任何不積極支持它們的供應商將會繼續蒙受損失。”

Hortonworks 于 2014 年面市，Cloudera 緊隨其后，于 2017 年上市。但隨著市場競爭的加劇，客戶開始迅速轉向云端，兩家公司的股價都出現了暴跌。去年秋季，directadmin漢化，Cloudrea 和 HortonWorks 合并，但合并后的公司股票持續下跌，市值縮水了一半。MapR 在四年多前就宣布了上市計劃，但從未貫徹執行，歐洲服務器租用，而是選擇在 2016 年和 2017 年再籌集兩輪風險投資。最近有 消息 稱，如果 MapR 不能獲得更多資金，可能會削減多達 122 個工作崗位，并關閉位于加利福尼亞州圣克拉拉的總部。

“最近關于 Cloudrea 和 MapR 的新聞引發了關于 Hadoop 未來何去何從 的爭論，以及所有用于管理大數據工作負載的開源框架。”Clairvoiant 公司的首席執行官 Chandra Ambadipudi 評論道。“一個重要的因素是，Hadoop 在管理和利用它所需的資源方面被市場大大低估了。Hadoop 確實實現了它作為低成本、可伸縮且健壯的開源解決方案的承諾。但管理其復雜性所需的人才和數據工程師的數量，以及他們的短缺，都已經達到了頂點。”

現在，Cloudrea 成為唯一重要的 Hadoop 公司，在經歷 MapR 新聞風波之后，以下是關于開源大數據平臺未來從本地到云端（以及 Microsoft、AWS、Google 等云計算巨頭）的一些見解和想法。

Hadoop 的可行性飽受質疑，并非因為它是一種槽糕的技術（實際上，Hadoop 技術非常好），而是因為將 Hadoop 作為開源產品來管理太過復雜導致面臨人才瓶頸。與炒作相比，所需的資源水平被大大低估了。 問題是，云計算巨頭是否會完全占據這個領域？Databricks 和 Snowflake 正在著手解決與大數據實現方面的技能差距。 生態系統中仍然會出現整合行為（就像 Microsoft 收購 MapR 一樣），只有時間才能告訴我們，這一切對生態系統是否有益（廠商鎖定）。 與此類似，正在崛起的其他大數據平臺如 Apache Kafka，也可能面臨開源解決方案的挑戰（就像 Cloudrea 作為開源 Hadoop 的發行商面臨的挑戰一樣）。

“隨著云計算巨頭繼續‘吞噬世界’，像 Snowflake 和 DataBricks 這樣的平臺也在崛起，開始嘗試彌合大數據人才和技能的鴻溝，”Ambadipudi 補充道，“如果市場出現進一步的整合，比如有某些云計算公司收購了 MapR 和其他 Hadoop 公司，我將不會感到驚訝。由于低延遲和可伸縮性，Kafka 越來越受歡迎，并得到了廣泛的采用。但就像 Cloudera 利用 Hadoop 一樣，Confluent 的 Kafka 企業版做的也是同樣的事情，所以他們也可能面臨與開源平臺相同的挑戰。無論采用哪一種大數據實現方式，目前所需的技能都是短缺的，而且對專家管理服務的需求仍將居高不下。”