今年 5 月底，MapR被曝融資困難，可能在不久之后關閉，這個曾經估值高達 10 億美元的 Hadoop 賽道的有力挑戰者或將就此衰落。隨后，同樣圍繞 Hadoop 進行商業化落地的Cloudera股價在 6 月 6 日（美東時間）開盤后暴跌 43%，這些老牌 Hadoop 供應商的落敗一定程度上被認為與云廠商的崛起有關。然而，Hadoop 生態廠商發展到這一步到底與哪些因素有關？這是否意味著整體生態開始走下坡路？

三大 Hadoop 廠商衰落   在圍繞Hadoop進行商業化的廠商中，Cloudera、Hortonworks 和 MapR 曾是最為外界所關注的對象，直到 Cloudera 和 Hortonworks宣布進行全股合并時，業界大部分聲音是看好的。Syncsort首席技術官指出，雖然 Hortonworks 的產品專注于物聯網和流數據場景，Cloudera 專注于數據科學、機器學習和人工智能。但在她看來，這可以使合并取得成功，因為合并后的公司將比二者中的任何一個都發展得更快，走得更遠。  

合并后不久，directadmin授權，Cloudera 宣布的收入比分析師預測少了 6900 萬到 8900 萬美元。與此同時，公司首席執行官 Tom Reilly、聯合創始人兼 CSO Mike Olson 雙雙宣布辭職。該公司股價隨即暴跌 40%。   至于 MapR，其商業化的主要途徑是提供優于開源 Hadoop 的特性，比如其創始人 M.C.Srivas 在公司創建伊始就將 Hadoop 文件系統 HDFS 進行了重構，兼容 Hadoop 協議的同時保持閉源，一度給外界造成技術實力優于整個 Hadoop 社區的感覺，可惜的是用戶對此并不買賬，導致其融資困難，甚至開始裁員并計劃關閉硅谷總部。  

對此，一位不愿意透露姓名的云計算領域專家在接受 InfoQ 采訪時表示，開源顛覆了傳統軟件，云計算又顛覆了開源廠商。大數據的市場空間本身存在，但是隨著云計算廠商的接入，確實削弱了傳統大數據廠商的盈利能力。云廠商對傳統大數據廠商沖擊太大，因為總體成本更低，可獲得性更容易，而這三家大數據廠商并沒有提供相比云計算廠商大數據能力的差異化點。  

當然，這三家圍繞 Hadoop 進行商業化的廠商的衰落并不代表整個 Hadoop 生態的隕落，只能說明這樣的商業化路徑存在問題(不要將廠商和生態混為一談)。 專家指出，過去，開源對傳統軟件是一種顛覆式的影響，香港服務器租用，在開源尤為活躍的大數據技術領域采用傳統軟件的商業化模式是一種逆勢而為，云計算的興起正在對開源產生巨大影響，正如Clint Sharp 所指出的，“Hadoop 的主要應用場景一直是廉價的存儲。然而，有了云之后，存儲變得更廉價，更何況 S3+EMR 和其他服務的用戶體驗還提高了千倍不止。”  

云廠商的顛覆姿態   在企業逐步云化的過程中，云廠商的顛覆者姿態讓其受到了諸多指責，比如開源殺手等，但這并沒有阻礙企業云化的進程，大數據服務公司也在往云平臺的方向演進，比如 Cloudera 與 Hortonworks 合并被認為是在一定程度上提升云服務的競爭力。但是，本地大數據廠商難以獨立提供云大數據服務所依賴的全部基礎設施資源，一般會集成到各大公有云平臺，比如 MongoDB 提供的 Atlas 就與眾多公有云廠商合作。因此，在各大公有云平臺上，可以看到越來越多本地大數據服務商提供的服務。   那么，云廠商的出現為什么會對這一領域造成如此影響呢?專家認為，首先要從大數據的本源談起，大數據的本源是需要處理的數據集遠遠大于單臺物理機能夠存儲和處理的數據量。在這種情況下，出現了兩個技術：一是跨服務器存儲的分布式文件系統HDFS(當然，最早來自于谷歌論文);二是多機器處理的計算框架。這種體系在大數據發展的早、中期起到了非常大的作用，就是把大批量中低等級的硬件系統集成起來以處理海量數據。  

在實踐過程中，這種架構逐漸出現內在的不均衡。簡單來說，物理機的計算和存儲比例是固定的，但是從應用視角來看，計算和存儲的比例關系往往是動態的，有些公司計算過剩，有些公司存儲過剩，這導致硬件選型成為一個很大的挑戰。同時，對于長久存在的大數據系統來說，新老硬件組成的非均質系統也存在負載均衡等管理上的挑戰。  

隨著云架構的發展，無論是公有云，還是私有云，特別是公有云，可以實現存儲與計算分離。IaaS 層將計算、存儲、網絡作為資源動態提供給用戶消費，這成為一個最佳實踐，完美消除了計算和存儲的動態均衡問題。從最優化的角度來看，相對于傳統的計算、存儲一體化的大數據系統，云平臺大數據服務無疑存在一些開銷，但是這種形態讓大數據集群建設初期要考慮的計算和存儲匹配，網絡設計等問題都“推遲決策”了，換言之就是不用那么早考慮，在具體業務使用時隨用隨取，這為業務帶來了極大的靈活性。