2018年有很多明顯的跡象表明,這十年中快速起的大數據市場,正在以不同的形式沉淀下來。未來幾年,大數據分析市場甚至可能不會被稱為“大數據”,因為很多大數據分析取得的進展都是針對人工智能的,盡管其核心是數據驅動的,但實際上并不一定要依賴于大量的數據才能在應用中發揮作用。
其他公有云提供商將難以保持自己在大數據分析市場的份額。2018年,來自公有云領導廠商的壓力迫使IBM收購了RedHat。展望未來,IBM、Oracle和其他公有云提供商將更加強調混合云解決方案,幫助客戶集中管理分布在私有云和公有云之間的大數據資產。
Wikibon預測,2019年Open Hybrid Architecture Initiative將開始實施HDFS、MapReduce、HBase、Hive、Pig、YARN和其他Hadoop主要組件的模塊化和容器化計劃。此外,主要贊助方——即將成為Cloudera 和IBM/Red Hat一部分的Hortonworks公司——將在2019年初提供下一代商用Hadoop解決方案,將這一架構融入他們各自的混合云解決方案組合中,其他云解決方案提供商也會緊隨其后。
即使作為Hadoop替代品問世的Apache Spark,在許多以TensorFlow為中心的AI環境中也開始變成一項遺留技術。這一趨勢通過數據提取/轉換/加載進入到Spark的部署領域就可以看到,而且隨著Schema on Read架構(將數據的處理推遲到從數據庫讀出后)的出現,這種趨勢可能會有所放緩。
Hadoop在大數據分析領域發揮的作用正在逐漸消失。Hadoop市場的增長前景趨于平緩,這也成為Cloudera和Hortonworks在2018年合并的主要原因。
AI和業務分析行業正在持續向自助數據準備轉變,這一點解釋了Infogix為什么要收購LavaStorm Analytics。
2019年,將會越來越多的企業強調他們能夠自動執行諸如特征工程、超參數優化和數據標記等傳統手動任務。大數據分析解決方案提供商將大力投資工具以加快將經過訓練的AI模型部署到生產應用中的進程。隨著大數據分析生態系統開始向云原生架構轉變,越來越多的數據科學工作臺將整合Kubernetes業務流程結構自動化任務的能力,并將容器模型集成到公有云和私有云中,免備案空間 香港服務器,這一趨勢將把新興標準(如Kubeflow)帶入蓬勃發展的數據科學DevOps工具鏈生態系統中來。
Wikibon還預計IBM、Cloudera/Hortonworks、Informatica、Collibra等廠商將強化他們現有大數據目錄平臺在管理更多元數據、模型、圖像、容器和其他組件(這些組件都是AI DevOps工作流的生命線)的能力流程。企業將越來越多地跨多云環境部署大數據目錄,利用新一代虛擬化工具,提供單一控制平面來管理公有云和私有云中的不同數據資產。Wikibon預測,AWS、微軟和谷歌將推出自己的大數據目錄,面向那些選擇在公有云/私有云混合環境中部署這些服務的客戶。
2019年,Wikibon預測會看到越來越多的企業將數據湖重新用于應用基礎架構的大數據目錄中,從而提高知識工作者的工作效率,支持正在構建訓練生產AI應用的新一代開發人員,并促進算法透明度和電子發現。
此外,越來越多的大數據公有云提供商將基礎設施及服務和平臺即服務細分市場拱手讓給AWS、微軟和Google,并將轉向為業務線和特定行業提供軟件服務分析應用。例如,Snowflake Computing就在云數據倉庫市場大獲成功,2018年得到了4.5億美元的資金以保持增長勢頭。
去年規模最大的種子輪融資中很多都是發展有一段時間的人工智能解決方案提供商,包括AI自動化工作臺初創公司DataRobot,在D輪融資中獲得1億美元;自動數據準備公司Tamr,在D輪融資中獲得1800萬美元;AI DevOps數據隱私控制公司Immuta,在B輪融資中獲得2000萬美元。
Wikibon預測,2019年企業將部署流媒體平臺,推動低延遲DevOps管道,不斷向移動應用、物聯網、機器人和其他邊緣應用注入經過訓練的最佳機器學習模型。在線事務分析處理、數據轉換和數據治理工作負載也越來越多地轉向低延遲、有狀態的流式主干架構。
邊緣計算從根本上改造了數據庫架構
展望未來,這一趨勢將持續下去,但是未來三到五年流計算將讓這一趨勢黯然失色。Kafka、Flink和Spark Structured Streaming等低延遲流媒體平臺正在成為企業數據基礎設施的基礎,正如20世紀70年代以來的關系數據架構。
構建自主AI驅動系統的強化學習工具新興市場,是激勵微軟收購Bonsai AI的一個重要因素。
大數據分析一直是過去這十年的一個重要技術趨勢,也是IT市場中最具活力和創新力的領域之一。但是如今的大數據分析市場與幾年前截然不同,未來幾年肯定也會有很大的變化。
2019年,越來越多的商業智能廠商將深度集成AI,自動從復雜數據中提取預測見解,同時在解決方案中提供豐富的功能,提供便捷的自助服務和最佳行動的指導,這一點從今年初創公司ThoughtSpot在D輪融資中獲得1.45億美元就可以看出,這筆資金將被用于ThoughtSpot創新的AI增強型業務分析解決方案組合。
大數據分析平臺提供商均在大力投資數據科學工具鏈
數據湖正在朝著云對象存儲和流計算發展
2019年,三大公有云提供商AWS、微軟Azure和Google Cloud將加大力度,幫助企業將數據從本地平臺遷移出來。
展望2019年,分析公司Wikibon預測大數據分析將會出現以下一些趨勢:
越來越多的企業選擇部署分布式內存云數據庫以支持復雜的實時AI管道,這一點促使MariaDB Corp. Ab收購了Clustrix。