大數(shù)據(jù)正在成為數(shù)據(jù)管理DevOps的核心
2018年有很多明顯的跡象表明，這十年中快速起的大數(shù)據(jù)市場(chǎng)，正在以不同的形式沉淀下來。未來幾年，大數(shù)據(jù)分析市場(chǎng)甚至可能不會(huì)被稱為“大數(shù)據(jù)”，因?yàn)楹芏啻?a href="http://www.qzkangyuan.com/cnidc/bigdata/news/20171110/18539.html">數(shù)據(jù)分析取得的進(jìn)展都是針對(duì)人工智能的，盡管其核心是數(shù)據(jù)驅(qū)動(dòng)的，但實(shí)際上并不一定要依賴于大量的數(shù)據(jù)才能在應(yīng)用中發(fā)揮作用。
其他公有云提供商將難以保持自己在大數(shù)據(jù)分析市場(chǎng)的份額。2018年，來自公有云領(lǐng)導(dǎo)廠商的壓力迫使IBM收購了RedHat。展望未來，IBM、Oracle和其他公有云提供商將更加強(qiáng)調(diào)混合云解決方案，幫助客戶集中管理分布在私有云和公有云之間的大數(shù)據(jù)資產(chǎn)。
Wikibon預(yù)測(cè)，2019年Open Hybrid Architecture Initiative將開始實(shí)施HDFS、MapReduce、HBase、Hive、Pig、YARN和其他Hadoop主要組件的模塊化和容器化計(jì)劃。此外，主要贊助方——即將成為Cloudera 和IBM/Red Hat一部分的Hortonworks公司——將在2019年初提供下一代商用Hadoop解決方案，將這一架構(gòu)融入他們各自的混合云解決方案組合中，其他云解決方案提供商也會(huì)緊隨其后。
即使作為Hadoop替代品問世的Apache Spark，在許多以TensorFlow為中心的AI環(huán)境中也開始變成一項(xiàng)遺留技術(shù)。這一趨勢(shì)通過數(shù)據(jù)提取/轉(zhuǎn)換/加載進(jìn)入到Spark的部署領(lǐng)域就可以看到，而且隨著Schema on Read架構(gòu)（將數(shù)據(jù)的處理推遲到從數(shù)據(jù)庫讀出后）的出現(xiàn)，這種趨勢(shì)可能會(huì)有所放緩。
Hadoop在大數(shù)據(jù)分析領(lǐng)域發(fā)揮的作用正在逐漸消失。Hadoop市場(chǎng)的增長(zhǎng)前景趨于平緩，這也成為Cloudera和Hortonworks在2018年合并的主要原因。
AI和業(yè)務(wù)分析行業(yè)正在持續(xù)向自助數(shù)據(jù)準(zhǔn)備轉(zhuǎn)變，這一點(diǎn)解釋了Infogix為什么要收購LavaStorm Analytics。
2019年，將會(huì)越來越多的企業(yè)強(qiáng)調(diào)他們能夠自動(dòng)執(zhí)行諸如特征工程、超參數(shù)優(yōu)化和數(shù)據(jù)標(biāo)記等傳統(tǒng)手動(dòng)任務(wù)。大數(shù)據(jù)分析解決方案提供商將大力投資工具以加快將經(jīng)過訓(xùn)練的AI模型部署到生產(chǎn)應(yīng)用中的進(jìn)程。隨著大數(shù)據(jù)分析生態(tài)系統(tǒng)開始向云原生架構(gòu)轉(zhuǎn)變，越來越多的數(shù)據(jù)科學(xué)工作臺(tái)將整合Kubernetes業(yè)務(wù)流程結(jié)構(gòu)自動(dòng)化任務(wù)的能力，并將容器模型集成到公有云和私有云中，免備案空間 香港服務(wù)器，這一趨勢(shì)將把新興標(biāo)準(zhǔn)（如Kubeflow）帶入蓬勃發(fā)展的數(shù)據(jù)科學(xué)DevOps工具鏈生態(tài)系統(tǒng)中來。
Wikibon還預(yù)計(jì)IBM、Cloudera/Hortonworks、Informatica、Collibra等廠商將強(qiáng)化他們現(xiàn)有大數(shù)據(jù)目錄平臺(tái)在管理更多元數(shù)據(jù)、模型、圖像、容器和其他組件（這些組件都是AI DevOps工作流的生命線）的能力流程。企業(yè)將越來越多地跨多云環(huán)境部署大數(shù)據(jù)目錄，利用新一代虛擬化工具，提供單一控制平面來管理公有云和私有云中的不同數(shù)據(jù)資產(chǎn)。Wikibon預(yù)測(cè)，AWS、微軟和谷歌將推出自己的大數(shù)據(jù)目錄，面向那些選擇在公有云/私有云混合環(huán)境中部署這些服務(wù)的客戶。
2019年，Wikibon預(yù)測(cè)會(huì)看到越來越多的企業(yè)將數(shù)據(jù)湖重新用于應(yīng)用基礎(chǔ)架構(gòu)的大數(shù)據(jù)目錄中，從而提高知識(shí)工作者的工作效率，支持正在構(gòu)建訓(xùn)練生產(chǎn)AI應(yīng)用的新一代開發(fā)人員，并促進(jìn)算法透明度和電子發(fā)現(xiàn)。
此外，越來越多的大數(shù)據(jù)公有云提供商將基礎(chǔ)設(shè)施及服務(wù)和平臺(tái)即服務(wù)細(xì)分市場(chǎng)拱手讓給AWS、微軟和Google，并將轉(zhuǎn)向?yàn)闃I(yè)務(wù)線和特定行業(yè)提供軟件服務(wù)分析應(yīng)用。例如，Snowflake Computing就在云數(shù)據(jù)倉庫市場(chǎng)大獲成功，2018年得到了4.5億美元的資金以保持增長(zhǎng)勢(shì)頭。
去年規(guī)模最大的種子輪融資中很多都是發(fā)展有一段時(shí)間的人工智能解決方案提供商，包括AI自動(dòng)化工作臺(tái)初創(chuàng)公司DataRobot，在D輪融資中獲得1億美元；自動(dòng)數(shù)據(jù)準(zhǔn)備公司Tamr，在D輪融資中獲得1800萬美元；AI DevOps數(shù)據(jù)隱私控制公司Immuta，在B輪融資中獲得2000萬美元。
Wikibon預(yù)測(cè)，2019年企業(yè)將部署流媒體平臺(tái)，推動(dòng)低延遲DevOps管道，不斷向移動(dòng)應(yīng)用、物聯(lián)網(wǎng)、機(jī)器人和其他邊緣應(yīng)用注入經(jīng)過訓(xùn)練的最佳機(jī)器學(xué)習(xí)模型。在線事務(wù)分析處理、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)治理工作負(fù)載也越來越多地轉(zhuǎn)向低延遲、有狀態(tài)的流式主干架構(gòu)。
邊緣計(jì)算從根本上改造了數(shù)據(jù)庫架構(gòu)
展望未來，這一趨勢(shì)將持續(xù)下去，但是未來三到五年流計(jì)算將讓這一趨勢(shì)黯然失色。Kafka、Flink和Spark Structured Streaming等低延遲流媒體平臺(tái)正在成為企業(yè)數(shù)據(jù)基礎(chǔ)設(shè)施的基礎(chǔ)，正如20世紀(jì)70年代以來的關(guān)系數(shù)據(jù)架構(gòu)。
構(gòu)建自主AI驅(qū)動(dòng)系統(tǒng)的強(qiáng)化學(xué)習(xí)工具新興市場(chǎng)，是激勵(lì)微軟收購Bonsai AI的一個(gè)重要因素。
大數(shù)據(jù)分析一直是過去這十年的一個(gè)重要技術(shù)趨勢(shì)，也是IT市場(chǎng)中最具活力和創(chuàng)新力的領(lǐng)域之一。但是如今的大數(shù)據(jù)分析市場(chǎng)與幾年前截然不同，未來幾年肯定也會(huì)有很大的變化。
2019年，越來越多的商業(yè)智能廠商將深度集成AI，自動(dòng)從復(fù)雜數(shù)據(jù)中提取預(yù)測(cè)見解，同時(shí)在解決方案中提供豐富的功能，提供便捷的自助服務(wù)和最佳行動(dòng)的指導(dǎo)，這一點(diǎn)從今年初創(chuàng)公司ThoughtSpot在D輪融資中獲得1.45億美元就可以看出，這筆資金將被用于ThoughtSpot創(chuàng)新的AI增強(qiáng)型業(yè)務(wù)分析解決方案組合。
大數(shù)據(jù)分析平臺(tái)提供商均在大力投資數(shù)據(jù)科學(xué)工具鏈
數(shù)據(jù)湖正在朝著云對(duì)象存儲(chǔ)和流計(jì)算發(fā)展
2019年，三大公有云提供商AWS、微軟Azure和Google Cloud將加大力度，幫助企業(yè)將數(shù)據(jù)從本地平臺(tái)遷移出來。
展望2019年，分析公司W(wǎng)ikibon預(yù)測(cè)大數(shù)據(jù)分析將會(huì)出現(xiàn)以下一些趨勢(shì)：
越來越多的企業(yè)選擇部署分布式內(nèi)存云數(shù)據(jù)庫以支持復(fù)雜的實(shí)時(shí)AI管道，這一點(diǎn)促使MariaDB Corp. Ab收購了Clustrix。
