在貴州舉辦的2019年數(shù)博會(huì)吸引了國(guó)內(nèi)外各界目光，圍繞大數(shù)據(jù)最新技術(shù)創(chuàng)新與成就，諸多學(xué)界、產(chǎn)業(yè)界、政界人士紛紛參與交流。在5月25日的“5G+大數(shù)據(jù)推動(dòng)智慧社會(huì)數(shù)字化轉(zhuǎn)型論壇”上，中科院院士梅宏發(fā)表了精彩演講，重點(diǎn)談到了大數(shù)據(jù)對(duì)計(jì)算體系帶來(lái)的挑戰(zhàn)以及應(yīng)對(duì)之法。
梅宏作為大數(shù)據(jù)領(lǐng)域權(quán)威專(zhuān)家，對(duì)大數(shù)據(jù)學(xué)術(shù)研究、工具開(kāi)發(fā)等方面有著深入的理解。他提到，大數(shù)據(jù)讓信息技術(shù)整個(gè)體系進(jìn)入一個(gè)重構(gòu)的前夜，大數(shù)據(jù)的管理、處理方式正在發(fā)生深刻改變。比如，在芯片上探討存算一體是一種可能的方向;比如，軟件定義可以做很多事情;比如，軟件開(kāi)源+硬件開(kāi)放有可能產(chǎn)生顛覆式機(jī)遇。
他提到了個(gè)人對(duì)于大數(shù)據(jù)的理解，談到了三個(gè)現(xiàn)實(shí)中的挑戰(zhàn)。但在挑戰(zhàn)背后，他們的團(tuán)隊(duì)已經(jīng)集結(jié)了最好的高校和阿里這種巨頭企業(yè)的技術(shù)，做完了三批課題。未來(lái)，將追求高時(shí)效、低時(shí)延，多計(jì)算模型的融合，打造出更多核心、關(guān)鍵、原創(chuàng)的技術(shù)。
演講原文如下，雷鋒網(wǎng)做了不改變?cè)獾木庉嬇c整理：
大數(shù)據(jù)導(dǎo)致了一個(gè)現(xiàn)象，就是信息技術(shù)整個(gè)體系進(jìn)入一個(gè)重構(gòu)前夜，實(shí)際上給了我們一個(gè)顛覆式發(fā)展的一種機(jī)遇。因?yàn)樗瓦^(guò)去的東西確實(shí)不太一樣了。
個(gè)人對(duì)大數(shù)據(jù)的理解
我想分四個(gè)方面講。
第一，應(yīng)用需求。大數(shù)據(jù)的應(yīng)用需求，使得我們的計(jì)算機(jī)體系結(jié)構(gòu)可能面臨重構(gòu)的需要。比如，過(guò)去在單機(jī)體系結(jié)構(gòu)，我們知道計(jì)算機(jī)處理的方式是強(qiáng)調(diào)I，強(qiáng)調(diào)O，所以我們是以CPU的處理能力為核心，數(shù)據(jù)是圍繞處理能力來(lái)走的。現(xiàn)在我們又出現(xiàn)了很多新的一些技術(shù)，比如新型存儲(chǔ)介質(zhì)、新型運(yùn)算器件，它使得我們的體系結(jié)構(gòu)可能就會(huì)有一定的變革。怎么變革?會(huì)不會(huì)出現(xiàn)以數(shù)據(jù)為核心而計(jì)算圍在周邊的一種結(jié)構(gòu)。現(xiàn)在就在芯片上探討存算一體——這是一種可能的方向。
第二，云計(jì)算模式領(lǐng)域化、資源泛載化，資源平臺(tái)化的大態(tài)勢(shì)。我們希望在服務(wù)質(zhì)量提升、新型硬件管理、極致效能的追求方面做很多工作。同時(shí)我們也看到從云向邊轉(zhuǎn)變，這種云端融合，云邊端結(jié)合的新型計(jì)算也在涌現(xiàn)，還有軟件定義對(duì)整個(gè)世界所形成的影響。我們對(duì)數(shù)據(jù)管理、軟件開(kāi)發(fā)運(yùn)行、數(shù)據(jù)分析等等都有很多要求，都需要很多新的東西，這與過(guò)去是不一樣的。
第三，通信。5G能解決的通信問(wèn)題，所以我們網(wǎng)絡(luò)通信還需要更好的帶寬、移動(dòng)、泛載的發(fā)展。對(duì)于帶寬的問(wèn)題，移動(dòng)、泛載的問(wèn)題，我們看到整個(gè)信息技術(shù)體系按照過(guò)去的發(fā)展套路，實(shí)際理論上還有很多值得探討的空間，在基礎(chǔ)器件上也有很多探討的空間，比如大數(shù)據(jù)組織、分析等等相關(guān)技術(shù)理論都有待突破。基礎(chǔ)器件，高性能、高時(shí)效、高吞吐等極端化的大數(shù)據(jù)需求，使得我們需要高通量的處理芯片，需要多通道數(shù)據(jù)化、可視設(shè)備等等。
第四，軟件開(kāi)源，硬件開(kāi)放，正在導(dǎo)致我們產(chǎn)業(yè)生態(tài)發(fā)生一些變化。實(shí)際上，顛覆式發(fā)展的機(jī)遇可能就在這個(gè)地方。
觀念變化：大數(shù)據(jù)的管理、處理
管理是數(shù)據(jù)的存儲(chǔ)、組織，而處理就是把數(shù)據(jù)并行處理為內(nèi)容。
對(duì)于管理而言，比如說(shuō)傳統(tǒng)數(shù)據(jù)庫(kù)、關(guān)系型數(shù)據(jù)庫(kù)，它的目標(biāo)是什么?應(yīng)用的通用性、數(shù)據(jù)的一致性、應(yīng)用需求的處理方式和響應(yīng)時(shí)間等方面都不同，使得很難有一種通用管理的方式。
由于無(wú)法定義一個(gè)模式，一致性也沒(méi)法保持，不能夠事先定義數(shù)據(jù)模式，就沒(méi)辦法保持它的事務(wù)性等數(shù)據(jù)的一致性。從性能上講，由于單一表格存儲(chǔ)、高性能是非常難以實(shí)現(xiàn)的，這就使得對(duì)大規(guī)模、多表關(guān)聯(lián)查詢(xún)及復(fù)雜分析類(lèi)型的SQL查詢(xún)性能?chē)?yán)重下降，這就是在大數(shù)據(jù)時(shí)代傳統(tǒng)數(shù)據(jù)庫(kù)做不了的事。
對(duì)于處理而言，實(shí)際上大體分成三個(gè)階段：前大數(shù)據(jù)時(shí)代，大數(shù)據(jù)早期、現(xiàn)在。
早期都是關(guān)系型數(shù)據(jù)庫(kù)再到后來(lái)的SQL，這是在管理層面走過(guò)的一些路徑。從分析上面，比如說(shuō)面向大數(shù)據(jù)分析軟件、深度學(xué)習(xí)的一些發(fā)展，大體上是把前面的東西再做一個(gè)總結(jié)。當(dāng)然，支撐的東西都是在計(jì)算里面的分布式處理和實(shí)時(shí)集散這些相關(guān)的概念，都是計(jì)算基礎(chǔ)的支撐。
傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)雖然還在廣泛使用，結(jié)構(gòu)化數(shù)據(jù)還是我們很有用的一些東西。但是NoSQL和NewSQL都在快速發(fā)展，我們可以看到2011年的NoSQL和NewSQL的比例在增長(zhǎng)，市場(chǎng)份額在擴(kuò)大。也就使得我們數(shù)據(jù)庫(kù)管理系統(tǒng)發(fā)展觀念的轉(zhuǎn)變，傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)一招通吃天下，變成了我們?cè)谝粋€(gè)領(lǐng)域里面?zhèn)€通用的平臺(tái)。
大數(shù)據(jù)處理——為什么要談這件事情?
