在貴州舉辦的2019年數(shù)博會吸引了國內(nèi)外各界目光，圍繞大數(shù)據(jù)最新技術(shù)創(chuàng)新與成就，諸多學(xué)界、產(chǎn)業(yè)界、政界人士紛紛參與交流。在5月25日的“5G+大數(shù)據(jù)推動智慧社會數(shù)字化轉(zhuǎn)型論壇”上，中科院院士梅宏發(fā)表了精彩演講，重點(diǎn)談到了大數(shù)據(jù)對計(jì)算體系帶來的挑戰(zhàn)以及應(yīng)對之法。

梅宏作為大數(shù)據(jù)領(lǐng)域權(quán)威專家，對大數(shù)據(jù)學(xué)術(shù)研究、工具開發(fā)等方面有著深入的理解。他提到，大數(shù)據(jù)讓信息技術(shù)整個體系進(jìn)入一個重構(gòu)的前夜，大數(shù)據(jù)的管理、處理方式正在發(fā)生深刻改變。比如，在芯片上探討存算一體是一種可能的方向;比如，軟件定義可以做很多事情;比如，軟件開源+硬件開放有可能產(chǎn)生顛覆式機(jī)遇。

他提到了個人對于大數(shù)據(jù)的理解，談到了三個現(xiàn)實(shí)中的挑戰(zhàn)。但在挑戰(zhàn)背后，他們的團(tuán)隊(duì)已經(jīng)集結(jié)了最好的高校和阿里這種巨頭企業(yè)的技術(shù)，做完了三批課題。未來，將追求高時效、低時延，多計(jì)算模型的融合，打造出更多核心、關(guān)鍵、原創(chuàng)的技術(shù)。

演講原文如下，雷鋒網(wǎng)做了不改變原意的編輯與整理：

大數(shù)據(jù)導(dǎo)致了一個現(xiàn)象，就是信息技術(shù)整個體系進(jìn)入一個重構(gòu)前夜，實(shí)際上給了我們一個顛覆式發(fā)展的一種機(jī)遇。因?yàn)樗瓦^去的東西確實(shí)不太一樣了。

個人對大數(shù)據(jù)的理解

我想分四個方面講。

第一，應(yīng)用需求。大數(shù)據(jù)的應(yīng)用需求，使得我們的計(jì)算機(jī)體系結(jié)構(gòu)可能面臨重構(gòu)的需要。比如，過去在單機(jī)體系結(jié)構(gòu)，我們知道計(jì)算機(jī)處理的方式是強(qiáng)調(diào)I，強(qiáng)調(diào)O，所以我們是以CPU的處理能力為核心，數(shù)據(jù)是圍繞處理能力來走的。現(xiàn)在我們又出現(xiàn)了很多新的一些技術(shù)，比如新型存儲介質(zhì)、新型運(yùn)算器件，它使得我們的體系結(jié)構(gòu)可能就會有一定的變革。怎么變革?會不會出現(xiàn)以數(shù)據(jù)為核心而計(jì)算圍在周邊的一種結(jié)構(gòu)。現(xiàn)在就在芯片上探討存算一體——這是一種可能的方向。

第二，云計(jì)算模式領(lǐng)域化、資源泛載化，資源平臺化的大態(tài)勢。我們希望在服務(wù)質(zhì)量提升、新型硬件管理、極致效能的追求方面做很多工作。同時我們也看到從云向邊轉(zhuǎn)變，這種云端融合，云邊端結(jié)合的新型計(jì)算也在涌現(xiàn)，還有軟件定義對整個世界所形成的影響。我們對數(shù)據(jù)管理、軟件開發(fā)運(yùn)行、數(shù)據(jù)分析等等都有很多要求，都需要很多新的東西，這與過去是不一樣的。

第三，通信。5G能解決的通信問題，所以我們網(wǎng)絡(luò)通信還需要更好的帶寬、移動、泛載的發(fā)展。對于帶寬的問題，移動、泛載的問題，我們看到整個信息技術(shù)體系按照過去的發(fā)展套路，實(shí)際理論上還有很多值得探討的空間，在基礎(chǔ)器件上也有很多探討的空間，比如大數(shù)據(jù)組織、分析等等相關(guān)技術(shù)理論都有待突破。基礎(chǔ)器件，高性能、高時效、高吞吐等極端化的大數(shù)據(jù)需求，使得我們需要高通量的處理芯片，需要多通道數(shù)據(jù)化、可視設(shè)備等等。

第四，軟件開源，硬件開放，正在導(dǎo)致我們產(chǎn)業(yè)生態(tài)發(fā)生一些變化。實(shí)際上，顛覆式發(fā)展的機(jī)遇可能就在這個地方。

觀念變化：大數(shù)據(jù)的管理、處理

管理是數(shù)據(jù)的存儲、組織，而處理就是把數(shù)據(jù)并行處理為內(nèi)容。

對于管理而言，比如說傳統(tǒng)數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫，它的目標(biāo)是什么?應(yīng)用的通用性、數(shù)據(jù)的一致性、應(yīng)用需求的處理方式和響應(yīng)時間等方面都不同，使得很難有一種通用管理的方式。

由于無法定義一個模式，一致性也沒法保持，不能夠事先定義數(shù)據(jù)模式，就沒辦法保持它的事務(wù)性等數(shù)據(jù)的一致性。從性能上講，由于單一表格存儲、高性能是非常難以實(shí)現(xiàn)的，這就使得對大規(guī)模、多表關(guān)聯(lián)查詢及復(fù)雜分析類型的SQL查詢性能嚴(yán)重下降，這就是在大數(shù)據(jù)時代傳統(tǒng)數(shù)據(jù)庫做不了的事。

對于處理而言，實(shí)際上大體分成三個階段：前大數(shù)據(jù)時代，大數(shù)據(jù)早期、現(xiàn)在。

早期都是關(guān)系型數(shù)據(jù)庫再到后來的SQL，這是在管理層面走過的一些路徑。從分析上面，比如說面向大數(shù)據(jù)分析軟件、深度學(xué)習(xí)的一些發(fā)展，大體上是把前面的東西再做一個總結(jié)。當(dāng)然，支撐的東西都是在計(jì)算里面的分布式處理和實(shí)時集散這些相關(guān)的概念，都是計(jì)算基礎(chǔ)的支撐。

傳統(tǒng)關(guān)系數(shù)據(jù)庫雖然還在廣泛使用，結(jié)構(gòu)化數(shù)據(jù)還是我們很有用的一些東西。但是NoSQL和NewSQL都在快速發(fā)展，我們可以看到2011年的NoSQL和NewSQL的比例在增長，市場份額在擴(kuò)大。也就使得我們數(shù)據(jù)庫管理系統(tǒng)發(fā)展觀念的轉(zhuǎn)變，傳統(tǒng)關(guān)系數(shù)據(jù)庫一招通吃天下，變成了我們在一個領(lǐng)域里面?zhèn)€通用的平臺。

大數(shù)據(jù)處理——為什么要談這件事情?