不知不覺,我們已經(jīng)進(jìn)入了ZB時(shí)代,根據(jù)IDC的統(tǒng)計(jì),2018年全球創(chuàng)建的數(shù)據(jù)量達(dá)到了32ZB,2019年是45ZB,而2020年由于疫情的影響,大多數(shù)人都是在家中工作、學(xué)習(xí)和娛樂,因此2020年創(chuàng)建和復(fù)制的數(shù)據(jù)量出現(xiàn)了異常高的增長(zhǎng),該機(jī)構(gòu)預(yù)計(jì)到2025年,這個(gè)數(shù)字是175ZB。
這是什么概念呢?
我們現(xiàn)在的手機(jī)存儲(chǔ)容量一般采用的是128GB,
1ZB=1024EB=1024×1024PB=1024×1024×1024TB=1024×1024×1024×1024GB,即1040GB,約1萬億GB。這是一個(gè)超級(jí)龐大的數(shù)字。
圖1:IDC預(yù)計(jì)數(shù)據(jù)將會(huì)呈現(xiàn)爆炸式增長(zhǎng)。
(來源:IDC,Synopsys)
在如今的數(shù)據(jù)大爆炸時(shí)代,大部分?jǐn)?shù)據(jù)并沒有被存儲(chǔ)下來,比如2018年創(chuàng)建的數(shù)據(jù)是32ZB,被存儲(chǔ)的數(shù)據(jù)大概是5ZB,只占產(chǎn)生數(shù)據(jù)的15%。這些被存儲(chǔ)的數(shù)據(jù)中,被真正分析,并萃取出有用信息的數(shù)據(jù)則更少。
有價(jià)值數(shù)據(jù)不到被存儲(chǔ)數(shù)據(jù)的3%
據(jù)IDC統(tǒng)計(jì),目前在收集到的所有數(shù)據(jù)中,只有12%的數(shù)據(jù)得到了有效分析,剩下88%的數(shù)據(jù)其實(shí)是沒有被處理的。而被有效分析的12%數(shù)據(jù)中,只有1/4的數(shù)據(jù)是有意義的,也就是說,真正產(chǎn)生了價(jià)值的數(shù)據(jù)不到被存儲(chǔ)的所有數(shù)據(jù)的3%。
圖2:真正有用的數(shù)據(jù)不到存儲(chǔ)數(shù)據(jù)的3%。
(來源:IDC,Synopsys)
有人將如今的數(shù)據(jù)比作能源行業(yè)的石油,VPS租用,認(rèn)為數(shù)據(jù)就是現(xiàn)代社會(huì)的動(dòng)力之源,但大量的數(shù)據(jù)和其潛在價(jià)值,并沒有體現(xiàn)出來。人們也沒有辦法分析如此大量的數(shù)據(jù),這是非常可惜的一件事情。
那有沒有什么辦法可以更加快速和方便地分析這些海量數(shù)據(jù)呢?目前業(yè)界最為普遍的方法就是運(yùn)用圖像加速器和AI加速器,來提高分析海量數(shù)據(jù)的效率。
接口成為制約數(shù)據(jù)處理效率的瓶頸
隨著數(shù)據(jù)量的增加,數(shù)據(jù)中心需要更高的計(jì)算密度,而隨著計(jì)算密度需求的增長(zhǎng),我們需要具有更高效率,以及更快速的接口來處理不斷增長(zhǎng)的數(shù)據(jù)量。
因?yàn)樵跀?shù)據(jù)的處理過程中,需要頻繁地與系統(tǒng)內(nèi)存進(jìn)行互動(dòng)傳輸。為了讓數(shù)據(jù)處理更加有效率,幾乎所有的CPU供應(yīng)商都會(huì)支持Cache-Coherent協(xié)議,該協(xié)議允許內(nèi)存共享,能夠最大程度地減少數(shù)據(jù)的復(fù)制和翻譯,以提高數(shù)據(jù)處理效率。
在服務(wù)器內(nèi)部和服務(wù)器之間移動(dòng)數(shù)據(jù),是導(dǎo)致數(shù)據(jù)延遲的主要因素,也是制約數(shù)據(jù)處理效率的一大瓶頸。因此,盡可能地減少數(shù)據(jù)移動(dòng),并在需要時(shí)為移動(dòng)數(shù)據(jù)提供高帶寬、低延遲的接口,是提高云和高性能計(jì)算應(yīng)用程序的性能、減少延遲和功耗的關(guān)鍵。
一般來說,延遲主要來自三個(gè)方面,一是網(wǎng)絡(luò)延遲,這包括在兩點(diǎn)之間移動(dòng)數(shù)據(jù)所需要的時(shí)間,網(wǎng)絡(luò)延遲受數(shù)據(jù)移動(dòng)距離的影響,如果所有其他條件相同的話,在臨近的兩座建筑物之間移動(dòng)數(shù)據(jù)就會(huì)比跨越大洲移動(dòng)數(shù)據(jù)快得多。同時(shí),網(wǎng)絡(luò)延遲也受到傳輸路徑的影響,更小化網(wǎng)絡(luò)距離和數(shù)據(jù)經(jīng)歷的網(wǎng)絡(luò)設(shè)備數(shù)有助于降低網(wǎng)絡(luò)延遲。
二是存儲(chǔ)延遲,這包括數(shù)據(jù)的存儲(chǔ)和檢索時(shí)間。此前,HDD是主要的長(zhǎng)期數(shù)據(jù)存儲(chǔ)截止,且HDD的訪問時(shí)間是以毫秒計(jì)算的,但隨著SSD使用量的增加,數(shù)據(jù)訪問時(shí)間變成了以納秒為單位了,響應(yīng)速度提高了10000倍。存儲(chǔ)器訪問時(shí)間的大幅提升,使得存儲(chǔ)網(wǎng)絡(luò)的延遲成為了存儲(chǔ)延遲的主要影響因素。
三是計(jì)算延遲,這是數(shù)據(jù)處理所需要的實(shí)際計(jì)算時(shí)間。計(jì)算周期和計(jì)算模塊間的數(shù)據(jù)移動(dòng)(在內(nèi)存和計(jì)算設(shè)備之間)全都會(huì)影響數(shù)據(jù)處理時(shí)間。要解決處理延遲問題,設(shè)計(jì)人員需要解決可用帶寬量和數(shù)據(jù)傳輸協(xié)議的速度問題。
比如,圖3顯示了兩個(gè)芯片的示例。提供應(yīng)用計(jì)算處理的云服務(wù)器片上系統(tǒng) (SoC) 和圖形加速器芯片。圖形加速器采用 HBM 內(nèi)存,云服務(wù)器芯片采用傳統(tǒng) DDR 內(nèi)存。通過利用這兩個(gè)設(shè)備之間的緩存一致性接口,可以將內(nèi)存匯集到我們所謂的“融合內(nèi)存池”中,并且這些設(shè)備可以共享內(nèi)存空間,而實(shí)際上并不需要在進(jìn)程或域之間復(fù)制數(shù)據(jù)。以這種方式,可以減少實(shí)際數(shù)據(jù)的搬移時(shí)間,從而提高系統(tǒng)的性能和效率。
圖3:緩存一致性接口降低了計(jì)算延遲。
那么,如何才能構(gòu)建這樣的“融合內(nèi)存池”,讓設(shè)備之間共享內(nèi)存空間呢?這就需要高性能接口IP的幫助,比如PCIe、CXL和CCIX等等。
如何選擇合適的接口類型