近日,騰訊云存儲高級工程師陳宏亮在“2020中國數(shù)據(jù)與存儲峰會——新基建與數(shù)字化論壇”上發(fā)表主題演講,與英特爾、紫晶存儲、慧點科技以及InterSystems等演講嘉賓,從專業(yè)角度出發(fā),共同探討新基建機遇下如何加速賦能產(chǎn)業(yè)應(yīng)用,提升企業(yè)數(shù)字化能力。陳宏亮闡述了新基建背景下的新存儲需求,結(jié)合業(yè)務(wù)場景對騰訊云多年打磨的CFS進行了介紹,并深入分析了CFS在新基建中的具體應(yīng)用。
新基建也就是說新型基礎(chǔ)設(shè)施建設(shè),相對于舊基建其主要包括5G計算建設(shè)、特高壓、城際高速鐵路、新能源汽車充電樁、大數(shù)據(jù)中心、人工智能、工業(yè)互聯(lián)網(wǎng)等領(lǐng)域,涉及諸多的產(chǎn)業(yè)鏈,以新發(fā)展為引領(lǐng),以技術(shù)創(chuàng)新為驅(qū)動,信息網(wǎng)絡(luò)為基礎(chǔ),面向高質(zhì)量發(fā)展需要提供技術(shù)轉(zhuǎn)型、職能升級、容量創(chuàng)新等服務(wù)的基礎(chǔ)設(shè)施體系。
新基建技術(shù)中最核心的資產(chǎn)就是數(shù)據(jù),物聯(lián)網(wǎng)讓采集的數(shù)據(jù)種類和數(shù)量越來越多,5G讓數(shù)據(jù)傳輸?shù)乃俾试絹碓娇欤?a target="_blank">云計算在不斷地對數(shù)據(jù)進行計算處理,AI在不斷地挖掘數(shù)據(jù)的價值。這些技術(shù)連接的關(guān)鍵紐帶便是存儲,在新基建的推動下,存儲可以說是推動產(chǎn)業(yè)向高端化發(fā)展的一個剛需,為此新基建需要新的存儲。
新存儲有哪幾個重要特征?
第一個是海量存儲的可持續(xù)高效存儲。第二是海量數(shù)據(jù)的高效管理。第三是海量數(shù)據(jù)的一個價值挖掘。面對如此龐大的信息存儲量和可預(yù)見性的數(shù)據(jù)增長量,新的存儲架構(gòu)必須要考慮的第一個點就是如何以更高擴展性、更高的吞吐、更低的時延以及更低的性價比來實現(xiàn)容量的管理。
首先要有高擴展性,滿足因為業(yè)務(wù)量數(shù)據(jù)精細度提升導(dǎo)致的數(shù)據(jù)量增加以及隨時擴容的需求。其次要有高吞吐、低延時,可以快速讀取跟調(diào)用。當然,用戶也是很看重整體方案的性價比。今天解決了數(shù)據(jù)存儲的問題,對新基建用戶來說是遠遠不夠的,還要進一步解決數(shù)據(jù)存儲的管理問題。
數(shù)據(jù)跟人一樣也是有生命周期,從產(chǎn)生到消亡有很多階段。新基建所需要的存儲系統(tǒng)必須要具備生命周期管理的能力,數(shù)據(jù)最終的價值呈現(xiàn)一定是為應(yīng)用服務(wù)的。人工智能和大數(shù)據(jù)驅(qū)動的發(fā)展,驅(qū)動數(shù)據(jù)產(chǎn)生更多的應(yīng)用價值,所以在數(shù)據(jù)的價值挖掘方面,其中終極需求必須更好地利用人工智能,服務(wù)人工智能,賦能大數(shù)據(jù)人工挖掘。
基于海量的價值挖掘分析基本上都要依賴于機器學(xué)習(xí)、深度學(xué)習(xí)的人工智能技術(shù)。在人工智能的場景中,數(shù)據(jù)要經(jīng)歷采集、訓(xùn)練、推理、歸檔等國家。人工智能各個階段對存儲系統(tǒng)要求差異非常大,采集階段要支持互聯(lián)網(wǎng)原始訪問的協(xié)議,吞吐量非常大。要求系統(tǒng)有高并發(fā)、低時延的歸檔的能力,而在歸檔的階段則需要低成本的存儲系統(tǒng)。
業(yè)界關(guān)注度頗高的騰訊云文件存儲CFS在關(guān)鍵業(yè)務(wù)應(yīng)用場景中如何發(fā)揮能力?CFS如何以40GB/s高吞吐應(yīng)對新建下的數(shù)據(jù)挑戰(zhàn)呢?騰訊云主要有哪幾種存儲產(chǎn)品?
COS、CFS和CBS,騰訊推出這三款產(chǎn)品可以滿足各種不同的需要。其中CFS是一個縮寫,鏈存儲,主要是提供文件存儲服務(wù)。CBS即云硬盤,主要提供的是快速的服務(wù)。而COS是云對象存儲,主要提供云對象存儲的服務(wù)。下面我們通過對比的形式介紹這三種產(chǎn)品,產(chǎn)品的規(guī)格、性能以及規(guī)模對比,主要是以CBS單刻盤、CBS單文件系統(tǒng)以及COS單存儲統(tǒng)一為單位進行對比。在存儲規(guī)模的方面,CFS大文件系統(tǒng)最大支持是20TB存儲上限,COS單盤支持16TB存儲上限,COS則能提供億B級存儲上限。延時方面,CFS是在0.3毫秒到20毫秒之間;CBS是在0.2毫秒至5毫秒之間,COS的延時是根據(jù)網(wǎng)絡(luò)情況而定的。在吞吐方面,CFS大文件系統(tǒng)最大能夠支持40GB/s的上限,SSD云硬盤目前最大能夠支持260兆B的吞吐上限。而COS吞吐主要與用戶互聯(lián)網(wǎng)存儲的帶寬相關(guān),支持海量并發(fā)。在IOPS方面,CFS單文件系統(tǒng)目前最大能夠支持60K的IOPS。而CBS在SSD目前最大能夠支持26K的IOPS。COS主要性能指標是QPS,最低目前能支持1.2K的QPS。在訪問量上COS可以達到數(shù)億的并發(fā)連接,而CFS可以支持數(shù)萬的客戶端并發(fā)的訪問。而CBS在并發(fā)訪問上比較受限,在業(yè)務(wù)的網(wǎng)絡(luò)上CFS和CBS主要用在了內(nèi)網(wǎng)上,COS在內(nèi)外網(wǎng)都可以使用。生態(tài)方面COS比較豐富,有數(shù)據(jù)萬象、大數(shù)據(jù)套件、無服務(wù)函數(shù)等。在價格方面的話,CFS和CBS差不多,CFS超高一些,而COS則比較低廉。
什么是CFS?