近日,騰訊云存儲高級工程師陳宏亮在“2020中國數據與存儲峰會——新基建與數字化論壇”上發表主題演講,與英特爾、紫晶存儲、慧點科技以及InterSystems等演講嘉賓,從專業角度出發,共同探討新基建機遇下如何加速賦能產業應用,提升企業數字化能力。陳宏亮闡述了新基建背景下的新存儲需求,結合業務場景對騰訊云多年打磨的CFS進行了介紹,并深入分析了CFS在新基建中的具體應用。
新基建也就是說新型基礎設施建設,相對于舊基建其主要包括5G計算建設、特高壓、城際高速鐵路、新能源汽車充電樁、大數據中心、人工智能、工業互聯網等領域,涉及諸多的產業鏈,以新發展為引領,以技術創新為驅動,信息網絡為基礎,面向高質量發展需要提供技術轉型、職能升級、容量創新等服務的基礎設施體系。
新基建技術中最核心的資產就是數據,物聯網讓采集的數據種類和數量越來越多,5G讓數據傳輸的速率越來越快,云計算在不斷地對數據進行計算處理,AI在不斷地挖掘數據的價值。這些技術連接的關鍵紐帶便是存儲,在新基建的推動下,存儲可以說是推動產業向高端化發展的一個剛需,為此新基建需要新的存儲。
新存儲有哪幾個重要特征?
第一個是海量存儲的可持續高效存儲。第二是海量數據的高效管理。第三是海量數據的一個價值挖掘。面對如此龐大的信息存儲量和可預見性的數據增長量,新的存儲架構必須要考慮的第一個點就是如何以更高擴展性、更高的吞吐、更低的時延以及更低的性價比來實現容量的管理。
首先要有高擴展性,滿足因為業務量數據精細度提升導致的數據量增加以及隨時擴容的需求。其次要有高吞吐、低延時,可以快速讀取跟調用。當然,用戶也是很看重整體方案的性價比。今天解決了數據存儲的問題,對新基建用戶來說是遠遠不夠的,還要進一步解決數據存儲的管理問題。
數據跟人一樣也是有生命周期,從產生到消亡有很多階段。新基建所需要的存儲系統必須要具備生命周期管理的能力,數據最終的價值呈現一定是為應用服務的。人工智能和大數據驅動的發展,驅動數據產生更多的應用價值,所以在數據的價值挖掘方面,其中終極需求必須更好地利用人工智能,服務人工智能,賦能大數據人工挖掘。
基于海量的價值挖掘分析基本上都要依賴于機器學習、深度學習的人工智能技術。在人工智能的場景中,數據要經歷采集、訓練、推理、歸檔等國家。人工智能各個階段對存儲系統要求差異非常大,采集階段要支持互聯網原始訪問的協議,吞吐量非常大。要求系統有高并發、低時延的歸檔的能力,而在歸檔的階段則需要低成本的存儲系統。
業界關注度頗高的騰訊云文件存儲CFS在關鍵業務應用場景中如何發揮能力?CFS如何以40GB/s高吞吐應對新建下的數據挑戰呢?騰訊云主要有哪幾種存儲產品?
COS、CFS和CBS,騰訊推出這三款產品可以滿足各種不同的需要。其中CFS是一個縮寫,鏈存儲,主要是提供文件存儲服務。CBS即云硬盤,主要提供的是快速的服務。而COS是云對象存儲,主要提供云對象存儲的服務。下面我們通過對比的形式介紹這三種產品,產品的規格、性能以及規模對比,主要是以CBS單刻盤、CBS單文件系統以及COS單存儲統一為單位進行對比。在存儲規模的方面,CFS大文件系統最大支持是20TB存儲上限,COS單盤支持16TB存儲上限,COS則能提供億B級存儲上限。延時方面,CFS是在0.3毫秒到20毫秒之間;CBS是在0.2毫秒至5毫秒之間,COS的延時是根據網絡情況而定的。在吞吐方面,CFS大文件系統最大能夠支持40GB/s的上限,SSD云硬盤目前最大能夠支持260兆B的吞吐上限。而COS吞吐主要與用戶互聯網存儲的帶寬相關,支持海量并發。在IOPS方面,CFS單文件系統目前最大能夠支持60K的IOPS。而CBS在SSD目前最大能夠支持26K的IOPS。COS主要性能指標是QPS,最低目前能支持1.2K的QPS。在訪問量上COS可以達到數億的并發連接,而CFS可以支持數萬的客戶端并發的訪問。而CBS在并發訪問上比較受限,在業務的網絡上CFS和CBS主要用在了內網上,COS在內外網都可以使用。生態方面COS比較豐富,有數據萬象、大數據套件、無服務函數等。在價格方面的話,CFS和CBS差不多,CFS超高一些,而COS則比較低廉。
什么是CFS?