導語:當前世界已進入“讀圖”時代,圖片數據占用了互聯網數據中心巨大的存儲資源,為此谷歌推出壓縮比更高的WebP圖像格式,但由于算法更復雜,WebP圖像的轉碼時間更長。浪潮推出了WebP圖像有損壓縮FPGA異構加速方案,能夠實現JPEG-WebP圖片格式的快速轉換,相比傳統方案轉換效率最高能提升14倍,能夠支撐更高并發密度的圖片實時檢索、傳輸等任務。
基于業界最強性能的浪潮F10A FPGA的圖像壓縮加速方案
這是一個“讀圖”的時代
隨著移動互聯網的發展,圖片正在成為日常資訊中重要的組成部分,從一定程度上來講我們已經進入了“讀圖”時代。根據研究表明,全球設備產生的互聯網數據規模在2019年預計達到每月24.3EB,其中,60%的數據流量來源于圖片。“讀圖時代”尤其是“大圖時代”,這么多高質量的圖片存在哪?存儲成本急劇上升怎么解?
用計算能力“換取”存儲空間
目前,互聯網主流的圖片格式包括JPEG、GIF等,但是由于壓縮比小,導致圖片數據存儲占用了過多的服務器存儲資源。
WebP格式能夠大大縮小圖片文件大小
為此,谷歌發布了新的圖片有損壓縮格式——WebP,能在保證圖像質量的前提下,數據大小相比JPEG降低39.8%,日本游戲代理 歐洲服務器,相比PNG降低26%,相比GIF降低64%。使用WebP格式圖片后頁面平均傳輸時間減少33%,網頁加載時間降低10%。
在國內,騰訊的新聞客戶端、QQ空間等也開始嘗試向WebP切換,流量峰值帶寬可以降低9GB,圖片的延時和數據下載延時降低100ms。但是WebP的應用落地仍存在門檻,因為WebP其實是需要用計算能力“換取”存儲空間。
由于采用了更復雜的壓縮算法,與JPEG相比,WebP格式圖片的編解碼過程都需要消耗更多的計算資源,導致處理效率低10倍甚至更多。并且,CPU在處理高并行任務時并不那么高效,因此研發出一種更高效的圖片編解碼加速硬件是WebP快速落地的關鍵。
FPGA加速壓縮算法,整體性能可提升14倍
單一圖片的編解碼對于計算設備而言是一種小計算量任務,但是這種任務并發很多,同一時間要處理的圖片的數量多。如果使用串行計算的CPU來處理,處理效率就會受限于時鐘頻率。
因此,浪潮采用并行計算能力強的計算平臺FPGA來進行圖片編解碼,通過把高性能計算算法中固有的并行運算部分硬件化來實現應用加速。在處理大規模并發任務時,可以提供更多管道,也就是說可以同時并行執行大量的指令。因而通過合理的配置,FPGA可以同時執行大量的數據吞吐操作,在這種情況下,該設備相當于多個傳統CPU在同時工作。
浪潮WebP圖像壓縮FPGA異構加速方案,基于浪潮研發的業界最高密度的FPGA卡-F10A。并針對圖片數據的壓縮任務,嵌入基于FPGA計算環境下的WebP編解碼優化算法,通過充分利用硬件流水設計和任務級并行,大大提升WebP圖像壓縮編碼算法的處理性能。
浪潮實測數據顯示FPGA方案相比傳統方案效率提升14倍以上
根據浪潮實測,采用浪潮WebP圖像壓縮FPGA解決方案,與傳統實現方式相比,在JPEG格式轉WebP格式任務下,這一解決方案相比傳統CPU方案,整體處理效率平均提高9.13倍左右,最高性能可比CPU提高14倍!這意味著,圖片數據存儲所需要的服務器數量減少近一半,且能夠支撐更高并發密度的圖片檢索、傳輸等任務。
舉個實測例子,輸入1200張2048×1536分辨率的JPEG圖片,使用雙路Xeon E5-2690v3服務器來進行WebP格式轉碼,共需要33.4秒,每秒能夠處理35張。而使用浪潮FPGA加速方案則只需要2.39秒,每秒能夠處理502張,加速比達到14.37倍!
當今社會,directadmin安裝 directadmin漢化,圖片已經成為互聯網不可或缺的元素,在電子商務、即時通訊、圖片搜索、生活服務、社交平臺等領域,圖片所占的比重也逐漸增大,圖片存儲和分發對于數據中心運營成本的壓力也居高不下,采用浪潮WebP圖像壓縮FPGA方案,將能夠有效提升WebP格式圖片轉碼效率,進而提升網站、App的圖片速度,降低后臺存儲所需硬件資源。
目前,浪潮已經在WebP圖像壓縮、Gzip數據壓縮和殘差網絡-ResNet等方向推出了相應的FPGA解決方案,相比傳統應用實現方式,浪潮FPGA方案具有極高的性能功耗比優勢。后續,浪潮將繼續深入研發基于FPGA的通用系統方案,包括深度學習、網絡加速、存儲優化等,并將方案推廣到其它應用領域和客戶。未來,CPU+FPGA或許將作為新的異構加速模式,被越來越多的數據中心、互聯網深度學習等越來越多的應用領域采用。