Anakin主要由獨立的Parser、靈活的Framework和高效的Saber計算庫三部分組成。獨立的Parser實現(xiàn)了將不同訓(xùn)練框架生成的model轉(zhuǎn)換為Anakin計算圖的解析功能,它支持任何訓(xùn)練框架生成的model解析,歐洲服務(wù)器租用 云服務(wù)器,屏蔽了不同訓(xùn)練框架的差異。靈活的Framework屏蔽了底層硬件的差異,用于實現(xiàn)與硬件無關(guān)的所有操作,如網(wǎng)絡(luò)構(gòu)建、圖融合、資源復(fù)用、計算調(diào)度等操作,方便用戶使用。高效的Saber計算庫是由大量的匯編級優(yōu)化代碼組成,支持眾多業(yè)內(nèi)產(chǎn)品,如Intel-CPU、NV-GPU、AMD-GPU和ARM等。
百度X-MAN的問世與升級為人工智能領(lǐng)域解決算力提升問題做出了重要貢獻,成為人工智能發(fā)展真正的加速器。目前,X-MAN系列產(chǎn)品已在百度實現(xiàn)規(guī)模化部署,廣泛應(yīng)用于語音識別、計算機視覺、自然語音處理、無人車等基礎(chǔ)AI技術(shù)的深度學(xué)習(xí)模型訓(xùn)練;X-MAN與FAST-F AI存儲系統(tǒng)、百度AI計算訓(xùn)練平臺KongMing一起構(gòu)建了端到端的訓(xùn)練方案,將訓(xùn)練時間從周級別縮短到天級別,服務(wù)于百度DuerOS、Apollo、百度智能云等核心業(yè)務(wù),助力百度AI戰(zhàn)略的快速落地。
百度AI計算系統(tǒng)作為AI計算基礎(chǔ)技術(shù)解決方案,也同時應(yīng)用到了百度智能云的AI相關(guān)產(chǎn)品中,比如百度智能云GPU云主機、百度智能云Infinite AI開發(fā)平臺、百度智能云ABC一體機等,使各行各業(yè)都能享受到百度AI計算基礎(chǔ)技術(shù)創(chuàng)新帶來的紅利。
憑借著對AI業(yè)務(wù)模型的深刻理解、扎實的硬件基礎(chǔ)架構(gòu)技術(shù)和對行業(yè)趨勢的準確預(yù)判,百度設(shè)計了X-MAN AI計算平臺系列產(chǎn)品,創(chuàng)造了6項業(yè)界第一,包括單機16卡、支持64卡擴展、硬件解耦、資源池化、無損通信、液冷散熱等,同時期關(guān)鍵技術(shù)&性能保持領(lǐng)先,引領(lǐng)行業(yè)發(fā)展趨勢。該系列技術(shù)也獲得了2018年中國國家專利技術(shù)優(yōu)秀獎。
百度AI計算系統(tǒng)展臺擁有的超強AI實力系統(tǒng),包括了百度自主研發(fā)的最新超級AI計算平臺X-MAN3.0和支撐百度AI計算層面的FAST-F AI存儲系統(tǒng)、百度AI計算訓(xùn)練平臺KongMing、AI推理加速引擎Anakin等軟件,服務(wù)于百度搜索、DuerOS、Apollo、百度智能云等核心業(yè)務(wù)。
AI推理加速引擎Anakin是另一個吸引了眾多業(yè)內(nèi)關(guān)注的百度AI產(chǎn)品。它解決的痛點是能夠跨越不同的深度學(xué)習(xí)訓(xùn)練框架。近幾年,為了解決AI計算力提升問題,業(yè)界涌現(xiàn)出了很多優(yōu)秀的解決方案。但是帶來的問題是,不同訓(xùn)練框架需要的運營環(huán)境不同。這意味著每個訓(xùn)練框架在每個硬件平臺下都需要各搭建一套運行環(huán)境,甚至還有些框架是不支持某些硬件平臺的。他們之間的不互通,使得很多AI應(yīng)用落地受到了阻礙。
算法、數(shù)據(jù)和計算是推動AI深度學(xué)習(xí)技術(shù)快速發(fā)展的三大要素。在人工智能應(yīng)用場景和規(guī)模快速發(fā)展的背后,為支持更強的泛化能力,更高的預(yù)測精度,算法模型日趨復(fù)雜,越來越多的數(shù)據(jù)需要被及時標注和處理,計算性能成為關(guān)鍵。圖像分析的樣本量級大約為百億級,而語音分析也達到了十萬小時級。訓(xùn)練數(shù)據(jù)樣本量越來越大,且主要是小文件,對存儲系統(tǒng)的成本和性能都提出了很大挑戰(zhàn)。最新的算法發(fā)展比如Deep Speech、BERT對整個計算需求所造成的挑戰(zhàn)變得更大,同時AutoDL等技術(shù)在簡化模型研發(fā)設(shè)計的同時也對算力提出了更高的要求,因此針對AI場景需要一整套計算系統(tǒng),包括支持海量小文件高速訪問的并行文件系統(tǒng)、AI計算機、大規(guī)模分布式訓(xùn)練平臺以及在線服務(wù)推理框架,這正是百度AI計算系統(tǒng)要解決的挑戰(zhàn),提升整個計算系統(tǒng)的性能與效率提高尤為重要。
Anakin不僅同時支持CPU和GPU base的多種主流計算架構(gòu)(如X86/ARM、以及多種GPU架構(gòu)),還同時支持兩款最新的NPU架構(gòu)(寒武紀和比特大陸)。 Anakin盡可能為開發(fā)者屏蔽異構(gòu)計算的差異,方便用戶快速部署、享受卓越性能。