Anakin主要由獨立的Parser、靈活的Framework和高效的Saber計算庫三部分組成。獨立的Parser實現了將不同訓練框架生成的model轉換為Anakin計算圖的解析功能,它支持任何訓練框架生成的model解析,歐洲服務器租用 云服務器,屏蔽了不同訓練框架的差異。靈活的Framework屏蔽了底層硬件的差異,用于實現與硬件無關的所有操作,如網絡構建、圖融合、資源復用、計算調度等操作,方便用戶使用。高效的Saber計算庫是由大量的匯編級優化代碼組成,支持眾多業內產品,如Intel-CPU、NV-GPU、AMD-GPU和ARM等。
百度X-MAN的問世與升級為人工智能領域解決算力提升問題做出了重要貢獻,成為人工智能發展真正的加速器。目前,X-MAN系列產品已在百度實現規模化部署,廣泛應用于語音識別、計算機視覺、自然語音處理、無人車等基礎AI技術的深度學習模型訓練;X-MAN與FAST-F AI存儲系統、百度AI計算訓練平臺KongMing一起構建了端到端的訓練方案,將訓練時間從周級別縮短到天級別,服務于百度DuerOS、Apollo、百度智能云等核心業務,助力百度AI戰略的快速落地。
百度AI計算系統作為AI計算基礎技術解決方案,也同時應用到了百度智能云的AI相關產品中,比如百度智能云GPU云主機、百度智能云Infinite AI開發平臺、百度智能云ABC一體機等,使各行各業都能享受到百度AI計算基礎技術創新帶來的紅利。
憑借著對AI業務模型的深刻理解、扎實的硬件基礎架構技術和對行業趨勢的準確預判,百度設計了X-MAN AI計算平臺系列產品,創造了6項業界第一,包括單機16卡、支持64卡擴展、硬件解耦、資源池化、無損通信、液冷散熱等,同時期關鍵技術&性能保持領先,引領行業發展趨勢。該系列技術也獲得了2018年中國國家專利技術優秀獎。
百度AI計算系統展臺擁有的超強AI實力系統,包括了百度自主研發的最新超級AI計算平臺X-MAN3.0和支撐百度AI計算層面的FAST-F AI存儲系統、百度AI計算訓練平臺KongMing、AI推理加速引擎Anakin等軟件,服務于百度搜索、DuerOS、Apollo、百度智能云等核心業務。
AI推理加速引擎Anakin是另一個吸引了眾多業內關注的百度AI產品。它解決的痛點是能夠跨越不同的深度學習訓練框架。近幾年,為了解決AI計算力提升問題,業界涌現出了很多優秀的解決方案。但是帶來的問題是,不同訓練框架需要的運營環境不同。這意味著每個訓練框架在每個硬件平臺下都需要各搭建一套運行環境,甚至還有些框架是不支持某些硬件平臺的。他們之間的不互通,使得很多AI應用落地受到了阻礙。
算法、數據和計算是推動AI深度學習技術快速發展的三大要素。在人工智能應用場景和規模快速發展的背后,為支持更強的泛化能力,更高的預測精度,算法模型日趨復雜,越來越多的數據需要被及時標注和處理,計算性能成為關鍵。圖像分析的樣本量級大約為百億級,而語音分析也達到了十萬小時級。訓練數據樣本量越來越大,且主要是小文件,對存儲系統的成本和性能都提出了很大挑戰。最新的算法發展比如Deep Speech、BERT對整個計算需求所造成的挑戰變得更大,同時AutoDL等技術在簡化模型研發設計的同時也對算力提出了更高的要求,因此針對AI場景需要一整套計算系統,包括支持海量小文件高速訪問的并行文件系統、AI計算機、大規模分布式訓練平臺以及在線服務推理框架,這正是百度AI計算系統要解決的挑戰,提升整個計算系統的性能與效率提高尤為重要。
Anakin不僅同時支持CPU和GPU base的多種主流計算架構(如X86/ARM、以及多種GPU架構),還同時支持兩款最新的NPU架構(寒武紀和比特大陸)。 Anakin盡可能為開發者屏蔽異構計算的差異,方便用戶快速部署、享受卓越性能。