8月28日在北京舉行的2019人工智能計算大會(AICC2019)上,浪潮宣布開源發(fā)布基于FPGA的高效AI計算框架TF2,這一框架的推理引擎采用全球首創(chuàng)的DNN移位計算技術(shù),結(jié)合多項最新優(yōu)化技術(shù),可實現(xiàn)通用深度學(xué)習(xí)模型基于FPGA芯片的高性能低延遲部署,這也是全球首個包含從模型裁剪、壓縮、量化到通用模型實現(xiàn)等優(yōu)化算法的完整方案的FPGA上AI開源框架,項目開源網(wǎng)址為https://github.com/TF2-Engine/TF2。據(jù)悉目前已有快手、上海大學(xué)、華大智造、遠(yuǎn)鑒科技、睿視智覺、華展匯元等多家公司或研究機(jī)構(gòu)加入TF2開源社區(qū),社區(qū)將共同推動基于可定制芯片FPGA的AI技術(shù)的開源開放合作發(fā)展,降低高性能AI計算技術(shù)門檻,幫助AI用戶和開發(fā)者縮短開發(fā)周期。

當(dāng)前,可定制、低延遲、高性能功耗比的FPGA技術(shù)成為很多AI用戶部署推理應(yīng)用的選擇,但FPGA開發(fā)難度大、周期長,難以適應(yīng)快速迭代的深度學(xué)習(xí)算法應(yīng)用需求。TF2可快速實現(xiàn)基于主流AI訓(xùn)練軟件和深度神經(jīng)網(wǎng)絡(luò)模型DNN的FPGA線上推理,幫助用戶最大限度的發(fā)揮FPGA計算能力,實現(xiàn)FPGA的高性能、低延遲部署。同時TF2計算架構(gòu)也可以快速實現(xiàn)AI芯片級設(shè)計和性能驗證。

TF2計算加速流程

TF2由兩部分組成。第一部分是模型優(yōu)化轉(zhuǎn)換工具TF2 Transform Kit,可將經(jīng)過PyTorch、TensorFlow、Caffe等框架訓(xùn)練得到的網(wǎng)絡(luò)模型數(shù)據(jù)進(jìn)行壓縮、裁剪、8位量化等操作,減少模型計算量。如對于ResNet50模型,通過壓縮32位浮點模型為4位整數(shù)模型、通道裁剪,可將模型文件裁剪掉93.75%,幾乎無精度損失并保持原始模型的基本計算架構(gòu)。第二部分是FPGA智能運(yùn)行引擎TF2 Runtime Engine,可將已優(yōu)化轉(zhuǎn)換的模型文件自動轉(zhuǎn)化為FPGA目標(biāo)運(yùn)行文件,通過創(chuàng)新的DNN移位計算技術(shù)大幅提升FPGA做推理計算的性能,并有效降低其實際運(yùn)行功耗。TF2已完成在ResNet50、FaceNet、GoogLeNet、SqueezeNet等主流DNN模型上的測試驗證。在浪潮F10A FPGA卡上采用FaceNet模型對TF2進(jìn)行的測試(BatchSize=1)表明,運(yùn)行TF2后單張圖片的計算耗時為0.612ms,提速12.8倍。

同時,浪潮開源的項目中還包括TF2的軟件定義的可重構(gòu)芯片設(shè)計架構(gòu)。此架構(gòu)完整支持當(dāng)前CNN網(wǎng)絡(luò)模型的開發(fā),并可快速移植使其支持Transformer、LSTM等網(wǎng)絡(luò)模型開發(fā)。以此架構(gòu)為基礎(chǔ),可進(jìn)一步實現(xiàn)ASIC芯片開發(fā)原型設(shè)計。

開源的FPGA芯片級設(shè)計

根據(jù)浪潮公布的開源社區(qū)建設(shè)計劃,浪潮將持續(xù)投入對TF2進(jìn)行更新,將開發(fā)開源自動模型解析、結(jié)構(gòu)性裁剪、任意比特量化、基于AutoML的裁剪和量化等新功能,支持稀疏計算、Transformer網(wǎng)絡(luò)模型、NLP通用模型等。此外,社區(qū)將定期舉行開發(fā)者會議和線上公開課,分享最新技術(shù)進(jìn)展和經(jīng)驗成果,并通過高校教育計劃培養(yǎng)開發(fā)者,同時開展用戶移植方案制定和開發(fā)技術(shù)支持。

浪潮集團(tuán)AI&HPC總經(jīng)理劉軍表示:“AI應(yīng)用部署涵蓋云端、邊端、移動端,需求非常多樣,TF2可極大提升跨端應(yīng)用部署的效率,快速適應(yīng)不同場景下模型推理需求。歡迎廣大AI用戶和開發(fā)者加入TF2開源社區(qū),共同加速AI應(yīng)用部署,推動更多AI應(yīng)用落地。”

浪潮是人工智能計算的領(lǐng)導(dǎo)品牌,AI服務(wù)器中國市場份額保持50%以上,并與人工智能領(lǐng)先科技公司保持在系統(tǒng)與應(yīng)用方面的深入緊密合作,幫助AI客戶在語音、語義、圖像、視頻、搜索、網(wǎng)絡(luò)等方面取得數(shù)量級的應(yīng)用性能提升。浪潮與合作伙伴共建元腦生態(tài),共享AI計算、資源與算法三大核心平臺能力,助力行業(yè)用戶開發(fā)并部署屬于自己的“行業(yè)大腦”,加速推進(jìn)產(chǎn)業(yè)AI化落地。