2019年7月3日,“Baidu Create 2019”百度 AI開發(fā)者大會在京召開。百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏與百度各業(yè)務(wù)板塊的領(lǐng)軍人物一起,為來自全球各地的開發(fā)者與行業(yè)合作伙伴展示百度AI最前沿的人工智能技術(shù)、產(chǎn)品,并與現(xiàn)場數(shù)千名開發(fā)者、企業(yè)代表共同探討AI技術(shù)落地各行各業(yè)及全球產(chǎn)業(yè)智能化大趨勢。
在今年大會的公開課環(huán)節(jié),百度效率云團(tuán)隊(duì)聯(lián)合百度視覺技術(shù)部貢獻(xiàn)了一堂名為“DevOps for AI: Deploy ML Application via DevOps Pipelines”的公開課。公開課以開發(fā)一個(gè)著名品牌面包店識別商品、自動生成訂單服務(wù)為場景,結(jié)合現(xiàn)場實(shí)操向?qū)W員及來賓展示了通過百度效率云及AIFlow開發(fā)AI服務(wù)的全流程。公開課吸引了眾多對AI開發(fā)及DevOps感興趣的工程師以及技術(shù)人員的參與。
公開課上提到的AI服務(wù)到底是什么?開發(fā)一個(gè)AI服務(wù)和開發(fā)其它服務(wù)有哪些異同呢?
一、AI服務(wù)及開發(fā)挑戰(zhàn)
01. AI服務(wù)是什么,他的開發(fā)過程是怎樣的?
以AI視覺能力為例,一個(gè)完整的AI服務(wù)包括了基于AI模型的AI基礎(chǔ)能力,也包括了對外提供服務(wù)的工程代碼,最終用戶通過不同的客戶端對服務(wù)進(jìn)行訪問。
AI服務(wù)的示例
一個(gè)完整的AI服務(wù)開發(fā)包括了工程代碼開發(fā)、模型訓(xùn)練以及最終的集成階段。
在工程代碼開發(fā)階段,工程師像開發(fā)普通服務(wù)一樣通過coding, build, test等活動,最終產(chǎn)出發(fā)布物
在模型訓(xùn)練部分,工程師經(jīng)過數(shù)據(jù)收集與標(biāo)注、數(shù)據(jù)處理、模型訓(xùn)練與調(diào)優(yōu)等活動最終產(chǎn)出一個(gè)AI模型
接下來,工程師需要將工程部分的發(fā)布物和AI模型打包在一起形成最終的產(chǎn)出物,并將最終產(chǎn)出物發(fā)布到線上
AI服務(wù)開發(fā)的過程
02. AI產(chǎn)品研發(fā)面臨的挑戰(zhàn)有哪些?
相對于傳統(tǒng)軟件開發(fā)而言,AI產(chǎn)品的研發(fā)面臨著諸多挑戰(zhàn):
1、項(xiàng)目協(xié)作難:項(xiàng)目涉及開發(fā)、測試、運(yùn)維等多角色,而AI項(xiàng)目往往額外涉及多個(gè)AI算法團(tuán)隊(duì),溝通、協(xié)調(diào)成本高,工作效率低
2、技術(shù)要求高:AI研發(fā)流程更長且專業(yè)性要求更高
3、環(huán)境周邊成本高:AI數(shù)據(jù)、模型、服務(wù)、工具維護(hù)使用成本高、安全風(fēng)險(xiǎn)大
4、技術(shù)復(fù)用難:業(yè)務(wù)閉環(huán)迭代慢,且無法快速規(guī)模化遷移應(yīng)用已有能力
二、AI服務(wù)開發(fā)全生命周期解決方案
針對以上問題,百度內(nèi)部通過多年的探索和實(shí)踐,最終形成了一套針對AI服務(wù)的DevOps解決方案。該方案涵蓋了模型訓(xùn)練的部分,以及服務(wù)代碼開發(fā)的DevOps部分,并已經(jīng)實(shí)現(xiàn)了全部的產(chǎn)品化,被百度內(nèi)部多個(gè)AI開發(fā)團(tuán)隊(duì)所使用。整套方案貫徹了DevOps理念中自動化一切的部分, 包括:
1、服務(wù)代碼--模型組裝--服務(wù)部署自動化
2、訓(xùn)練工具源碼--訓(xùn)練工具集成自動化
3、訓(xùn)練數(shù)據(jù)管理--模型訓(xùn)練--模型評估自動化
AI服務(wù)全周期解決方案
整個(gè)方案包括兩大重要工具以及支撐機(jī)器學(xué)習(xí)訓(xùn)練的GPU服務(wù)器,他們分別是:
01. 重要工具:百度效率云
百度效率云(以下簡稱效率云)是百度自主研發(fā)的一站式DevOps解決方案,凝聚了百度多年來在軟件工程領(lǐng)域的探索和實(shí)踐經(jīng)驗(yàn)。效率云在百度內(nèi)部服務(wù)10000+工程師的日常產(chǎn)品管理、開發(fā)、測試、發(fā)布等研發(fā)工作,每天支持百度內(nèi)部30000+次的云端編譯、70000+次的構(gòu)建、700+次的服務(wù)發(fā)布。
效率云已經(jīng)加入百度智能云產(chǎn)品序列,于2019年5月正式對外提供服務(wù)。百度效率云目前同時(shí)服務(wù)外部2000+企業(yè)及個(gè)人客戶的項(xiàng)目管理,研發(fā),測試等研發(fā)工作。
效率云的核心理念是: 用先進(jìn)的軟件工程技術(shù)使復(fù)雜的開發(fā)工作更簡單!
效率云產(chǎn)品架構(gòu)
整個(gè)效率云包括三大平臺類工具和四大主要功能模塊,分別是產(chǎn)品和項(xiàng)目管理工具iCafe、代碼托管和協(xié)同開發(fā)平臺iCode、持續(xù)交付平臺iPipe;
四大主要功能模塊包括靜態(tài)代碼掃描工具iScan、容器化構(gòu)建工具iBuild、構(gòu)建產(chǎn)物管理工具iRepo和由aiXcoder提供的智能開發(fā)助手iXcoder。
效率云主要功能模塊
和其他研發(fā)平臺相比,效率云具備以下幾個(gè)獨(dú)特的差異化功能:
基于用戶故事地圖的產(chǎn)品規(guī)劃
代碼入庫前的云端流水線:
