10月31日,F(xiàn)ATE v1.1版本正式發(fā)布。在這個版本中,F(xiàn)ATE聯(lián)合VMware中國研發(fā)開放創(chuàng)新中心云原生實(shí)驗(yàn)室的團(tuán)隊(duì)一起搞了個“大事”——發(fā)布了KubeFATE項(xiàng)目,通過把FATE的所有組件用容器的形式封裝,實(shí)現(xiàn)了使用Docker Compose或Kubernetes(Helm Charts)來部署。現(xiàn)代應(yīng)用以DevOps方式開發(fā),基于容器部署應(yīng)用的優(yōu)勢相當(dāng)明顯,應(yīng)用不僅可以無差別地運(yùn)行在支持容器的平臺上,還可以按需靈活地實(shí)現(xiàn)多實(shí)例水平擴(kuò)展。該項(xiàng)目現(xiàn)已發(fā)布在GitHub。
目前主流的云平臺,如國外的AWS,Azure,國內(nèi)的阿里云、騰訊云等,都有基于容器和Kubernetes的云原生服務(wù),使得容器應(yīng)用的部署和運(yùn)行已經(jīng)標(biāo)準(zhǔn)化和商品化。通過KubeFATE項(xiàng)目,開發(fā)者可以輕松地在公有云或私有云中部署和使用FATE項(xiàng)目。
另外,本次FATE v1.1版本在算法和功能基礎(chǔ)了進(jìn)行重大升級和提升:不僅上線了橫向聯(lián)邦學(xué)習(xí)通用算法框架,增加了DNN、回歸等多個聯(lián)邦算法,并開始支持多方縱向聯(lián)邦建模,支持spark引擎,支持FATEServing服務(wù)治理,支持secureboost在線預(yù)測等;1.1版本再一次提升了聯(lián)邦學(xué)習(xí)建模體驗(yàn),更豐富的功能、更全面的算法,同時幫助更多的企業(yè)和用戶參與對FATE技術(shù)和應(yīng)用的深入研究。
FederatedML:提供易擴(kuò)展的橫向算法框架支持橫向算法開發(fā)
在新版本中,F(xiàn)ATE使開發(fā)更加輕松,開發(fā)者可以更關(guān)注于算法具體本身,而將更多通用的通信傳輸內(nèi)容交給框架。FATE v1.1提供易擴(kuò)展的橫向聯(lián)邦學(xué)習(xí)通用算法框架,支持Secure Aggregation,通過封裝橫向聯(lián)邦學(xué)習(xí)的主要流程,開發(fā)者能夠簡單地實(shí)現(xiàn)橫向聯(lián)邦學(xué)習(xí)算法。
在算法方面,F(xiàn)ATE新增了對橫向DNN、縱向線性回歸、縱向泊松回歸等聯(lián)邦算法的支持,以及更多算法支持多方聯(lián)邦建模,豐富了更多的建模場景,提升了FATE的實(shí)用性。值得一提的是,歐洲服務(wù)器租用,線性回歸在預(yù)測連續(xù)標(biāo)簽等應(yīng)用場景上非常有力,而泊松回歸則能更好的協(xié)助開發(fā)者預(yù)測次數(shù)與頻率,如在購買保險(xiǎn)和評估意外發(fā)生風(fēng)險(xiǎn)等場景里,泊松回歸都能對頻率進(jìn)行預(yù)測。
從這一版本開始,F(xiàn)ATE也正式開始支持多方縱向聯(lián)邦建模,可以實(shí)現(xiàn)縱向場景下的多個數(shù)據(jù)提供方共同訓(xùn)練聯(lián)邦模型。
最后,F(xiàn)ATE也對連接Spark進(jìn)行了嘗試,F(xiàn)ATE v1.1支持已有Spark集群的開發(fā)者直接復(fù)用現(xiàn)有資源,可以選擇Spark作為計(jì)算引擎,根據(jù)實(shí)際情況靈活配置。更多可前往GitHub了解。
FATEFlow:高性能聯(lián)邦學(xué)習(xí)Pipeline生產(chǎn)服務(wù)
FATEFlow是聯(lián)邦學(xué)習(xí)建模Pipeline 調(diào)度和生命周期管理工具,為用戶構(gòu)建端到端的聯(lián)邦學(xué)習(xí)Pipeline生產(chǎn)服務(wù)。v1.1版本中,F(xiàn)ATEFlow主要在穩(wěn)定性及易用性上進(jìn)行了提升,例如:
上傳下載文件支持查看作業(yè)狀態(tài),對于大文件和對接其他系統(tǒng)有較大幫助;
支持取消等待中的作業(yè);
支持對作業(yè)設(shè)置超時時間;
優(yōu)化作業(yè)日志,統(tǒng)一存放于以作業(yè)ID命名的日志文件夾,提高排查問題效率;
FATEBoard:簡單高效,聯(lián)邦學(xué)習(xí)建模過程可視化
FATEBoard是聯(lián)邦學(xué)習(xí)建模的可視化工具,為終端用戶可視化和度量模型訓(xùn)練的全過程,幫助用戶更簡單而高效地進(jìn)行模型探索和模型理解。新版本中,job工作流展示進(jìn)一步優(yōu)化,并支持組件數(shù)據(jù)與模型的輸入輸出端口分離,提供更直觀的數(shù)據(jù)傳輸與模型傳輸展示;
另外,現(xiàn)已支持模型訓(xùn)練過程中的評估結(jié)果可視化,便于實(shí)時關(guān)注與跟蹤中間訓(xùn)練過程和結(jié)果;更提供secureboost樹模型的可視化展示,不僅可以清晰地觀測模型中每顆決策樹,還能查看不同標(biāo)簽下的樹模型。
FATEServing:服務(wù)治理,重啟自動恢復(fù)模型
在新版本中,模型加載成功后會在本地文件中保存,在重啟之后會從本地文件中恢復(fù)之前加載的模型。
此外,v1.1版本引入zookeeper作為注冊中心,提供了有限的服務(wù)治理功能,能夠動態(tài)的注冊grpc接口,在某些機(jī)器宕機(jī)的情況下,能夠自動的切換流量 。
KubeFATE:FATE部署能力升級
FATE v1.1版本提供打包好的Docker容器鏡像,大大降低FATE的使用門檻,避免開發(fā)者“倒在起跑線上”。如果是企業(yè)開發(fā)者,還可以發(fā)現(xiàn)離線部署FATE的能力也得到了提升,借助 Harbor 開源容器鏡像倉庫,可以自動同步網(wǎng)上的鏡像,為運(yùn)維減壓。
KubeFATE主要提供了Docker compose和Kubernetes(Helm Chart)兩種部署方式。