2019年12月,國際人工智能頂級學(xué)術(shù)會議神經(jīng)信息處理系統(tǒng)大會NeurIPS 2019(Conference and Workshop on Neural Information Processing Systems 2019)即將于加拿大溫哥華隆重召開。大會期間,谷歌、微眾銀行、卡耐基梅隆大學(xué)、新加坡南洋理工大學(xué)等機構(gòu)將聯(lián)合舉辦關(guān)于聯(lián)邦學(xué)習(xí)技術(shù)及應(yīng)用的國際研討會(Workshop on Federated Learning for Data Privacy and Confidentiality)。從該國際研討會近日揭曉的論文收錄情況來看,聯(lián)邦學(xué)習(xí)這一人工智能子領(lǐng)域已經(jīng)受到國內(nèi)外知名研究機構(gòu)及企業(yè)的關(guān)注與重視。

聯(lián)邦學(xué)習(xí)國際社區(qū)范圍進一步擴大

據(jù)研討會主席、微眾銀行人工智能首席科學(xué)家范力欣介紹,隨著人工智能技術(shù)成功突破算法與算力上的限制,如何連接“數(shù)據(jù)孤島”和保護數(shù)據(jù)隱私,成為人工智能在各行各業(yè)應(yīng)用落地所必須解決的難題。“聯(lián)邦學(xué)習(xí)”(Federated Learning)作為一種加密的分布式機器學(xué)習(xí)范式,可以使得各方在不披露原始數(shù)據(jù)的情況下達到共建模型的目的。即在不違反數(shù)據(jù)隱私保護法規(guī)的前提下,連接數(shù)據(jù)孤島,建立性能卓越的共有模型。

近兩年來,聯(lián)邦學(xué)習(xí)在學(xué)術(shù)研究、標(biāo)準(zhǔn)制定、行業(yè)落地等方面一路高歌猛進,成為人工智能領(lǐng)域引人注目的方向之一。今年8月,IJCAI 2019首屆聯(lián)邦學(xué)習(xí)國際研討會的成功召開標(biāo)志了聯(lián)邦學(xué)習(xí)國際社區(qū)的正式成立,聯(lián)邦學(xué)習(xí)進入了一個新的階段。此次在NeurIPS 2019中舉辦的聯(lián)邦學(xué)習(xí)主題的研討會則在參與人數(shù)、投稿數(shù)量、研討深度、應(yīng)用廣度等方面進一步提升,吸引更多國際研究者與從業(yè)者的關(guān)注。

據(jù)統(tǒng)計,此次研討會共收到68篇投稿論文,來自美、中、英、德、芬蘭、新加坡、日本、印度、以色列、沙特阿拉伯等17個國家和地區(qū),其中不乏哈佛、普林斯頓、康奈爾、麻省理工等國際名校與研究機構(gòu),以及谷歌、華為、騰訊、微眾銀行等知名企業(yè)。數(shù)據(jù)顯示,美國與中國投稿最多,占投稿總數(shù)70%以上。在近幾年聯(lián)邦學(xué)習(xí)的研究中,以谷歌研究院為代表的技術(shù)流派關(guān)注消費者端(C端)移動設(shè)備上的隱私保護問題,而國內(nèi)以微眾銀行 AI團隊為代表的技術(shù)流派,比較看重企業(yè)端(B端)跨機構(gòu)跨組織大數(shù)據(jù)合作場景。事實上此次研討會的投稿分布也正體現(xiàn)了在聯(lián)邦學(xué)習(xí)這一人工智能新方向上,中美的領(lǐng)先地位。

理論研究與應(yīng)用探索齊頭并進

在被接收的33篇論文中,從入選論文作者的機構(gòu)分布來看,卡耐基梅隆大學(xué)、谷歌、微眾銀行、騰訊占比最高。哈佛大學(xué)、耶魯大學(xué)、康奈爾大學(xué)、清華大學(xué)、北京大學(xué)、香港科技大學(xué)、微軟、Facebook、騰訊等海內(nèi)外知名研究機構(gòu)與企業(yè)均占一席之地。

入選論文不僅包含對聯(lián)邦學(xué)習(xí)的理論研究,更重要的是呈現(xiàn)了在實際應(yīng)用中的探索成果。其中最受評委青睞的來自卡耐基梅隆大學(xué)的論文《Think Locally, Act Globally: Federated Learning with Local and Global Representations》就提出結(jié)合本地與全局的方式,降低聯(lián)邦學(xué)習(xí)通訊開銷,提升學(xué)習(xí)效率,該方法即使在參與方擁有非同質(zhì)數(shù)據(jù)的情況下仍然有效。無獨有偶,國內(nèi)微眾銀行AI團隊的論文《A Communication Efficient Vertical Federated Learning Framework》提出針對縱向聯(lián)邦,降低通信開銷,進而提升學(xué)習(xí)效率的方法,該方法在理論分析與實驗驗證中被證明行之有效。通信開銷的降低與學(xué)習(xí)效率的提升將為更大范圍的工業(yè)化奠定基礎(chǔ),對此的研究來源于應(yīng)用,也將在實際應(yīng)用中產(chǎn)生巨大價值。此外,谷歌與卡耐基梅隆大學(xué)的合作論文《Mitigating the Impact of Federated Learning on Client Resources》提供了一個對聯(lián)邦學(xué)習(xí)各種方法進行客觀全面評價的基準(zhǔn)框架(benchmark framework)。

大咖云集共話聯(lián)邦學(xué)習(xí)未來

值得一提的是,此次研討會匯聚了眾多學(xué)術(shù)大咖,其中歐洲人工智能領(lǐng)軍人物、歐洲人工智能聯(lián)盟(ECCAI)與國際人工智能學(xué)會(AAAI)院士Boi Faltings教授的論文《Federated Learning with Bayesian Differential Privacy》從理論分析與實驗結(jié)果兩方面,證明了貝葉斯差分隱私聯(lián)邦學(xué)習(xí)的有效性。

此次研討會還邀請了八位特邀嘉賓,發(fā)表聯(lián)邦學(xué)習(xí)主題報告:微眾銀行首席人工智能官、第四范式聯(lián)合創(chuàng)始人、香港科技大學(xué)講席教授楊強,谷歌語音識別技術(shù)研發(fā)帶頭人Francoise Beaufays及谷歌研究院研究員Daniel Ramage,網(wǎng)絡(luò)安全領(lǐng)域著名專家、加州大學(xué)伯克利分校教授Dawn Song及助理教授Raluca Ada Popa,阿姆斯特丹大學(xué)機器學(xué)習(xí)首席教授、高通技術(shù)副總裁Max Welling,卡耐基梅隆大學(xué)助理教授Ameet Talwalkar,中國科學(xué)院計算技術(shù)研究所泛在計算系統(tǒng)研究中心主任陳益強教授。