2019年12月,國際人工智能頂級學術會議神經信息處理系統大會NeurIPS 2019(Conference and Workshop on Neural Information Processing Systems 2019)即將于加拿大溫哥華隆重召開。大會期間,谷歌、微眾銀行、卡耐基梅隆大學、新加坡南洋理工大學等機構將聯合舉辦關于聯邦學習技術及應用的國際研討會(Workshop on Federated Learning for Data Privacy and Confidentiality)。從該國際研討會近日揭曉的論文收錄情況來看,聯邦學習這一人工智能子領域已經受到國內外知名研究機構及企業的關注與重視。

聯邦學習國際社區范圍進一步擴大

據研討會主席、微眾銀行人工智能首席科學家范力欣介紹,隨著人工智能技術成功突破算法與算力上的限制,如何連接“數據孤島”和保護數據隱私,成為人工智能在各行各業應用落地所必須解決的難題。“聯邦學習”(Federated Learning)作為一種加密的分布式機器學習范式,可以使得各方在不披露原始數據的情況下達到共建模型的目的。即在不違反數據隱私保護法規的前提下,連接數據孤島,建立性能卓越的共有模型。

近兩年來,聯邦學習在學術研究、標準制定、行業落地等方面一路高歌猛進,成為人工智能領域引人注目的方向之一。今年8月,IJCAI 2019首屆聯邦學習國際研討會的成功召開標志了聯邦學習國際社區的正式成立,聯邦學習進入了一個新的階段。此次在NeurIPS 2019中舉辦的聯邦學習主題的研討會則在參與人數、投稿數量、研討深度、應用廣度等方面進一步提升,吸引更多國際研究者與從業者的關注。

據統計,此次研討會共收到68篇投稿論文,來自美、中、英、德、芬蘭、新加坡、日本、印度、以色列、沙特阿拉伯等17個國家和地區,其中不乏哈佛、普林斯頓、康奈爾、麻省理工等國際名校與研究機構,以及谷歌、華為、騰訊、微眾銀行等知名企業。數據顯示,美國與中國投稿最多,占投稿總數70%以上。在近幾年聯邦學習的研究中,以谷歌研究院為代表的技術流派關注消費者端(C端)移動設備上的隱私保護問題,而國內以微眾銀行 AI團隊為代表的技術流派,比較看重企業端(B端)跨機構跨組織大數據合作場景。事實上此次研討會的投稿分布也正體現了在聯邦學習這一人工智能新方向上,中美的領先地位。

理論研究與應用探索齊頭并進

在被接收的33篇論文中,從入選論文作者的機構分布來看,卡耐基梅隆大學、谷歌、微眾銀行、騰訊占比最高。哈佛大學、耶魯大學、康奈爾大學、清華大學、北京大學、香港科技大學、微軟、Facebook、騰訊等海內外知名研究機構與企業均占一席之地。

入選論文不僅包含對聯邦學習的理論研究,更重要的是呈現了在實際應用中的探索成果。其中最受評委青睞的來自卡耐基梅隆大學的論文《Think Locally, Act Globally: Federated Learning with Local and Global Representations》就提出結合本地與全局的方式,降低聯邦學習通訊開銷,提升學習效率,該方法即使在參與方擁有非同質數據的情況下仍然有效。無獨有偶,國內微眾銀行AI團隊的論文《A Communication Efficient Vertical Federated Learning Framework》提出針對縱向聯邦,降低通信開銷,進而提升學習效率的方法,該方法在理論分析與實驗驗證中被證明行之有效。通信開銷的降低與學習效率的提升將為更大范圍的工業化奠定基礎,對此的研究來源于應用,也將在實際應用中產生巨大價值。此外,谷歌與卡耐基梅隆大學的合作論文《Mitigating the Impact of Federated Learning on Client Resources》提供了一個對聯邦學習各種方法進行客觀全面評價的基準框架(benchmark framework)。

大咖云集共話聯邦學習未來

值得一提的是,此次研討會匯聚了眾多學術大咖,其中歐洲人工智能領軍人物、歐洲人工智能聯盟(ECCAI)與國際人工智能學會(AAAI)院士Boi Faltings教授的論文《Federated Learning with Bayesian Differential Privacy》從理論分析與實驗結果兩方面,證明了貝葉斯差分隱私聯邦學習的有效性。

此次研討會還邀請了八位特邀嘉賓,發表聯邦學習主題報告:微眾銀行首席人工智能官、第四范式聯合創始人、香港科技大學講席教授楊強,谷歌語音識別技術研發帶頭人Francoise Beaufays及谷歌研究院研究員Daniel Ramage,網絡安全領域著名專家、加州大學伯克利分校教授Dawn Song及助理教授Raluca Ada Popa,阿姆斯特丹大學機器學習首席教授、高通技術副總裁Max Welling,卡耐基梅隆大學助理教授Ameet Talwalkar,中國科學院計算技術研究所泛在計算系統研究中心主任陳益強教授。