2019年12月8日至12月14日，微眾銀行首席人工智能官楊強(qiáng)教授受邀參加于加拿大溫哥華舉辦的人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的國際頂級會議：神經(jīng)信息處理系統(tǒng)大會（Conference and Workshop on Neural Information Processing Systems，簡稱NeurIPS）。在微眾銀行聯(lián)合谷歌、卡內(nèi)基梅隆大學(xué)舉辦的聯(lián)邦學(xué)習(xí)國際研討會上，楊強(qiáng)教授以《Federated Recommendation》為主題，分享了微眾銀行首創(chuàng)的聯(lián)邦推薦技術(shù)的最新研究成果和應(yīng)用落地。
圖：微眾銀行首席人工智能官楊強(qiáng)教授發(fā)表演講
推薦系統(tǒng)應(yīng)用廣泛，已經(jīng)滲透到人們生活各個方面，例如新聞推薦、視頻推薦、商品推薦等。為了實現(xiàn)精準(zhǔn)的推薦效果，推薦系統(tǒng)會收集海量用戶和所推薦內(nèi)容的數(shù)據(jù)，一般而言，收集的數(shù)據(jù)越多，對用戶和推薦內(nèi)容的了解就越全面和深入，推薦效果越精準(zhǔn)。在現(xiàn)實場景中，隨著用戶數(shù)據(jù)安全和隱私保護(hù)相關(guān)政策相繼出臺和日益完善，這些數(shù)據(jù)通常為保護(hù)用戶數(shù)據(jù)隱私而以“數(shù)據(jù)孤島”的形式分散在不同的機(jī)構(gòu)。因此在“數(shù)據(jù)孤島”與“隱私保護(hù)”的現(xiàn)實問題中，在合理合法的前提下使用數(shù)據(jù)持續(xù)優(yōu)化效果提供優(yōu)質(zhì)服務(wù)，是當(dāng)前推薦系統(tǒng)所面的巨大挑戰(zhàn)和首要任務(wù)。
FATE：首個支持聯(lián)邦學(xué)習(xí)架構(gòu)體系的工業(yè)級聯(lián)邦學(xué)習(xí)開源框架
微眾銀行在“數(shù)據(jù)孤島”和“隱私保護(hù)”問題上，是業(yè)界的引領(lǐng)者，它提出的聯(lián)邦學(xué)習(xí)解決方案能夠讓多個機(jī)構(gòu)同時協(xié)作，通過交換加密的模型參數(shù)進(jìn)行綜合訓(xùn)練持續(xù)優(yōu)化模型，以合理合法的方式跨越數(shù)據(jù)鴻溝，解決“數(shù)據(jù)孤島”的問題。微眾銀行開發(fā)的工業(yè)級的聯(lián)邦學(xué)習(xí)開源框架--FATE（Federated AI Technology Enabler，https://www.fedai.org），作為聯(lián)邦學(xué)習(xí)全球首個工業(yè)級開源框架，支持聯(lián)邦學(xué)習(xí)架構(gòu)體系，為機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、遷移學(xué)習(xí)提供了高性能聯(lián)邦學(xué)習(xí)機(jī)制，F(xiàn)ATE本身還支持多種多方安全計算協(xié)議，如同態(tài)加密、秘密共享、哈希散列等，具有友好的跨域交互信息管理方案。
聯(lián)邦推薦：微眾銀行首次將聯(lián)邦學(xué)習(xí)應(yīng)用于推薦場景
推薦系統(tǒng)中算法的目標(biāo)是挖掘用戶和內(nèi)容、商品之間的聯(lián)系，根據(jù)問題的特點，微眾銀行將聯(lián)邦推薦算法總結(jié)成三類，如下圖所示，包括橫向聯(lián)邦推薦算法（也可稱為基于商品的聯(lián)邦推薦）、縱向聯(lián)邦推薦算法（也可稱為基于用戶的聯(lián)邦推薦）和遷移聯(lián)邦推薦。
圖：聯(lián)邦推薦算法分類
縱向聯(lián)邦推薦（即基于用戶的聯(lián)邦推薦）主要解決參與方（機(jī)構(gòu)）擁有大量相同的用戶但是不同的商品或用戶特征時如何協(xié)作構(gòu)建推薦系統(tǒng)的問題，例如新聞推薦服務(wù)商和視頻推薦服務(wù)商的聯(lián)邦，或者推薦服務(wù)商和用戶數(shù)據(jù)提供商的聯(lián)邦。橫向聯(lián)邦推薦（即基于商品的聯(lián)邦推薦）主要解決在參與方擁有大量相同的商品但是不同用戶群體時如何協(xié)作構(gòu)建推薦系統(tǒng)的問題，例如不同地區(qū)相同推薦服務(wù)之間的聯(lián)邦。遷移聯(lián)邦推薦主要解決參與方在相同用戶和商品都不多的情況，如何協(xié)作分享經(jīng)驗構(gòu)建推薦系統(tǒng)的問題。
針對不同的分類，基于當(dāng)前推薦系統(tǒng)最常用的矩陣分解（matrix factorization）和因子分解機(jī)（factorization machine）算法，微眾銀行提出聯(lián)邦矩陣分解、聯(lián)邦因子分解機(jī)等算法。這些聯(lián)邦推薦算法基于FATE框架開發(fā)，使用統(tǒng)一的優(yōu)化流程。以縱向聯(lián)邦推薦的兩個場景為例子，給大家介紹縱向聯(lián)邦矩陣分解和縱向聯(lián)邦因子分解機(jī)的思路和優(yōu)化方法。
聯(lián)邦推薦場景一：參與機(jī)構(gòu)為大量相同用戶分別提供書籍和電影推薦服務(wù)
具有相同觀影興趣的用戶很可能有相同的閱讀興趣。因此雙方的聯(lián)邦是非常有必要的，結(jié)合雙方數(shù)據(jù)構(gòu)建的推薦系統(tǒng)在性能上會優(yōu)于僅僅使用一方數(shù)據(jù)構(gòu)建的系統(tǒng)。
圖：縱向聯(lián)邦推薦場景一，多個參與機(jī)構(gòu)為大量相同用戶提供不同推薦服務(wù)
在這個場景下，directadmin漢化，以常用的矩陣分解為例子，給出縱向聯(lián)邦推薦的一個解決方案，我們讓兩個參與方在機(jī)構(gòu)內(nèi)部分別進(jìn)行矩陣分解，將用戶在商品上的評分矩陣分解成user profile和item profit的乘積，如下圖中的公式所示：
圖：縱向聯(lián)邦矩陣分解示意圖
