近日，清華大學AI研究院孵化企業RealAI(瑞萊智慧)正式推出首個針對AI在極端和對抗環境下的算法安全性檢測與加固的工具平臺——RealSafe人工智能安全平臺。該平臺內置領先的AI對抗攻防算法，提供從安全測評到防御加固整體解決方案，目前可用于發現包括人臉比對等在內的常用AI算法可能出錯的極端情形，也能預防潛在的對抗攻擊。

業界首個針對AI在極端和對抗環境下的算法安全性檢測與加固的工具平臺

“對抗樣本”成新型病毒，算法安全問題亟待解決

隨著人工智能技術的高速發展，人工智能在諸多場景正逐漸替代或協作著人類的各種勞動，它們可以成為人類的眼睛、耳朵、手臂甚至大腦。

其中，機器視覺作為AI時代的基礎技術，其背后的AI算法一直是各科技巨頭和創業公司共同追逐的熱點。然而在機器視覺諸多主流應用場景的背后，往往也藏著由技術性缺陷導致的算法安全風險。

例如，在一些訓練數據無法覆蓋到的極端場景中，自動駕駛汽車的識別系統可能出現匪夷所思的決策，危害乘車人的人身安全。從2016年至今，Tesla、Uber等企業的輔助駕駛和自動駕駛系統就都曾出現過類似致人死亡的嚴重事故。并且這類極端情形也可能被惡意制造并利用，發動“對抗樣本攻擊”，去年7月，百度等研究機構就曾經通過3D技術打印出能讓自動駕駛“無視”的障礙物，讓車輛面臨撞擊風險。

而以上攻擊之所以能成功，主要是機器視覺和人類視覺有著很大的差異。因此可以通過在圖像、物體等輸入信息上添加微小的擾動改變(即上述故意干擾的“對抗樣本”)，就能導致很大的算法誤差。此外，隨著AI的進一步發展，AI算法模型將運用金融決策、醫療診斷等關鍵核心場景，這類AI“漏洞”的威脅將愈發凸顯出來。

近年來，包括清華大學人工智能研究院院長張鈸院士、前微軟全球執行副總裁沈向洋等均提倡要發展安全、可靠、可信的人工智能以及負責任的人工智能，其中AI的安全應用均是重點方向。

而且，AI安全作為新興領域，在開源社區、工具包的加持下，對抗樣本等攻擊手段日益變得復雜，相關防御手段的普及和推廣卻難以跟上。并且對抗樣本等算法漏洞檢測存在較高的技術壁壘，目前市面上缺乏自動化檢測工具，而大部分企業與組織不具備該領域的專業技能來妥善應對日益增長的惡意攻擊。

從安全測評到防御加固，RealSafe讓AI更加安全可控

就如網絡安全時代，網絡攻擊的大規模滲透誕生出殺毒軟件，RealAI團隊希望通過RealSafe平臺打造出人工智能時代的“殺毒軟件”，幫助企業高效應對人工智能時代下算法漏洞孕育出的“新型病毒”。

目前，RealSafe平臺主要支持兩大功能模塊：模型安全測評、防御解決方案。

其中，模型安全評測主要為用戶提供AI模型安全性評測服務。用戶只需接入所需測評模型的SDK或API接口，選擇平臺內置或者自行上傳的數據集，亞洲服務器，平臺將基于多種算法生成對抗樣本模擬攻擊，并綜合在不同算法、迭代次數、擾動量大小的攻擊下模型效果的變化，給出模型安全評分及詳細的測評報告(如下圖)。目前已支持黑盒查詢攻擊方法與黑盒遷移攻擊方法。

防御解決方案則是為用戶提供模型安全性升級服務，目前RealSafe平臺支持五種去除對抗噪聲的通用防御方法，可實現對輸入數據的自動去噪處理，破壞攻擊者惡意添加的對抗噪聲。根據上述的模型安全評測結果，用戶可自行選擇合適的防御方案，一鍵提升模型安全性。另外防御效果上，根據實測來看，部分第三方的人臉比對API通過使用RealSafe平臺的防御方案加固后，安全性可提高40%以上

隨著模型攻擊手段在不斷復雜擴張的情況下，RealSafe平臺還持續提供廣泛且深入的AI防御手段，幫助用戶獲得實時且自動化的漏洞檢測和修復能力。

準確度99.99%也難逃被“惡意干擾”，RealSafe高效應對算法威脅 

考慮到公眾對于對抗樣本這一概念可能比較模糊，RealSafe平臺特意選取了公眾最為熟知的人臉比對場景(人臉比對被廣泛用于金融遠程開戶、刷臉支付、酒店入住登記等場景的身份認證環節)提供在線體驗。

并且，為了深入研究“對抗樣本”對人臉比對系統識別效果的影響，RealAI 團隊基于此功能在國內外主流 AI 平臺的演示服務中進行了測試。