大數據時代的到來，為人工智能的飛速成長帶來前所未有的數據紅利。在大數據的“喂養”下，人工智能技能得到了前所未有的長足進步。其希望突出表此刻以常識圖譜為代表的常識工程以及深度進修為代表的呆板進修等相關規模。跟著深度進修對付大數據的紅利耗損殆盡，深度進修模子結果的天花板日益逼近。另一方面大量常識圖譜不絕涌現，這些蘊含人類大量先驗常識的寶庫卻尚未被深度進修有效操作。融合常識圖譜與深度進修，已然成為進一步晉升深度進修模子結果的重要思路之一。以常識圖譜為代表的標記主義、以深度進修為代表的聯絡主義，日益離開原先各自獨立成長的軌道，走上協同并進的新階梯。

常識圖譜與深度進修融合的汗青配景

大數據為呆板進修，出格是深度進修帶來前所未有的數據紅利。得益于大局限標注數據，深度神經網絡可以或許習得有效的條理化特征暗示，從而在圖像識別等規模取得優異結果。可是跟著數據紅利消失殆盡，深度進修也日益浮現出其范圍性，尤其表此刻依賴大局限標注數據和難以有效操作先驗常識等方面。這些范圍性阻礙了深度進修的進一步成長。另一方面在深度進修的大量實踐中，人們越來越多地發明深度進修模子的功效往往與人的先驗常識可能專家常識相斗嘴。如何讓深度進修掙脫對付大局限樣本的依賴？如何讓深度進修模子有效操作大量存在的先驗常識？如何讓深度進修模子的功效與先驗常識一致已成為了當前深度進修規模的重要問題。

當前，人類社會業已積聚大量常識。出格是，近幾年在常識圖譜技能的敦促下，對付呆板友好的種種在線常識圖譜大量涌現。常識圖譜本質上是一種語義網絡，表達了種種實體、觀念及其之間的語義干系。相對付傳統常識暗示形式（諸如本體、傳統語義網絡），常識圖譜具有實體/觀念包圍率高、語義干系多樣、布局友好(凡是暗示為RDF名目)以及質量較高檔優勢，從而使得常識圖譜日益成為大數據時代和人工智能時代最為主要的常識暗示方法。可否操作蘊含于常識圖譜中的常識指導深度神經網絡模子的進修從而晉升模子的機能，成為了深度進修模子研究的重要問題之一。

現階段將深度進修技能應用于常識圖譜的要領較為直接。大量的深度進修模子可以有效完成端到端的實體識別、干系抽取和干系補全等任務，進而可以用來構建或富厚常識圖譜。本文主要探討常識圖譜在深度進修模子中的應用。從當前的文獻來看，主要有兩種方法。一是將常識圖譜中的語義信息輸入到深度進修模子中；將離散化常識圖譜表達為持續化的向量，從而使得常識圖譜的先驗常識可以或許成為深度進修的輸入。二是操作常識作為優化方針的約束，指導深度進修模子的進修；凡是是將常識圖譜中常識表達為優化方針的后驗正則項。前者的研究事情已有不少文獻，并成為當前研究熱點。常識圖譜向量暗示作為重要的特征在問答以及推薦等實際任務中獲得有效應用。后者的研究才方才起步，本文將重點先容以一階謂詞邏輯作為約束的深度進修模子。

常識圖譜作為深度進修的輸入

常識圖譜是人工智能標記主義近期希望的典范代表。常識圖譜中的實體、觀念以及干系均回收了離散的、顯式的標記化暗示。而這些離散的標記化暗示難以直策應用于基于持續數值暗示的神經網絡。為了讓神經網絡有效操作常識圖譜中的標記化常識，研究人員提出了大量的常識圖譜的暗示進修要領。常識圖譜的暗示進修旨在習得常識圖譜的構成元素(節點與邊)的實值向量化暗示。這些持續的向量化暗示可以作為神經網絡的輸入，從而使得神經網絡模子可以或許充實操作常識圖譜中大量存在的先驗常識。這一趨勢催生了對付常識圖譜的暗示進修的大量研究。本章首先扼要回首常識圖譜的暗示進修，再進一步先容這些向量暗示如何應用到基于深度進修模子的種種實際任務中，出格是問答與推薦等實際應用。

常識圖譜的暗示進修

常識圖譜的暗示進修旨在進修實體和干系的向量化暗示,其要害是公道界說常識圖譜中關于事實（三元組< h,r,t >）的損失函數 ƒr(h,t)，個中和是三元組的兩個實體h和t的向量化暗示。凡是環境下，當事實 < h,r,t > 創立時，期望最小化 ƒr(h,t)。思量整個常識圖譜的事實，則可通過最小化

來進修實體以及干系的向量化暗示，個中 O 暗示常識圖譜中所有事實的薈萃。差異的暗示進修可以利用差異的原則和要領界說相應的損失函數。這里以基于間隔和翻譯的模子先容常識圖譜暗示的根基思路[1]。