深度進修的”深度”， 早幾年接頭的挺多的，身邊有差異的領略：深度=更大局限的網絡，也有認為：深度=更抽象的特征，連年來物理上也有人側面顯示：深度=玻璃相轉變，假如后者的概念創立，那么僅僅引入GPU甚至FPGA硬件的目標只是加速， 沒有算法的輔佐（調參也算一種算法，后頭會表明）是不會加深的！（注：等號暗示強干系，不暗示等價）

懷抱”深“

這個”深“同巨大度的接洽是很細密的。神經網絡的巨大度，我們可以利用層數，神經元數目，可能毗連權重數目作為懷抱。相對的，數據自己的巨大度，我們用帶標簽的數據的比例和不帶標簽的數據的比例來權衡。

深度=局限？網絡巨大性同分類誤差之間的接洽：

70-90年月關于神經網絡的數學結論可謂不足為奇，根基上許多接頭了局限和泛化之間的干系，尤其是分類問題，關于分類的練習誤差和測試誤差（泛化本領），根基上歸結為幾個根基要求和限制：

模子要多巨大： 增加巨大度老是能擬合好練習樣本，而要得到精采的泛化本領，普遍認為巨大度應該為練習數據數目標某種冪次，才氣有較好的泛化本領。并且冪次要求小于1，若否則，每增加一個練習樣本，都必需要擴充網絡，這種模子沒有任何實際意義。謝天謝地，神經網絡可以滿意這個要求，參考文獻3。 要幾多練習數據：假如網絡節點數為 N，毗連權重數為W，那么泛化誤差小于任意指定值ε 的一個公道的要求即是： 練習數據的數目 >（W/ε）Log（N/ε），這說明巨大的模子需要更多的練習以得到優秀的泛化本領！事實上，不絕提高數據量，多層感知器模子也能到達今朝深度進修的程度（參考文獻2），認為深度進修=普通多層神經網絡，簡直有現實的來由。 奧卡姆剃刀迷惑：理論上，帶一層埋沒層的核基神經網絡可以將任意數據擬合好（領略為級數展開，每個項就是一個埋沒神經元），那么提高巨大度的浸染是啥？無法爭辯的事實是，數據量足夠高今后，簡樸的分類器都能給出優秀的功效。關于這一點從相變角度能表明為何需要實際工程需要一個“太過巨大的網絡”，而不是一個巨細“方才好的”網絡。 巨大的價錢：一個根基的定理，測試誤差 >= 練習誤差 + 模子巨大度，太過巨大的價錢即是過擬合。防備過擬合的要領沒有通論，業界通稱“黑邪術”。

上面4點匯報我們的表象是，針對靜態非時序分類問題，我們貌似可以不要高峻上的算法，只要數據量足夠，網絡足夠巨大，呆板夠大，速度夠快，懂點“黑邪術”，在此刻的家產界的數據量和模子凡是都是用億來權衡其局限的時代，此乃現世王道。

深度=更多抽象特征？陸續串問題來了，作甚特征？作甚好的特征？深度進修的特征為何被稱為抽象的？多層和抽象的干系是啥？

特征=函數展開的基函數？數學大將基函數領略成特征是可以的，雖然不須要完備，也不須要正交。好比下圖，圖片特征提取，稀疏編碼就是在一堆特征傍邊尋找最少且擬合最好的特征組，前提假設是圖片都可以被解析為這些特征的線性疊加。然而前概要求解析仍然是線性的，使得呆板上好計較，可是實際問題需要的特征凡是是差異范例的組合，強行線性組合就像是吃正宗粵菜的時候來個山東煎餅果子一樣。(圖取自吳恩達的slide)

特征=低維流形嵌入？

發生成千上萬個沒履歷證的特征老是容易的，但去除冗余特征，也就是去掉那些添不添加都不影響功效的特征，就需要相當的能力。一種即是通過低維流形去尋找最重要的布局，這種要領可以操作多層自編碼去逐層壓縮維度，也可以用傳統多層神經網絡+Isomap雷同的要領一步到位地壓縮維度，然后不絕調解使得嵌入低維的數據點“相互疏散的最遠”。由于數據點靠的近暗示相似，故此這種要領能將數據自己的平移旋轉按順序嵌入到每塊低維子流形傍邊。反過來說，假如練習數據已經包括有其自己的旋轉平移，其低維子流形將會被填充得“越發的飽滿”（如綠色的圓圈，因為手寫數字1無論如何寫都是“ |” 的某種旋轉拉伸），其低維的界線就更容易被發明。然而這種要領是假設數據的可表明性埋沒在其低維流形布局上，不免讓人費解，并且差異標簽的嵌入子流形可否被充實疏散也長短常堅苦的工作。（參考G.E.Hinton 06年 nature， Y LeCun，etc）