近幾年，深度學(xué)習(xí)已經(jīng)進(jìn)入一定程度的狂熱狀態(tài)，人們正試圖用這個(gè)技術(shù)解決每一個(gè)問題。然而，深度學(xué)習(xí)真是萬能的嗎？閱讀此文后，你便能夠從深層理解為什么深度學(xué)習(xí)并不是想象的那般“神話”了。

近日，在深度學(xué)習(xí)領(lǐng)域出現(xiàn)了一場(chǎng)熱烈的爭(zhēng)論。這一切都要從 Jeff Leek 在 Simply Stats 上發(fā)表了一篇題為《數(shù)據(jù)量不夠大，別玩深度學(xué)習(xí)》（Don't use deep learning your data isn't that big）的博文開始。作者 Jeff Leek 在這篇博文中指出，當(dāng)樣本數(shù)據(jù)集很小時(shí)（這種情況在生物信息領(lǐng)域很常見），即使有一些層和隱藏單元，具有較少參數(shù)的線性模型的表現(xiàn)是優(yōu)于深度網(wǎng)絡(luò)的。為了證明自己的論點(diǎn)，Leek 舉了一個(gè)基于 MNIST 數(shù)據(jù)庫(kù)進(jìn)行圖像識(shí)別的例子，分辨 0 或者 1。他還表示，當(dāng)在一個(gè)使用僅僅 80 個(gè)樣本的 MNIST 數(shù)據(jù)集中進(jìn)行 0 和 1 的分類時(shí)，一個(gè)簡(jiǎn)單的線性預(yù)測(cè)器（邏輯回歸）要比深度神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確度更高。

這篇博文的發(fā)表引起了領(lǐng)域內(nèi)的爭(zhēng)論，哈佛大學(xué)藥學(xué)院的生物醫(yī)藥信息學(xué)專業(yè)博士后 Andrew Beam 寫了篇文章來反駁：《就算數(shù)據(jù)不夠大，也能玩深度學(xué)習(xí)》（You can probably use deep learning even if your data isn't that big）。Andrew Beam 指出，即使數(shù)據(jù)集很小，一個(gè)適當(dāng)訓(xùn)練的深度網(wǎng)絡(luò)也能擊敗簡(jiǎn)單的線性模型。

如今，越來越多的生物信息學(xué)研究人員正在使用深度學(xué)習(xí)來解決各種各樣的問題，這樣的爭(zhēng)論愈演愈烈。這種炒作是真的嗎？還是說線性模型就足夠滿足我們的所有需求呢？結(jié)論一如既往——要視情況而定。在這篇文章中，作者探索了一些機(jī)器學(xué)習(xí)的使用實(shí)例，在這些實(shí)例中使用深度學(xué)習(xí)并不明智。并且解釋了一些對(duì)深度學(xué)習(xí)的誤解，作者認(rèn)為正是這些錯(cuò)誤的認(rèn)識(shí)導(dǎo)致深度學(xué)習(xí)沒有得到有效地使用，這種情況對(duì)于新手來說尤其容易出現(xiàn)。

打破深度學(xué)習(xí)偏見

首先，我們來看看許多外行者容易產(chǎn)生的偏見，其實(shí)是一些半真半假的片面認(rèn)識(shí)。主要有兩點(diǎn)，其中的一點(diǎn)更具技術(shù)性，我將詳細(xì)解釋。

深度學(xué)習(xí)在小樣本集上也可以取得很好的效果

深度學(xué)習(xí)是在大數(shù)據(jù)的背景下火起來的（第一個(gè)谷歌大腦項(xiàng)目向深度神經(jīng)網(wǎng)絡(luò)提供了大量的 Youtube 視頻），自從那以后，絕大部分的深度學(xué)習(xí)內(nèi)容都是基于大數(shù)據(jù)量中的復(fù)雜算法。

然而，這種大數(shù)據(jù) + 深度學(xué)習(xí)的配對(duì)不知為何被人誤解為：深度學(xué)習(xí)不能應(yīng)用于小樣本。如果只有幾個(gè)樣例，將其輸入具有高參數(shù)樣本比例的神經(jīng)網(wǎng)絡(luò)似乎一定會(huì)走上過擬合的道路。然而，僅僅考慮給定問題的樣本容量和維度，無論有監(jiān)督還是無監(jiān)督，幾乎都是在真空中對(duì)數(shù)據(jù)進(jìn)行建模，沒有任何的上下文。

可能的數(shù)據(jù)情況是：你擁有與問題相關(guān)的數(shù)據(jù)源，或者該領(lǐng)域的專家可以提供的強(qiáng)大的先驗(yàn)知識(shí)，或者數(shù)據(jù)可以以非常特殊的方式進(jìn)行構(gòu)建（例如，以圖形或圖像編碼的形式）。所有的這些情況中，深度學(xué)習(xí)有機(jī)會(huì)成為一種可供選擇的方法——例如，你可以編碼較大的相關(guān)數(shù)據(jù)集的有效表示，并將該表示應(yīng)用到你的問題中。

這種典型的示例常見于自然語言處理，你可以學(xué)習(xí)大型語料庫(kù)中的詞語嵌入，例如維基百科，然后將他們作為一個(gè)較小的、較窄的語料庫(kù)嵌入到一個(gè)有監(jiān)督任務(wù)中。極端情況下，你可以用一套神經(jīng)網(wǎng)絡(luò)進(jìn)行聯(lián)合學(xué)習(xí)特征表示，香港服務(wù)器 香港服務(wù)器租用，這是在小樣本集中重用該表示的一種有效方式。這種方法被稱作“一次性學(xué)習(xí)”（one-shot learning），并且已經(jīng)成功應(yīng)用到包括計(jì)算機(jī)視覺和藥物研發(fā)在內(nèi)的具有高維數(shù)據(jù)的領(lǐng)域。

藥物研發(fā)中的一次性學(xué)習(xí)網(wǎng)絡(luò)，摘自 Altae-Tran et al. ACS Cent. Sci. 2017

深度學(xué)習(xí)不是一切的答案

我聽過最多的第二個(gè)偏見就是過度宣傳。許多尚未入門該領(lǐng)域的人，僅僅因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)在其它領(lǐng)域的出色表現(xiàn)，就期待它也能為他們帶來神話般的表現(xiàn)提升。其他人則從深度學(xué)習(xí)在圖像、音樂和語言（與人類關(guān)系密切的三種數(shù)據(jù)類型）處理領(lǐng)域的令人印象深刻的表現(xiàn)中受到啟發(fā)，于是就頭腦發(fā)熱地鉆入該領(lǐng)域，迫不及待地嘗試訓(xùn)練最新的 GAN 結(jié)構(gòu)。

當(dāng)然，這種大肆吹捧在很多方面是真實(shí)存在的。深度學(xué)習(xí)在機(jī)器學(xué)習(xí)中的地位不可小覷，也是數(shù)據(jù)建模方法庫(kù)的重要工具。它的普及帶動(dòng)了諸如 tensorflow 和 pytorch 等許多重要框架的發(fā)展，它們即使是在深度學(xué)習(xí)之外也是十分有用的。失敗者崛起成為超級(jí)巨星的故事激勵(lì)了許多研究員重新審視以前的模糊算法，如進(jìn)化算法和增強(qiáng)學(xué)習(xí)。