(谷歌開發(fā)者大會 I/O 2017 ，Keras 之父 Francois Chollet 被請出來向全世界的機器學(xué)習(xí)開發(fā)者進行一場對 Keras 的綜合介紹以及實戰(zhàn)示例)

近期，F(xiàn)rancois Chollet 在博客上發(fā)文探討深度學(xué)習(xí)的未來，從技術(shù)演化的角度，提出未來深度學(xué)習(xí)的4大走向：模型即程序、超越反向傳播和可微分層、自動化的機器學(xué)習(xí)、終身學(xué)習(xí)和重復(fù)利用模塊化子程序。未來深度學(xué)習(xí)走向無疑是越來越自主化的，但是從技術(shù)角度需要什么累積與突破，文章進行了很好的解讀。作者認(rèn)為，機器學(xué)習(xí)工程師的工作不會消失，相反，工程師將在價值創(chuàng)造鏈上走高。

Keras作者、《Python深度學(xué)習(xí)》一書的作者 Francois Chollet 在自己的博客上公開了自己書中的內(nèi)容，討論深度學(xué)習(xí)的未來：

鑒于我們對深度神經(jīng)網(wǎng)絡(luò)的了解，包括它們的局限性，以及對當(dāng)下研究圖景的掌握，我們是否能預(yù)測在短期內(nèi)，深度學(xué)習(xí)將會走向何方？下面是一些純個人的思考。需要注明的是，我沒有水晶球，所以可能很多我的預(yù)測不會成為現(xiàn)實。這是一篇純推測的博客。我之所以在此分享這些預(yù)測，并不是因為我期望它在未來被證明是完全正確的，而是，在目前看來，它們非常有趣，而且是可行的。

在最上層，我認(rèn)為有潛力的主要方向是：

1.更貼近通用計算機程序的模型，建立在比當(dāng)下不同神經(jīng)網(wǎng)絡(luò)層遠豐富得多的基元之上，這就是我們將如何得到推理和抽象，即當(dāng)前模型的根本弱點。

2.能讓上述情況實現(xiàn)的新形式的學(xué)習(xí)——允許模型獲得更多的發(fā)展，而不僅僅局限在不同的轉(zhuǎn)移。

3.需要人類工程師更少干涉的模型，無休止地調(diào)整控制旋鈕（knobs）不應(yīng)該是你的工作。

4.對前期學(xué)習(xí)特征和架構(gòu)系統(tǒng)性的再利用；基于可再利用和模塊化程序和子程序的元學(xué)習(xí)系統(tǒng)。

此外，需要說明的是，以上所舉并不特指監(jiān)督式學(xué)習(xí)——這種學(xué)習(xí)方式目前是深度學(xué)習(xí)的基本業(yè)務(wù)，它們可以應(yīng)用到任何形式的機器學(xué)習(xí)上，其中包括非監(jiān)督學(xué)習(xí)、自監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)等等。你的標(biāo)簽來自哪或者你的訓(xùn)練環(huán)看起來是怎么樣的在根本上也不重要。這些機器學(xué)習(xí)不同的分支只是同一結(jié)構(gòu)的不同方面。

讓我們深入下去。

模型即程序

正如我們在此前的博客里提到的，在機器學(xué)習(xí)領(lǐng)域，東莞機房托管 ，我們可以期待的一個必要的轉(zhuǎn)變是：從只能做模式識別和獲得局部的泛化，到能夠執(zhí)行抽象和推理的模型，這能獲得極端的泛化。當(dāng)下，具有基本推理形式能力的AI程序都是由人類程序員硬編碼的：例如，依賴于搜索算法，圖形操作和形式邏輯的軟件。

例如，在DeepMind的AlphaGo程序中，其展示的絕大部分“智能”都是由專業(yè)的程序員設(shè)計和硬編碼完成的（比如，蒙特卡洛樹搜索）。從數(shù)據(jù)中進行學(xué)習(xí)僅僅發(fā)生在特定的從屬模塊中（價值網(wǎng)絡(luò)和策略網(wǎng)絡(luò)）。但是，未來，這樣的AI 系統(tǒng)或許可以進行完全的學(xué)習(xí)，不需要任何的人類參與。

要實現(xiàn)這一想法，都有哪些渠道？考慮一下一個廣為人知的神經(jīng)網(wǎng)絡(luò)——RNN。重點是，RNN比前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Networks）的局限性要少得多。這是因為，RNN不僅僅是一個幾何變換。在一個循環(huán)內(nèi)，RNN被重復(fù)應(yīng)用的幾何變換。

時間循環(huán)本身由人類開發(fā)人員硬編碼：它是網(wǎng)絡(luò)的內(nèi)置假設(shè)。當(dāng)然，RNN在它們可以代表的方面仍然非常有限，主要是因為它們執(zhí)行的每個步驟仍然只是一個可微的幾何變換，并且它們從一個步驟到另一步驟中傳遞信息的方式是通過連續(xù)幾何空間（狀態(tài)向量）中的點。現(xiàn)在，想象一下神經(jīng)網(wǎng)絡(luò)將以類似于編程基元（例如for循環(huán)）的方式“增強”，但不僅僅是一個有硬編碼幾何存儲器的硬編碼for循環(huán)，而是一組大型的編程原語，讓模型可以自由地操縱以擴展其處理功能，例如分支，語句，變量創(chuàng)建，長期內(nèi)存的磁盤存儲，排序運算符，高級數(shù)據(jù)結(jié)構(gòu)（如列表，圖形和哈希表）等等。這樣一個網(wǎng)絡(luò)可以代表的程序的空間將遠大于當(dāng)前深入學(xué)習(xí)模式所能表達的范圍，其中一些程序可以實現(xiàn)更高的泛化能力。

總而言之，我們將遠離一手掌握“硬編碼算法智能”（手工軟件），一只手“學(xué)習(xí)幾何智能”（深度學(xué)習(xí)）的方式。取而代之的是，我們將提供混合的正式算法模塊，它們能提供推理和抽象能力，同時，其中的幾何模型能提供非正式的直覺和模式識別能力。整個系統(tǒng)將能在不需要，或者少量人類參與的情況下進行學(xué)習(xí)。