這種基本的直覺并不新鮮。近年來，研究人員使用一種叫做“單詞嵌入”的技術，深入研究了未標記的數據，該技術根據它們在大量文本中出現的方式，將單詞之間的關系映射到一起。這些新模型的目的是要深入研究，獲取從文字到高級語言概念的信息。Ruder曾寫過關于這些更深層次的模型對各種語言問題有用的可能性，他希望這些模型能成為一個簡單的詞嵌入的替代品。

目前還不清楚這個模型在分析所有這些詞的過程中到底學到了什么。由于深層神經網絡的工作方式不透明，這是一個很難回答的問題。研究人員對圖像識別系統為什么工作得如此之好仍然有一種模糊的理解。在10月份的一次會議上，彼得斯采取了一種經驗主義的方法，在各種軟件設計和不同的語言任務中試驗了ELMo。“我們發現這些模型學習語言的基本屬性，”彼得斯說。但他警告說，其他研究人員將需要測試ELMo來確定模型在不同任務之間的強大程度，以及它可能包含的隱藏的驚喜。

2012年，人工智能研究人員發現，通過給神經網絡提供數百萬張名為ImageNet的圖像圖像，計算機識別圖像的能力有了很大的提高。它為計算機視覺帶來了一個激動人心的階段，因為很明顯，使用ImageNet訓練的模型可以幫助解決各種圖像識別問題。六年后，這項技術也為自動駕駛汽車在城市街道和Facebook社交媒體上自動標記照片鋪平了道路。

幸運的是，多虧了互聯網，研究人員從維基百科、書籍和社交媒體等來源收集了大量雜亂的數據。我們的策略是將這些單詞輸入到一個神經網絡中，并允許它自己識別模式，即所謂的“無監督”方法。人們希望這些模式能夠捕捉到語言的一些一般方面，一種對詞語的理解，VPS租用 國內服務器，或者是語法的基本輪廓。就像使用ImageNet訓練的模型一樣，這樣的語言模型可以被精確地調整以掌握更具體的任務，比如總結一篇科學文章，將電子郵件歸類為垃圾郵件，或者甚至為一個短篇故事生成一個令人滿意的結尾。

加州大學伯克利分校的計算機科學教授丹克·萊恩（Dan Klein）是早期采用者之一。他和一名學生正在研究一個選區解析器，這是一個面包和黃油的工具，涉及到一個句子的語法結構。通過添加ELMo，克萊因突然擁有了世界上最好的系統，最精確的是驚人的寬。他說：“如果幾年前你問我是否有可能達到這么高的水平，我就不確定了。”

“我們永遠無法獲得足夠的標簽數據，”艾倫研究所的研究科學家馬修·彼得斯說，他領導了ELMo團隊。“我們真的需要開發出一種模型，這些模型可以處理混亂的、沒有標簽的數據，并盡可能多地從中學習。”

例如，ELMo通過整合更多的上下文，在句子的范圍內，而不是單詞來觀察語言，從而改進了單詞的嵌入。這種額外的上下文使模型能夠很好地解析“五月”和“May”這個動詞之間的區別，但也意味著它學習了語法。ELMo通過獲得對單詞的子單元的理解，如前綴和后綴，獲得了額外的提升。正如彼得斯的團隊所做的那樣，給神經網絡提供10億個單詞，而這種方法是非常有效的。

這些進步看起來是極具戲劇性的。到目前為止，最廣泛測試的模型被稱為語言模型的嵌入，或者叫做ELMo。今年春天，艾倫研究所發布了這項技術，ELMo迅速推翻了之前的一系列挑戰，比如閱讀理解，人工智能回答了關于一段文字的問題，以及情緒分析。在一個進展趨向于增量的領域，ELMo的技術讓識別效果提高了25%。今年6月，該公司在一次大型會議上獲得了最佳論文獎。

一種風險是：對用于訓練它們的數據進行編碼偏差，因此醫生被貼上男性的標簽，護士作為女性，例如，就像之前所做的那樣?？巳R因說，雖然利用ELMo和其他模型產生的最初結果令人興奮，但目前還不清楚這些結果能在多大程度上推動，也許是通過使用更多的數據來訓練模型，或者通過增加約束來迫使神經網絡更有效地學習。從長遠來看，像我們這樣閱讀和交談的人工智能可能需要一種全新的方法。

在人工智能研究的其他領域，比如理解語言，類似的模型已經被證明是難以捉摸的。但是最近快速的研究。人工智能、OpenAI和Allen人工智能研究所提出了一個潛在的突破，使用更強大的語言模型來幫助研究人員解決一系列尚未解決的問題。其中一款新車型的研究員塞巴斯蒂安·魯德爾（Sebastian Ruder）稱其為“ImageNet時刻”。

像ELMo這樣的模型解決了一個有問題的語言學家的核心問題：缺乏標簽的數據。為了訓練神經網絡做出決策，許多語言問題都需要手工標記的數據。但是，生產這些數據需要時間和金錢，甚至很多數據都無法捕捉到我們說話和寫作的不可預測的方式。對于除英語之外的其他語言，研究人員通常沒有足夠的標記數據來完成基本的任務。