機(jī)器之心報(bào)道

機(jī)器之心編輯部

「人工智能網(wǎng)絡(luò)并沒有試圖直接模仿大腦，然而最終看起來像大腦一樣，這在某種意義上表明，人工智能和自然之間發(fā)生了某種趨同演化?！?/p>

計(jì)算機(jī)擅長(zhǎng)理解結(jié)構(gòu)化數(shù)據(jù)，讓計(jì)算機(jī)去理解主要以文化習(xí)慣沉淀下來的人類語言是一件困難的事。不過在 AI 的重要方向，自然語言處理（NLP）領(lǐng)域中，人們經(jīng)過多年的實(shí)踐找到了一些方法。

在目前流行的 NLP 方法中，其中一種語言模型就是根據(jù)上下文去預(yù)測(cè)下一個(gè)詞是什么。通過這種方法，語言模型能夠從無限制的大規(guī)模單語語料中學(xué)習(xí)到豐富的語義知識(shí)。而預(yù)訓(xùn)練的思想讓模型的參數(shù)不再是隨機(jī)初始化，而是先有一個(gè)任務(wù)進(jìn)行訓(xùn)練得到一套模型參數(shù)，然后用這套參數(shù)對(duì)模型進(jìn)行初始化，再進(jìn)行訓(xùn)練。

計(jì)算機(jī)科學(xué)家們一直在通過這種方式試圖讓電腦盡量接近人類識(shí)別語言的水準(zhǔn)，卻不曾想到有一天會(huì)發(fā)現(xiàn)它和生物的思考方式異曲同工。

來自麻省理工學(xué)院（MIT）的科學(xué)家向 AI 模型輸入與測(cè)試人類大腦相同的刺激，結(jié)果發(fā)現(xiàn)很多模型獲得了與人類相同類型的激活。在超過 40 種語言模型的測(cè)試中（包括詞嵌入、循環(huán)神經(jīng)網(wǎng)絡(luò)、Transformer 等），OpenAI 的 GPT 系列可以幾乎完美地進(jìn)行一些推斷，而且這種能力具有跨數(shù)據(jù)集的穩(wěn)健性。

像 GloVe 這樣的詞嵌入則不行。

模型預(yù)測(cè)出的下一個(gè)詞越準(zhǔn)，它和人類大腦契合度就越高

在過去的幾年中，自然語言處理模型在很多任務(wù)中都表現(xiàn)出了出色的性能。最值得注意的是，它們非常擅長(zhǎng)預(yù)測(cè)一串文本中的下一個(gè)詞。這一技術(shù)最直白的應(yīng)用就是在搜索引擎以及很多文本類 APP 上，可以準(zhǔn)確地預(yù)測(cè)出你想要輸入的下一個(gè)詞。

最新一代的預(yù)測(cè)語言模型似乎也學(xué)習(xí)了一些關(guān)于語言潛在含義的東西。這些模型不僅能預(yù)測(cè)下一個(gè)詞，還能執(zhí)行一些需要一定程度的真正理解才能執(zhí)行的任務(wù)，如問答、文本摘要、故事續(xù)寫等。這類模型是為了優(yōu)化預(yù)測(cè)文本的特定功能而設(shè)計(jì)的，而不是試圖模仿人類大腦如何執(zhí)行這項(xiàng)任務(wù)或理解語言。

但是，來自 MIT 的一項(xiàng)新研究表明，這些模型的基本功能其實(shí)類似于人類大腦語言處理中心的功能。

此外，研究人員還發(fā)現(xiàn)，在其他類型的語言任務(wù)中表現(xiàn)良好的計(jì)算機(jī)模型并沒有展現(xiàn)出此類相似性。這意味著，人類大腦可能會(huì)用「下一個(gè)詞預(yù)測(cè)」來驅(qū)動(dòng)語言處理。

「模型預(yù)測(cè)出的下一個(gè)詞越準(zhǔn)，它和人類大腦契合度就越高，」MIT 的認(rèn)知神經(jīng)科學(xué)教授 Nancy Kanwisher（論文作者之一）表示，「令人驚奇的是，這些模型契合得竟如此之好。這是強(qiáng)烈的間接證據(jù)，證明人類的語言系統(tǒng)可能就是在預(yù)測(cè)接下來會(huì)發(fā)生什么。」

這項(xiàng)研究發(fā)表在最新一期的《美國(guó)國(guó)家科學(xué)院院刊（Proceedings of the National Academy of Sciences）》上。

論文：https://www.pnas.org/content/118/45/e2105646118

論文預(yù)印版（Biorxiv）：https://www.biorxiv.org/content/biorxiv/early/2020/10/09/2020.06.26.174482.full.pdf

GitHub：https://github.com/mschrimpf/neural-nlp

論文一作 Martin Schrimpf 以及另一位作者 Evelina Fedorenko 在一個(gè)視頻中針對(duì)該論文進(jìn)行了解讀。

論文第一作者，MIT 在讀博士 Martin Schrimpf。

人工智能和自然之間發(fā)生了某種趨同演化？

當(dāng)前高性能的下一個(gè)詞預(yù)測(cè)模型屬于深度神經(jīng)網(wǎng)絡(luò)模型。這些網(wǎng)絡(luò)包含構(gòu)成不同強(qiáng)度連接的計(jì)算「節(jié)點(diǎn)」，以及以規(guī)定方式在彼此之間傳遞信息的層。

十多年來，科學(xué)家們使用深度神經(jīng)網(wǎng)絡(luò)來創(chuàng)建可以識(shí)別物體的視覺模型，以實(shí)現(xiàn)靈長(zhǎng)類大腦的功能。MIT 表明，視覺對(duì)象識(shí)別模型的基本功能與靈長(zhǎng)類動(dòng)物視覺皮層的組織相似，盡管這些計(jì)算機(jī)模型并不是專門為模仿大腦而設(shè)計(jì)的。

在這份新研究中，MIT 的研究團(tuán)隊(duì)使用類似的方法將人腦中的語言處理中心與語言處理模型進(jìn)行比較。他們分析了 43 種不同的語言模型，包括一些針對(duì)下一個(gè)詞預(yù)測(cè)任務(wù)進(jìn)行了優(yōu)化的模型。這些模型旨在執(zhí)行不同的語言任務(wù)，其中 GPT-3 可以根據(jù)提示生成類似于人類生成的文本，還有一些模型旨在補(bǔ)全文本中的空白。

負(fù)責(zé)語言處理的人工神經(jīng)網(wǎng)絡(luò)模型與人類語言處理系統(tǒng)的比較。MIT 的研究者測(cè)試了不同模型對(duì)語言理解過程中的人類神經(jīng)活動(dòng)（fMRI and ECoG）和行為數(shù)據(jù)進(jìn)行預(yù)測(cè)的效果。候選模型包括簡(jiǎn)單的嵌入模型、更復(fù)雜的循環(huán)模型和 transformer 網(wǎng)絡(luò)。測(cè)試內(nèi)容從句子到段落再到故事，這些內(nèi)容要經(jīng)歷兩個(gè)步驟：1）輸入模型，2）呈現(xiàn)給人類參與者（視覺或聽覺）。模型的內(nèi)部表征主要在三個(gè)維度上進(jìn)行評(píng)估：預(yù)測(cè)人類神經(jīng)表征的能力；以閱讀次數(shù)的形式預(yù)測(cè)人類行為的能力；執(zhí)行計(jì)算任務(wù)的能力（例如下一個(gè)詞預(yù)測(cè)）。研究者在許多個(gè)不同的模型中歸納分析了測(cè)試結(jié)果，得到的結(jié)論比從單個(gè)模型中得到的更具說服力。

每個(gè)模型都有一串詞作為輸入，研究人員測(cè)量了網(wǎng)絡(luò)中節(jié)點(diǎn)的活動(dòng)。然后，他們將這些模式與人腦中的活動(dòng)進(jìn)行了比較，并根據(jù)執(zhí)行的三種語言任務(wù)進(jìn)行度量：聽故事、一次閱讀一個(gè)句子，以及閱讀每次只顯示一個(gè)單詞的句子。其中用到的人類數(shù)據(jù)集包括功能磁共振 (fMRI) 數(shù)據(jù)和在接受癲癇腦部手術(shù)的人中進(jìn)行的顱內(nèi)皮層電圖測(cè)量數(shù)據(jù)。

他們發(fā)現(xiàn)，表現(xiàn)最佳的下一個(gè)單詞預(yù)測(cè)模型的活動(dòng)模式與人類大腦的活動(dòng)模式非常相似。這些模型中的活動(dòng)與人類行為度量高度相關(guān)，比如人們閱讀文本的速度。

「我們發(fā)現(xiàn)，那些能夠很好地預(yù)測(cè)神經(jīng)反應(yīng)的模型在預(yù)測(cè)人類行為反應(yīng)時(shí)也往往表現(xiàn)良好。這兩種情況都可以用模型在下一詞預(yù)測(cè)中的表現(xiàn)來解釋。這個(gè)三角形真的把一切都聯(lián)系在了一起?！筍chrimpf 表示。

「這項(xiàng)研究的一個(gè)關(guān)鍵結(jié)論是，語言處理是一個(gè)高度約束問題: AI 工程師創(chuàng)造的最佳解決方案最終與創(chuàng)造人類大腦進(jìn)化過程所得到的解決方案類似?！顾固垢４髮W(xué)心理學(xué)和計(jì)算機(jī)科學(xué)助理教授 Daniel Yamins 評(píng)價(jià)說: 「人工智能網(wǎng)絡(luò)并沒有試圖直接模仿大腦，然而最終看起來像大腦一樣，這在某種意義上表明，人工智能和自然之間發(fā)生了某種趨同演化?！?/p>圖 6: 主要研究結(jié)果。紅色與橙色框內(nèi)是歸一化后的神經(jīng)及行為預(yù)測(cè)。

論文作者：這個(gè)結(jié)果對(duì)我來說是有生之年系列

GPT-3 這種預(yù)測(cè)模型的關(guān)鍵計(jì)算特性是：它有一種被稱為「前向單向預(yù)測(cè) transformer」的成分。這種 transformer 架構(gòu)能夠根據(jù)之前的序列預(yù)測(cè)接下來會(huì)發(fā)生什么，它可以基于很長(zhǎng)的前文內(nèi)容進(jìn)行預(yù)測(cè)（數(shù)百個(gè)單詞），而不僅僅是最后幾個(gè)單詞。

科學(xué)家們還沒有發(fā)現(xiàn)任何與這種信息處理相對(duì)應(yīng)的大腦回路或?qū)W習(xí)機(jī)制，MIT 計(jì)算認(rèn)知科學(xué)教授 Joshua Tenenbaum （本文作者之一）表示，然而新發(fā)現(xiàn)與先前提出的假設(shè)是一致的，即預(yù)測(cè)是語言處理的關(guān)鍵功能之一。

「語言處理的挑戰(zhàn)之一是實(shí)時(shí)性，」他說，「語言輸入了，你必須跟上，并且要實(shí)時(shí)理解它?！?/p>

研究人員打算建立這些語言處理模型的變體，觀察它們架構(gòu)中的微小變化是如何影響性能和適應(yīng)人類神經(jīng)數(shù)據(jù)能力的。

「對(duì)我來說，這個(gè)結(jié)果意義重大，」Fedorenko 說，「這完全改變了我的研究計(jì)劃，因?yàn)槲覜]有預(yù)料到，有生之年我能得到這些計(jì)算很明確的模型，捕捉到足夠多的關(guān)于大腦的信息，從而利用它們來理解大腦是如何工作的。」

研究人員還計(jì)劃將這些高效的語言模型與 Tenenbaum 實(shí)驗(yàn)室之前開發(fā)的一些計(jì)算機(jī)模型結(jié)合起來，這些模型可以執(zhí)行其他類型的任務(wù)，比如構(gòu)建物理世界的知覺表征。

「如果我們能夠理解這些語言模型的作用，以及它們?nèi)绾闻c那些更像是感知和思考的模型相聯(lián)系，我們就可以得到更多關(guān)于事物如何在大腦中工作的綜合模型?！?/p>

「這將帶領(lǐng)我們走向更好的人工智能模型，同時(shí)也為我們提供了比過去更好的思路——關(guān)于大腦如何工作以及通用智能如何產(chǎn)生?！?/p>

參考內(nèi)容：

https://cbmm.mit.edu/news-events/news/artificial-intelligence-sheds-light-how-brain-processes-language-mit-news

https://scitechdaily.com/surprisingly-smart-artificial-intelligence-sheds-light-on-how-the-brain-processes-language/

https://twitter.com/martin_schrimpf/status/1276832575022137344

? THE END

轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)

投稿或?qū)で髨?bào)道：content@jiqizhixin.com

原標(biāo)題：《方向?qū)α?？MIT新研究：GPT-3和人類大腦處理語言的方式驚人相似》

閱讀原文