<p>長期以來，認知科學家一直試圖理解是什么導致一些句子比另一些句子更難理解。研究人員認為，任何語言理解的解釋都將受益于理解中的困難。</p> <p>&nbsp;</p> <p>近年來，研究人員成功地開發(fā)了兩個模型，解釋了理解和制造句子的兩種重要困難類型。雖然這些模型成功地預測了理解困難的特定模式，但它們的預測是有限的，并且與行為實驗的結果不完全匹配。此外，直到最近，研究人員還無法將這兩個模型整合成一個連貫的解釋。</p> <p>&nbsp;</p> <p>麻省理工學院大腦與認知科學系(BCS)的研究人員領導的一項新研究現在為語言理解困難提供了這樣一個統(tǒng)一的解釋?；跈C器學習的最新進展，研究人員開發(fā)了一個模型，可以更好地預測個人生成和理解句子的難易程度。他們最近在《美國國家科學院院刊》上發(fā)表了他們的發(fā)現。</p> <p>&nbsp;</p> <p>這篇論文的資深作者是BCS教授羅杰&middot;列維(Roger Levy)和愛德華(泰德)&middot;吉布森(Edward (Ted) Gibson)。主要作者是列維和吉布森以前的訪問學生邁克爾&middot;哈恩，他現在是薩爾大學的教授。第二作者是Richard Futrell，他以前也是Levy和Gibson的學生，現在是加州大學歐文分校的教授。</p> <p>&nbsp;</p> <p>吉布森說:&ldquo;這不僅是現有理解困難解釋的放大版;&ldquo;我們提供了一種新的潛在理論方法，可以更好地進行預測。&rdquo;</p> <p>&nbsp;</p> <p>研究人員在這兩個現有模型的基礎上建立了一個統(tǒng)一的理解困難的理論解釋。這些老模型都指出了導致理解受挫的不同原因:</p> <p>&nbsp;</p> <p>預期困難和記憶檢索困難。當一個句子不容易讓我們預料到它接下來要說的單詞時，我們就會經歷期待的困難。當我們很難追蹤一個含有嵌套從句的復雜結構的句子時，我們就會經歷記憶檢索的困難，例如:&ldquo;律師不信任的醫(yī)生惹惱了病人這一事實令人驚訝。&rdquo;</p> <p>&nbsp;</p> <p>2020年，Futrell首先設計了一個統(tǒng)一這兩個模型的理論。他認為，記憶的限制不僅影響含有嵌套從句的句子的檢索，而且困擾著所有的語言理解;我們記憶的局限性不允許我們在語言理解過程中完美地表現句子上下文。</p> <p>&nbsp;</p> <p>因此，根據這個統(tǒng)一的模型，記憶約束可以在預期中創(chuàng)造一個新的困難來源。我們可能很難預測一個句子中即將出現的單詞，即使這個單詞應該很容易從上下文中預測出來&mdash;&mdash;以防句子上下文本身很難記住。例如，考慮一個以&ldquo;鮑勃扔了垃圾&hellip;&hellip;&rdquo;</p> <p>&nbsp;</p> <p>開頭的句子，我們很容易想到最后一個詞&ldquo;出去&rdquo;。但如果最后一個詞之前的句子上下文更復雜，預期就會出現困難:&ldquo;鮑勃把在廚房里放了幾天的舊垃圾扔了出去。&rdquo;</p> <p>&nbsp;</p> <p>研究人員通過測量讀者對不同理解任務做出反應所需的時間來量化理解難度。反應時間越長，對給定句子的理解就越有挑戰(zhàn)性。先前實驗的結果表明，Futrell的統(tǒng)一描述比兩個舊模型更好地預測了讀者的理解困難。但他的模型并沒有識別出我們容易忘記句子的哪些部分&mdash;&mdash;以及記憶檢索的失敗是如何混淆理解的。</p> <p>&nbsp;</p> <p>哈恩的新研究填補了這些空白。在這篇新論文中，來自麻省理工學院的認知科學家與Futrell一起提出了一個基于新的連貫理論框架的增強模型。新模型識別并修正了Futrell統(tǒng)一解釋中缺失的元素，并提供了新的微調預測，更好地匹配實證實驗的結果。</p> <p>&nbsp;</p> <p>在Futrell最初的模型中，研究人員首先認為，由于記憶的限制，我們的大腦不能完美地代表我們遇到的句子。但他們在此基礎上增加了認知效率的理論原則。他們提出，大腦傾向于部署其有限的記憶資源，以優(yōu)化其準確預測句子中新單詞輸入的能力。</p> <p>&nbsp;</p> <p>這一概念導致了一些經驗預測。根據一項重要的預測，讀者通過依靠他們對統(tǒng)計上的單詞共現的知識來彌補他們不完美的記憶表征，以便在腦海中隱式地重構他們所讀到的句子。因此，包含稀有單詞和短語的句子很難完美地記住，也更難預測即將出現的單詞。因此，這樣的句子通常更難以理解。</p> <p>&nbsp;</p> <p>為了評估這一預測是否與我們的語言行為相匹配，研究人員使用了GPT-2，一種基于神經網絡建模的AI自然語言工具。這種機器學習工具于2019年首次公開，使研究人員能夠以一種以前不可能的方式在大規(guī)模文本數據上測試模型。但是GPT-2強大的語言建模能力也帶來了一個問題:與人類相比，GPT-2完美的記憶完美地代表了它處理的非常長和復雜文本中的所有單詞。為了更準確地描述人類的語言理解能力，研究人員添加了一個組件，模擬人類對記憶資源的限制&mdash;&mdash;就像Futrell的原始模型一樣&mdash;&mdash;并使用機器學習技術來優(yōu)化這些資源的使用方式&mdash;&mdash;就像他們提出的新模型一樣。最終的模型保留了GPT-2在大多數情況下準確預測單詞的能力，但在單詞和短語罕見組合的句子中顯示出類似人類的故障。</p> <p>&nbsp;</p> <p>吉布森說:&ldquo;這是一個很好的例子，說明了現代機器學習工具如何幫助發(fā)展認知理論，以及我們對大腦如何工作的理解。&rdquo;&ldquo;即使在幾年前，我們也不可能在這里進行這項研究。&rdquo;</p> <p>&nbsp;</p> <p>研究人員向機器學習模型輸入了一組含有復雜嵌入從句的句子，例如，&ldquo;律師不信任的醫(yī)生惹惱了病人的報告令人驚訝。&rdquo;然后，研究人員將這些句子的開頭名詞&mdash;&mdash;如上面例子中的&ldquo;報告&rdquo;&mdash;&mdash;替換為其他名詞，每個名詞都有可能出現在后面的從句中。一些名詞使它們被插入的句子更容易被人工智能程序&ldquo;理解&rdquo;。例如，當這些句子以常見的短語&ldquo;the fact that&rdquo;開始時，該模型能夠更準確地預測它們如何結束，而不是以罕見的短語&ldquo;the report that&rdquo;開始時。</p> <p>&nbsp;</p> <p>然后，研究人員開始通過對閱讀類似句子的參與者進行實驗來證實基于人工智能的結果。他們對理解任務的反應時間與模型預測的反應時間相似。吉布森說:&ldquo;當句子以&lsquo;報告那&rsquo;開頭時，人們往往會以一種扭曲的方式記住這個句子。&rdquo;這種罕見的措辭進一步限制了他們的記憶，從而限制了他們的理解。</p> <p>&nbsp;</p> <p>這些結果表明，新模型在預測人類如何處理語言方面優(yōu)于現有模型。</p> <p>&nbsp;</p> <p>該模型展示的另一個優(yōu)勢是它能夠提供不同語言的不同預測。利維說:&ldquo;以前的模型知道為什么某些語言結構，比如含有嵌入從句的句子，在記憶的限制下通常更難處理，但我們的新模型可以解釋為什么相同的約束在不同的語言中表現不同。&rdquo;&ldquo;例如，對于以德語為母語的人來說，帶有中心從句的句子似乎比以英語為母語的人更容易理解，因為以德語為母語的人習慣閱讀從句將動詞推到句尾的句子。&rdquo;</p> <p>&nbsp;</p> <p>Levy認為，除了嵌入從句之外，還需要對模型進行進一步的研究，以確定導致句子表示不準確的原因。&ldquo;我們還需要測試其他類型的&lsquo;困惑&rsquo;。&rdquo;與此同時，哈恩補充說，&ldquo;這個模型可能會預測其他沒有人想過的&lsquo;混亂&rsquo;。我們現在正試圖找到這些因素，看看它們是否會像預測的那樣影響人類的理解。&rdquo;</p> <p>&nbsp;</p> <p>未來研究的另一個問題是，新模型是否會導致人們重新思考一長串專注于句子整合困難的研究:&ldquo;許多研究人員強調了與我們在腦海中重建語言結構的過程有關的困難，&rdquo;Levy說。&ldquo;新的模型可能表明，困難不在于這些句子的心理重建過程，而在于一旦它們已經被構造出來，如何維持心理表征。一個很大的問題是，這是否是兩件獨立的事情。&rdquo;</p> <p>&nbsp;</p> <p>吉布森補充說，無論如何，&ldquo;這種工作標志著這些問題研究的未來。&rdquo;</p> <p>&nbsp;</p> <blockquote> <p>注：本文由院校官方新聞直譯，僅供參考，不代表指南者留學態(tài)度觀點。</p> </blockquote>