Нейронная архитектура языка: интегративное моделирование сходится к предиктивной обработке

The neural architecture of language: Integrative modeling converges on predictive processing
Joshua B. Tenenbaum, Nancy Kanwisher, Evelina Fedorenko, Greta Tuckute, Idan Blank, Eghbal A. Hosseini, Martin Schrimpf, Carina Kauf
2021-11-04

обработка языканейронные реакциипредсказание следующего словапредиктивная обработкатрансформерные модели
В последние годы нейронаука восприятия была преобразована благодаря интегративному подходу к моделированию, в рамках которого вычисления, функционирование мозга и поведение связываются на основе множества наборов данных и вычислительных моделей. Выявляя закономерности между моделями, этот подход позволяет получить новые представления о когнитивных и нейронных механизмах в изучаемой области. Здесь мы представляем систематическое исследование, применяющее данный подход к когнитивным процессам более высокого уровня — обработке человеческого языка, характерной когнитивной способности нашего вида. Мы обнаружили, что наиболее мощные модели типа «трансформер» предсказывают почти 100% объяснимой дисперсии нейронных ответов на предложения и обобщаются на различные наборы данных и методы нейровизуализации (функциональную магнитно-резонансную томографию и электрокортикографию). Соответствие нейронных ответов моделям («оценка мозга») и соответствие поведенческих ответов моделям в обоих случаях тесно коррелируют с точностью модели в задаче предсказания следующего слова, но не в других языковых задачах. Архитектура модели, по-видимому, в значительной степени способствует соответствию нейронных данных. Эти результаты дают явно выраженные в вычислительной форме доказательства того, что предиктивная обработка фундаментальным образом формирует механизмы понимания языка в человеческом мозге.
1
Архитектура модели существенно влияет на качество соответствия нейронным ответам.
2
Нейронные оценки моделей и соответствие поведенческим реакциям сильно коррелируют с точностью предсказания следующего слова, но не с результатами других языковых задач.
3
Результаты дают вычислительные доказательства того, что предиктивная обработка фундаментально формирует понимание языка человеческим мозгом.
4
Нейронные предсказания обобщаются на независимые наборы данных и разные методы визуализации, включая функциональную МРТ и электрокортикографию.
5
Трансформерные модели предсказывают почти 100% объяснимой вариативности нейронных ответов на предложения.

обработка человеческого языка в мозге человека

роль предиктивной обработки в механизмах понимания языка, включая нейронные и поведенческие реакции на предложения

Publication Details
Publication Date
2021-11-04
Journal
Publisher
ISSN
Cited by
555
Access Type
Author Information
Authors
Joshua B. Tenenbaum
Nancy Kanwisher
Evelina Fedorenko
Greta Tuckute
Idan Blank
Eghbal A. Hosseini
Martin Schrimpf
Carina Kauf
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%