Нейронная архитектура языка: интегративное моделирование сходится к предиктивной обработке
The neural architecture of language: Integrative modeling converges on predictive processing
2021-11-04
SCID: 54.1/v9uqfx9z
Discuss with AI
обработка языканейронные реакциипредсказание следующего словапредиктивная обработкатрансформерные модели
Figures from the paper
Abstract (AI)
В последние годы нейронаука восприятия была преобразована благодаря интегративному подходу к моделированию, в рамках которого вычисления, функционирование мозга и поведение связываются на основе множества наборов данных и вычислительных моделей. Выявляя закономерности между моделями, этот подход позволяет получить новые представления о когнитивных и нейронных механизмах в изучаемой области. Здесь мы представляем систематическое исследование, применяющее данный подход к когнитивным процессам более высокого уровня — обработке человеческого языка, характерной когнитивной способности нашего вида. Мы обнаружили, что наиболее мощные модели типа «трансформер» предсказывают почти 100% объяснимой дисперсии нейронных ответов на предложения и обобщаются на различные наборы данных и методы нейровизуализации (функциональную магнитно-резонансную томографию и электрокортикографию). Соответствие нейронных ответов моделям («оценка мозга») и соответствие поведенческих ответов моделям в обоих случаях тесно коррелируют с точностью модели в задаче предсказания следующего слова, но не в других языковых задачах. Архитектура модели, по-видимому, в значительной степени способствует соответствию нейронных данных. Эти результаты дают явно выраженные в вычислительной форме доказательства того, что предиктивная обработка фундаментальным образом формирует механизмы понимания языка в человеческом мозге.
Key Findings
1
Архитектура модели существенно влияет на качество соответствия нейронным ответам.
2
Нейронные оценки моделей и соответствие поведенческим реакциям сильно коррелируют с точностью предсказания следующего слова, но не с результатами других языковых задач.
3
Результаты дают вычислительные доказательства того, что предиктивная обработка фундаментально формирует понимание языка человеческим мозгом.
4
Нейронные предсказания обобщаются на независимые наборы данных и разные методы визуализации, включая функциональную МРТ и электрокортикографию.
5
Трансформерные модели предсказывают почти 100% объяснимой вариативности нейронных ответов на предложения.
Research Object
обработка человеческого языка в мозге человека
Research Subject
роль предиктивной обработки в механизмах понимания языка, включая нейронные и поведенческие реакции на предложения
Publication Details
Publication Date
2021-11-04
Journal
Publisher
ISSN
Cited by
555
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai6
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Распределённые представления слов и фраз и их композиционность2013
Рекурсивные глубокие модели для семантической композицией по дереву тональности2013
Что же дальше? Предсказывающий мозг, ситуированные агенты и будущее когнитивной науки2013
Предисловие: Кора головного мозга достигла зрелости1991
Transformers от HuggingFace: современные методы обработки естественного языка2019