Общие вычислительные принципы обработки языка у человека и в глубоких языковых моделях

В отличие от традиционных лингвистических моделей, достижения в области глубокого обучения привели к появлению нового типа предиктивных (авторегрессионных) глубоких языковых моделей (DLM). Используя задачу самоконтролируемого предсказания следующего слова, эти модели формируют соответствующие языковые реакции в заданном контексте. В настоящем исследовании девять участников прослушивали 30-минутный подкаст, mientras их мозговые реакции регистрировались с помощью электрокортикографии (ECoG). Мы представляем эмпирические данные о том, что человеческий мозг и авторегрессионные DLM используют три фундаментальных вычислительных принципа при обработке одного и того же естественного повествования: (1) оба непрерывно предсказывают следующее слово до его появления; (2) оба сопоставляют свои предшествующие появлению слова предсказания с поступающим словом, чтобы вычислить неожиданность после его появления; (3) оба опираются на контекстуальные эмбеддинги для представления слов в естественных контекстах. В совокупности полученные результаты свидетельствуют о том, что авторегрессионные DLM предоставляют новую и биологически правдоподобную вычислительную основу для изучения нейронных механизмов языка.