Внимание модулирует нормализацию ценности в человеческом обучении с подкреплением, формируя кодирование вознаграждения

Контекстная оценка — хорошо задокументированное явление в обучении с подкреплением, обычно проявляющееся в виде нормализации диапазона в представлении исходов. Однако недавние результаты показали систематические отклонения от этой модели, особенно при предъявлении трёх вариантов с одинаковыми интервалами значений. В исследовании выдвигается гипотеза, что эти искажения в нормализации исходов возникают из-за процессов внимания. Для проверки мы провели три эксперимента с общим числом участников 105, одновременно отслеживая положение взгляда с помощью трекинга глаз. Кроме того, мы систематически манипулировали вниманием, применяя как установки сверху вниз, так и стимулы снизу вверх. Эти манипуляции существенно увеличивали субъективную оценку посещаемых вариантов, что подтверждает причинную роль внимания в формировании представления ценности. Чтобы объяснить эти эффекты, мы разработали модель обучения с подкреплением, интегрирующую механизмы внимания, в которой длительность взгляда прямо модулирует абсолютную ценность вариантов до применения нормализации диапазона. Эта модель с учётом внимания превосходит альтернативы без внимания и модели повторения выбора, подчёркивая критическое влияние внимания на вычисление ценности. Обучение вознаграждению у людей формируется контекстом, но когнитивные истоки этого смещения остаются слабо изученными. Здесь авторы представляют доказательства того, что внимание может лежать в основе этих искажений, влияя на то, как кодируются вознаграждения в обучении с подкреплением.