Обучение языковых моделей следованию инструкциям с использованием обратной связи от человека

Увеличение размера языковых моделей само по себе не делает их более эффективными в следовании намерениям пользователя. Например, большие языковые модели могут генерировать недостоверные, токсичные или просто бесполезные для пользователя ответы. Иными словами, эти модели не согласованы с намерениями пользователей. В этой работе мы показываем возможность согласования языковых моделей с намерениями пользователей при выполнении широкого спектра задач посредством дообучения с использованием обратной связи от человека. Начав с набора подсказок, написанных разметчиками, и подсказок, отправленных через OpenAI API, мы собираем набор данных с демонстрациями желаемого поведения модели, подготовленными разметчиками, и используем его для дообучения GPT-3 методом обучения с учителем. Затем мы собираем набор данных с ранжированиями выходных данных модели и используем его для дальнейшего дообучения этой модели, обученной с учителем, методом обучения с подкреплением на основе обратной связи от человека. Полученные модели мы называем InstructGPT. В ходе оценивания людьми на распределении наших подсказок ответы модели InstructGPT с 1,3 млрд параметров получают предпочтение перед ответами GPT-3 со 175 млрд параметров, несмотря на наличие у первой модели в 100 раз меньшего числа параметров. Кроме того, модели InstructGPT демонстрируют повышение достоверности и снижение частоты генерации токсичных ответов при минимальном ухудшении результатов на общедоступных наборах данных по обработке естественного языка. Хотя InstructGPT по-прежнему допускает простые ошибки, наши результаты показывают, что дообучение с использованием обратной связи от человека является перспективным направлением для согласования языковых моделей с намерениями людей.