RLHF расшифровано: критический анализ обучения с подкреплением на основе человеческой обратной связи для крупных языковых моделей

Существенной задачей при обучении крупных языковых моделей (LLM) в роли эффективных ассистентов является их выравнивание с человеческими предпочтениями. Обучение с подкреплением на основе человеческой обратной связи (RLHF) зарекомендовало себя как многообещающее решение. Однако наше понимание RLHF часто ограничено начальными проектными решениями. В этой статье RLHF анализируется через призму принципов обучения с подкреплением с акцентом на модель вознаграждения. Рассматриваются выборы моделирования и оговорки, связанные с аппроксимацией функций, выделяются предположения о выразительности вознаграждения и выявляются ограничения, такие как некорректная обобщаемость, неверная спецификация модели и разреженная обратная связь. Категориальный обзор текущей литературы даёт исследователям представление о проблемах RLHF и основания для развития существующих методов.