ExpeL: агенты на основе больших языковых моделей — обучающиеся на опыте

Недавний всплеск интереса к применению больших языковых моделей (LLM) для решения задач принятия решений обусловлен использованием обширных знаний о мире, заложенных в этих моделях. Несмотря на растущую потребность адаптировать LLM к специализированным задачам принятия решений, их дообучение для конкретных задач требует значительных ресурсов и может снижать способность модели к обобщению. Кроме того, современные языковые модели, такие как GPT-4 и Claude, в основном доступны через вызовы API, тогда как их параметрические веса остаются проприетарными и недоступными общественности. Это подчёркивает растущую потребность в новых методологиях, позволяющих моделям обучаться на опыте агента без обновления параметров. Для решения этих проблем мы представляем агента Experiential Learning (ExpeL), то есть агента, обучающегося на опыте. Наш агент автономно собирает опыт и извлекает знания на естественном языке из набора обучающих задач. На этапе вывода агент обращается к извлечённым выводам и накопленному опыту, чтобы принимать обоснованные решения. Результаты эмпирического исследования демонстрируют высокую эффективность обучения агента ExpeL и свидетельствуют о стабильном повышении его производительности по мере накопления опыта. Кроме того, с помощью качественных наблюдений и дополнительных экспериментов мы исследуем формирующиеся способности агента ExpeL и его потенциал переноса обучения.