AgentTuning: развитие обобщённых агентских способностей больших языковых моделей

До настоящего времени открытые большие языковые модели (LLM) уступали коммерческим LLM при использовании в качестве агентов для решения сложных задач. В таких агентских задачах LLM выступают в роли центрального контроллера, отвечающего за планирование, запоминание и использование инструментов. На сегодняшний день исследования, посвящённые улучшению агентских возможностей самих LLM, практически отсутствуют. В этой работе мы представляем AgentTuning — простой и универсальный метод повышения агентских способностей LLM с сохранением их общих возможностей. Мы создаём AgentInstruct — компактный набор данных для дообучения инструкциям, содержащий высококачественные траектории взаимодействия. Мы применяем гибридную стратегию дообучения инструкциям, объединяя AgentInstruct с инструкциями из открытых источников, охватывающими общие предметные области. Метод AgentTuning используется для дообучения инструкциям серии Llama 2, в результате чего создаётся AgentLM. Оценка показывает, что AgentTuning наделяет LLM агентскими способностями без ухудшения их общих возможностей. Модель AgentLM-70B сопоставима с GPT-3.5 Turbo на новых агентских задачах, демонстрируя обобщённые агентские способности. Мы открываем исходный код и публикуем набор данных AgentInstruct, а также модели AgentLM-7B, 13B и 70B по адресу https://anonymous.4open.science/r/AgentTuning.