Оценка и бенчмаркинг агентов на основе больших языковых моделей: обзор

Появление агентов на основе больших языковых моделей (LLM) открыло новые направления применения искусственного интеллекта, однако оценка таких агентов остается сложной и недостаточно разработанной областью. В этом обзоре представлен подробный анализ формирующейся области оценки агентов на основе LLM и предложена двумерная таксономия, систематизирующая существующие исследования по двум направлениям: (1) цели оценки — что именно оценивается, например поведение агента, его возможности, надежность и безопасность, — и (2) процесс оценки — как проводится оценивание, включая режимы взаимодействия, наборы данных и бенчмарки, методы вычисления метрик и программные инструменты. Помимо таксономии, мы рассматриваем специфические для предприятий проблемы, такие как ролевой доступ к данным, необходимость гарантий надежности, динамические взаимодействия с длительным горизонтом и соблюдение нормативных требований, которым в современных исследованиях часто не уделяется достаточного внимания. Также определены перспективные направления дальнейших исследований, включая комплексную, более реалистичную и масштабируемую оценку. Эта работа призвана внести ясность во фрагментированную область оценки агентов и предложить основу для систематического оценивания, позволяющую исследователям и практикам оценивать агентов на основе LLM для применения в реальных условиях.