Оценка стабильности маршрутизации и координации в многоагентных системах целеориентированного диалога на основе роевого подхода

Диалоговые системы становятся основным интерфейсом для сервисов и автоматизации предприятий, а быстрый рост рынка стимулирует их внедрение в условиях повышенных требований к безопасности и затратам. Надёжность остаётся узким местом, когда взаимодействия охватывают несколько предметных областей: оркестратор должен выбрать следующего специализированного агента, поддерживать общее состояние диалога и устранять ошибки до того, как они распространятся по цепочке передач. Несмотря на растущий интерес к многоагентным архитектурам роевого типа, оркестрация редко оценивается с помощью метрик, ориентированных на координацию, что затрудняет сравнение политик маршрутизации за пределами поверхностной беглости диалога. Мы представляем конвейер оценки, разработанный с приоритетом оценивания, для многообластного целеориентированного диалога на наборе MultiWOZ 2.2; он отделяет маршрутизацию от генерации и выявляет измеримые режимы отказа. Маршрутизатор на основе DeBERTa выбирает специализированных агентов предметных областей, а генератор FLAN-T5 формирует структурированные действия и обновления состояния убеждений через общий интерфейс памяти. Протокол отслеживает корректность делегирования, охват прогресса по слотам, нестабильность переключений и возвратных переключений, зацикливание и восстановление после ошибочной маршрутизации, а также связывает ошибки на ранних ходах диалога с последующим разрушением работы системы посредством атрибуции каскадных ошибок. Кроме того, мы вводим стресс-тесты, моделирующие переформулирование, долгосрочные исправления и задержки инструментов, чтобы исследовать устойчивость за пределами статических аннотаций. Среди вариантов маршрутизации управление с учётом уверенности обеспечивает наиболее существенное повышение стабильности: точность маршрутизации достигает 0.77, при этом значительно сокращается число лишних передач — показатели переключений и возвратных переключений составляют соответственно 0.11 и 0.01 — по сравнению с обучаемым базовым методом с точностью 0.65 и показателями переключений и возвратных переключений 0.44 и 0.09. Вместе с тем управление по уверенности может приводить к обмену прогресса на точность, когда оно подавляет обновления состояния убеждений, что указывает на важный для настройки развёртывания компромисс между точностью и прогрессом. Диагностические сводки показывают, что основными источниками ошибок являются неправильная маршрутизация и обновления пустого состояния, тогда как зацикливание встречается сравнительно редко. Наконец, применение той же оценки к SGD показывает, что c...