Бенчмаркинг агентов на основе больших языковых моделей для анализа одноклеточных омиксных данных

ПРЕДПОСЫЛКИ: Стремительный рост объёма одноклеточных омиксных данных выявляет ограничения традиционных рабочих процессов анализа, основанных на ручном определении процедур. Агенты искусственного интеллекта предлагают смену парадигмы, обеспечивая адаптивное планирование, генерацию исполняемого кода, прослеживаемость решений и объединение знаний в реальном времени. Однако отсутствие комплексного бенчмарка существенно препятствует прогрессу. РЕЗУЛЬТАТЫ: Мы представляем новую систему бенчмаркинговой оценки для строгого анализа возможностей агентов в исследовании одноклеточных омиксных данных. Система включает унифицированную платформу, совместимую с различными фреймворками агентов и большими языковыми моделями (LLM); многомерные метрики для оценки синтеза когнитивных программ, взаимодействия, эффективности выполнения, интеграции биоинформатических знаний и качества выполнения задач; а также 50 разнообразных реальных задач анализа одноклеточных омиксных данных, охватывающих мультиомиксные исследования, различные виды и технологии секвенирования. Наша оценка показывает, что Grok3-beta достигает передовых результатов среди протестированных фреймворков агентов. Мультиагентные фреймворки значительно повышают эффективность взаимодействия и выполнения по сравнению с одноагентными подходами благодаря распределению специализированных ролей. Анализ вклада различных возможностей агентов показывает, что генерация высококачественного кода имеет решающее значение для успешного выполнения задач, а саморефлексия оказывает наиболее значимое общее влияние, за которой следуют генерация с дополнением поиска (RAG) и планирование. ВЫВОДЫ: Работа выявляет сохраняющиеся проблемы генерации кода, обработки длинных контекстов и контекстно-зависимого поиска знаний, создавая важную эмпирическую основу и формулируя передовые практики для разработки надёжных агентов искусственного интеллекта в вычислительной биологии.