Система оценки больших языковых моделей в здравоохранении с участием человека, разработанная на основе обзора литературы

По мере того как генеративный искусственный интеллект (GenAI), в частности большие языковые модели (LLM), продолжает внедряться в здравоохранение, оценка LLM с участием человека становится необходимой для обеспечения безопасности и эффективности. В настоящем исследовании представлен обзор существующей литературы по методологиям оценки LLM с участием человека в здравоохранении в различных медицинских специальностях; рассмотрены такие факторы, как оцениваемые параметры, типы и объемы выборок, отбор и привлечение оценщиков, системы и метрики, процесс оценки, а также тип статистического анализа. Обзор 142 исследований выявил недостатки современных практик оценки с участием человека с точки зрения надежности, обобщаемости и применимости. Для преодоления столь существенных препятствий, связанных с разработкой и внедрением LLM в здравоохранении, мы предлагаем QUEST — комплексную и практичную систему оценки LLM с участием человека, охватывающую три этапа рабочего процесса: планирование; реализацию и экспертное рассмотрение; подсчет баллов и анализ результатов. QUEST разработана на основе пяти предлагаемых принципов оценки: качество информации; понимание и рассуждение; стиль выражения и персона; безопасность и вред; доверие и уверенность.