Платформа для оценки клинической безопасности и частоты галлюцинаций больших языковых моделей при суммировании медицинских текстов

Интеграция больших языковых моделей (LLM) в здравоохранение может повысить эффективность рабочих процессов и улучшить медицинскую помощь пациентам за счёт автоматизации таких задач, как суммирование консультаций. Однако соответствие результатов работы LLM исходной достоверной информации имеет решающее значение для предотвращения недопонимания, которое может поставить под угрозу безопасность пациентов. Мы предлагаем платформу, включающую (1) таксономию ошибок для классификации результатов работы LLM, (2) экспериментальную структуру для итеративных сравнений в нашем конвейере генерации документов с использованием LLM, (3) систему оценки клинической безопасности для определения вреда, обусловленного ошибками, и (4) графический пользовательский интерфейс CREOLA, облегчающий выполнение этих процессов. Показатели клинических ошибок были рассчитаны на основе 18 экспериментальных конфигураций с использованием LLM для генерации клинических записей, включавших 12 999 предложений, размеченных медицинскими специалистами. Мы выявили частоту галлюцинаций 1,47% и частоту пропусков 3,45%. Благодаря совершенствованию промптов и рабочих процессов нам удалось снизить частоту серьёзных ошибок ниже ранее опубликованных показателей, характерных для ведения записей медицинскими специалистами, что подчёркивает потенциал платформы для повышения безопасности клинической документации.