Промпт-инжиниринг для обеспечения согласованности и надежности ответов больших языковых моделей в соответствии с доказательными рекомендациями

В настоящее время применение больших языковых моделей (LLM) в клинической медицине активно развивается. Крайне важно эффективно перенести релевантные теоретические знания о LLM из области компьютерных наук в практику их применения в клинической медицине. Промпт-инжиниринг продемонстрировал потенциал как эффективный метод для этой цели. Для изучения применения промпт-инжиниринга к LLM и оценки их надежности были разработаны различные стили промптов; с их помощью разным LLM задавали вопросы о соответствии их ответов доказательным рекомендациям Американской академии хирургов-ортопедов (AAOS) по остеоартриту (OA). Каждый вопрос задавали пять раз. Мы сравнивали согласованность результатов с рекомендациями при различных уровнях доказательности и типах промптов, а также оценивали надежность разных промптов, задавая один и тот же вопрос пять раз. GPT-4-Web с использованием промпта ROT продемонстрировала наибольшую общую согласованность (62,9%) и значимо лучшие результаты для строгих рекомендаций; общая согласованность составила 77,5%. Надежность различных LLM при использовании разных промптов была нестабильной (каппа Флейсса варьировала от −0,002 до 0,984). Это исследование показало, что разные промпты оказывают неодинаковое влияние на различные модели, а GPT-4-Web с промптом ROT была наиболее согласованной. Использование подходящего промпта может повысить точность ответов на профессиональные медицинские вопросы.