Оценка больших языковых моделей как вспомогательного инструмента для диагностики сложных медицинских случаев

Обоснование: В последнее время использование больших языковых моделей (LLM) приобрело популярность в различных областях, включая ответы на вопросы, задаваемые пациентами и медицинскими специалистами. Цель: Оценить эффективность и ограничения LLM при установлении правильного диагноза в сложном клиническом случае. Дизайн исследования: Из материалов Massachusetts General Hospital Case Records были отобраны 75 последовательных клинических случаев, для которых модели GPT-3.5 и GPT-4 компании OpenAI формировали дифференциальный диагноз. Результаты: Среднее число диагнозов, предложенных экспертами, обсуждавшими случаи в Massachusetts General Hospital, составило 16,77; модель GPT-3.5 предложила 30 диагнозов, а GPT-4 — 15,45 (p < 0,0001). GPT-4 чаще указывала правильный диагноз первым (22% против 20% для GPT-3.5; p = 0,86) и включала правильный диагноз в число трех наиболее вероятных (42% против 24%; p = 0,075). GPT-4 лучше предлагала правильный диагноз, когда диагнозы классифицировали по группам в соответствии с медицинской специальностью и учитывали наличие правильного диагноза на любой позиции в дифференциальном списке (68% против 48%; p = 0,0063). Дифференциальный список GPT-4 был более похож на список экспертов, обсуждавших случаи, чем список GPT-3.5 (индекс сходства Жаккара — 0,22 против 0,12; p = 0,001). Включение правильного диагноза в сформированный дифференциальный список коррелировало с числом статей в PubMed, соответствующих этому диагнозу (OR 1,40; 95% ДИ 1,25–1,56 для GPT-3.5; OR 1,25; 95% ДИ 1,13–1,40 для GPT-4), но не с распространенностью заболевания. Выводы и значимость: Модель GPT-4 смогла сформировать дифференциальный список, содержащий правильный диагноз, примерно в двух третях случаев, однако наиболее вероятный диагноз часто оказывался неправильным для обеих моделей. В текущем состоянии этот инструмент может использоваться главным образом как вспомогательное средство для расширения перечня возможных диагностических предположений по конкретному случаю. Необходимо обучать будущие LLM с учетом расхождения между распространенностью заболеваний и доступностью соответствующих сведений в научной литературе.