Надёжность больших языковых моделей в качестве медицинских помощников для широкой общественности: рандомизированное пререгистрированное исследование
Reliability of LLMs as medical assistants for the general public: a randomized preregistered study
2026-02-01
SCID: 54.1/6fmgwxsw
Discuss with AI
тестирование пользователейбольшие языковые моделимедицинские советыпринятие медицинских решенийрандомизированное пререгистрированное исследование
Figures from the paper
Abstract (AI)
Медицинские организации по всему миру изучают возможность использования больших языковых моделей (БЯМ) для предоставления медицинских рекомендаций населению. В настоящее время БЯМ демонстрируют почти идеальные результаты на экзаменах для получения медицинской лицензии, однако это не обязательно означает их точную работу в реальных условиях. Мы проверили, способны ли БЯМ помогать представителям широкой общественности выявлять основные заболевания и выбирать тактику дальнейших действий (маршрутизацию) в десяти медицинских сценариях в контролируемом исследовании с участием 1 298 человек. Участников случайным образом распределили в группы, получавшие помощь от БЯМ (GPT-4o, Llama 3 или Command R+), либо из выбранного ими источника (контрольная группа). При тестировании без участия пользователей БЯМ корректно выполняли задания: в среднем правильно выявляли заболевания в 94,9% случаев и определяли тактику дальнейших действий в 56,3% случаев. Однако участники, использовавшие те же БЯМ, выявляли релевантные заболевания менее чем в 34,5% случаев, а тактику дальнейших действий определяли менее чем в 44,2% случаев; по обоим показателям они не превосходили контрольную группу. Мы выявили взаимодействие с пользователем как проблему, препятствующую внедрению БЯМ для предоставления медицинских рекомендаций. Стандартные бенчмарки медицинских знаний и имитации взаимодействия с пациентами не позволяют предсказать сбои, обнаруженные при участии людей. В дальнейшем мы рекомендуем систематически тестировать системы с участием пользователей для оценки их интерактивных возможностей до публичного внедрения в здравоохранении.
Key Findings
1
В рандомизированном зарегистрированном исследовании с участием 1 298 человек оценивали способность LLM выявлять медицинские состояния и рекомендовать тактику действий в десяти сценариях.
2
Помощь LLM не превосходила использование участниками источника по собственному выбору, что указывает на взаимодействие с пользователем как на существенную проблему внедрения.
3
Стандартные тесты медицинских знаний и симулированные взаимодействия с пациентами не предсказывали худшие результаты моделей при работе с людьми; перед внедрением в здравоохранение рекомендуется систематическое тестирование с реальными пользователями.
4
Участники, получавшие помощь тех же LLM, выявляли релевантные состояния менее чем в 34,5% случаев и правильно определяли тактику менее чем в 44,2% случаев.
5
При самостоятельном тестировании GPT-4o, Llama 3 и Command R+ правильно выявляли основные состояния в 94,9% случаев, но выбирали правильную тактику лишь в 56,3% случаев.
Research Object
Медицинские консультации для населения с помощью LLM в десяти медицинских сценариях
Research Subject
Надёжность LLM и взаимодействия человека с LLM при выявлении основных заболеваний и выборе надлежащей тактики дальнейших действий
Publication Details
Publication Date
2026-02-01
Journal
Publisher
ISSN
Cited by
103
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Большие языковые модели кодируют клинические знания2023
Сравнение ответов врачей и чат-бота на основе искусственного интеллекта на вопросы пациентов, размещённые в публичном форуме в социальных сетях2023
Преимущества, ограничения и риски GPT-4 как чатбота на основе ИИ для медицины2023
AgentClinic: мультимодальный бенчмарк для клинических ИИ-агентов, использующих инструменты2026