Надёжность больших языковых моделей в качестве медицинских помощников для широкой общественности: рандомизированное пререгистрированное исследование

Reliability of LLMs as medical assistants for the general public: a randomized preregistered study
Lionel Tarassenko, Luc Rocher, Hannah Rose Kirk, Adam Mahdi, Rebecca Elizabeth Payne, Guy Parsons, Andrew M. Bean, Juan Ciro, Rafael Mosquera-Gómez, Sara Hincapié M, Aruna S. Ekanayaka
2026-02-01

тестирование пользователейбольшие языковые моделимедицинские советыпринятие медицинских решенийрандомизированное пререгистрированное исследование
Медицинские организации по всему миру изучают возможность использования больших языковых моделей (БЯМ) для предоставления медицинских рекомендаций населению. В настоящее время БЯМ демонстрируют почти идеальные результаты на экзаменах для получения медицинской лицензии, однако это не обязательно означает их точную работу в реальных условиях. Мы проверили, способны ли БЯМ помогать представителям широкой общественности выявлять основные заболевания и выбирать тактику дальнейших действий (маршрутизацию) в десяти медицинских сценариях в контролируемом исследовании с участием 1 298 человек. Участников случайным образом распределили в группы, получавшие помощь от БЯМ (GPT-4o, Llama 3 или Command R+), либо из выбранного ими источника (контрольная группа). При тестировании без участия пользователей БЯМ корректно выполняли задания: в среднем правильно выявляли заболевания в 94,9% случаев и определяли тактику дальнейших действий в 56,3% случаев. Однако участники, использовавшие те же БЯМ, выявляли релевантные заболевания менее чем в 34,5% случаев, а тактику дальнейших действий определяли менее чем в 44,2% случаев; по обоим показателям они не превосходили контрольную группу. Мы выявили взаимодействие с пользователем как проблему, препятствующую внедрению БЯМ для предоставления медицинских рекомендаций. Стандартные бенчмарки медицинских знаний и имитации взаимодействия с пациентами не позволяют предсказать сбои, обнаруженные при участии людей. В дальнейшем мы рекомендуем систематически тестировать системы с участием пользователей для оценки их интерактивных возможностей до публичного внедрения в здравоохранении.
1
В рандомизированном зарегистрированном исследовании с участием 1 298 человек оценивали способность LLM выявлять медицинские состояния и рекомендовать тактику действий в десяти сценариях.
2
Помощь LLM не превосходила использование участниками источника по собственному выбору, что указывает на взаимодействие с пользователем как на существенную проблему внедрения.
3
Стандартные тесты медицинских знаний и симулированные взаимодействия с пациентами не предсказывали худшие результаты моделей при работе с людьми; перед внедрением в здравоохранение рекомендуется систематическое тестирование с реальными пользователями.
4
Участники, получавшие помощь тех же LLM, выявляли релевантные состояния менее чем в 34,5% случаев и правильно определяли тактику менее чем в 44,2% случаев.
5
При самостоятельном тестировании GPT-4o, Llama 3 и Command R+ правильно выявляли основные состояния в 94,9% случаев, но выбирали правильную тактику лишь в 56,3% случаев.

Медицинские консультации для населения с помощью LLM в десяти медицинских сценариях

Надёжность LLM и взаимодействия человека с LLM при выявлении основных заболеваний и выборе надлежащей тактики дальнейших действий

Publication Details
Publication Date
2026-02-01
Journal
Publisher
ISSN
Cited by
103
Access Type
Author Information
Authors
Lionel Tarassenko
Luc Rocher
Hannah Rose Kirk
Adam Mahdi
Rebecca Elizabeth Payne
Guy Parsons
Andrew M. Bean
Juan Ciro
Rafael Mosquera-Gómez
Sara Hincapié M
Aruna S. Ekanayaka
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%