Большие языковые модели кодируют клинические знания
Large language models encode clinical knowledge
2023-07-12
SCID: 54.1/7fa75k75
Discuss with AI
HealthSearchQAMed-PaLMбенчмарк MultiMedQAнастройка инструкций с помощью промптовответы на медицинские вопросы
Figures from the paper
Abstract (AI)
Большие языковые модели (LLM) продемонстрировали впечатляющие возможности, однако требования к их применению в клинической практике высоки. Попытки оценить клинические знания моделей обычно основываются на автоматизированных оценках с использованием ограниченного числа эталонных наборов данных. Для устранения этих ограничений мы представляем MultiMedQA — эталонный набор, объединяющий шесть существующих наборов данных для ответов на медицинские вопросы, охватывающих профессиональную медицину, научные исследования и запросы потребителей, а также новый набор данных HealthSearchQA, содержащий медицинские вопросы, найденные в поисковых системах. Мы предлагаем систему оценки ответов моделей экспертами по нескольким направлениям, включая фактическую точность, понимание, рассуждение, потенциальный вред и предвзятость. Кроме того, мы оцениваем Pathways Language Model 1 (PaLM — большая языковая модель с 540 миллиардами параметров) и её вариант Flan-PaLM 2, дообученный с использованием инструкций, на наборе MultiMedQA. Сочетая различные стратегии формулирования запросов, Flan-PaLM достигает наилучшей на сегодняшний день точности на каждом наборе данных MultiMedQA с вопросами с несколькими вариантами ответа (MedQA 3, MedMCQA 4, PubMedQA 5 и клинические темы Measuring Massive Multitask Language Understanding (MMLU) 6), включая точность 67,6% на MedQA (вопросы в стиле экзамена на получение медицинской лицензии в США), превысив предыдущий лучший результат более чем на 17%. Однако оценка экспертами выявляет существенные пробелы. Для их устранения мы вводим настройку инструкционных подсказок — эффективный по числу параметров подход к адаптации LLM к новым предметным областям с использованием небольшого числа примеров. Полученная модель Med-PaLM демонстрирует обнадёживающие результаты, но всё ещё уступает врачам. Мы показываем, что понимание, воспроизведение знаний и рассуждение улучшаются с увеличением масштаба модели и при настройке инструкционных подсказок, что указывает на потенциальную полезность LLM в медицине. Оценки экспертами выявляют ограничения современных моделей и подчёркивают важность как систем оценки, так и разработки методов для создания безопасных и полезных LLM, предназначенных для клинического применения.
Key Findings
1
Flan-PaLM достиг наилучшей на момент исследования точности на всех оценённых многовариантных наборах MultiMedQA, включая 67,6% на MedQA, превысив предыдущий результат более чем на 17%.
2
Настройка промптов с инструкциями позволила создать Med-PaLM с многообещающими клиническими результатами, однако при оценке людьми он всё ещё уступал врачам.
3
Увеличение масштаба модели и настройка промптов улучшили понимание, воспроизведение знаний и рассуждение, но оценки выявили сохраняющиеся проблемы безопасности и надёжности.
4
Бенчмарк MultiMedQA объединяет шесть существующих наборов медицинских вопросов и новый набор HealthSearchQA, охватывающий профессиональные, исследовательские и потребительские запросы.
5
Предложенная система оценки людьми анализирует ответы моделей по фактичности, пониманию, рассуждению, потенциальному вреду и предвзятости, устраняя ограничения оценок только по автоматическим бенчмаркам.
Research Object
Большие языковые модели (LLM), оценённые на наборах задач по медицинскому вопросно-ответному обслуживанию (MultiMedQA и HealthSearchQA), включая PaLM, Flan-PaLM 2 и Med-PaLM
Research Subject
клинические знания, включая фактическую точность, понимание, рассуждение, воспроизведение знаний, потенциальный вред и предвзятость, а также влияние масштаба модели и настройки инструкционных подсказок
Publication Details
Publication Date
2023-07-12
Journal
Publisher
ISSN
Cited by
5021
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai12
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Передовые методы разработки и валидации шкал для исследований в области здравоохранения, социальных и поведенческих наук: практическое руководство2018
Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка2022
Обучение языковых моделей следованию инструкциям с использованием обратной связи от человека2022
О возможностях и рисках фундаментальных моделей2021
PaLM: Масштабирование языкового моделирования с помощью Pathways2022
Законы масштабирования нейронных языковых моделей2020
Медицинское компьютерное зрение на основе глубокого обучения2021
BioGPT: генеративный предварительно обученный трансформер для генерации и интеллектуального анализа биомедицинских текстов2022
За пределами игры в имитацию: количественная оценка и экстраполяция возможностей языковых моделей2022
Этичное машинное обучение в здравоохранении2021
BLOOM: многоязычная открытая языковая модель с 176 миллиардами параметров2022
Работы, цитирующие эту статью20
Обзор больших языковых моделей2026
Обзор методов оценки больших языковых моделей2024
Сравнение ответов врачей и чат-бота на основе искусственного интеллекта на вопросы пациентов, размещённые в публичном форуме в социальных сетях2023
BloombergGPT: большая языковая модель для финансов2023
Преимущества, ограничения и риски GPT-4 как чатбота на основе ИИ для медицины2023
Будущий ландшафт больших языковых моделей в медицине2023
Бенчмаркинг генерации с дополнением извлечённой информацией в медицине2024
Платформа для оценки клинической безопасности и частоты галлюцинаций больших языковых моделей при суммировании медицинских текстов2025
ChatGPT и рост крупных языковых моделей: новая угроза инфодемии, вызванной ИИ, для общественного здоровья2023
Промпт-инжиниринг для обеспечения согласованности и надежности ответов больших языковых моделей в соответствии с доказательными рекомендациями2024
Система оценки больших языковых моделей в здравоохранении с участием человека, разработанная на основе обзора литературы2024
Almanac — языковые модели с дополнением посредством поиска для клинической медицины2024
Обзор мультиагентных систем на основе больших языковых моделей: рабочий процесс, инфраструктура и проблемы2024
Этика ChatGPT в медицине и здравоохранении: систематический обзор больших языковых моделей (LLM)2024
AgentClinic: мультимодальный бенчмарк для клинических ИИ-агентов, использующих инструменты2026
Расширение возможностей биомедицинских исследований с помощью ИИ-агентов2024
Исследование интеллектуальных агентов на основе больших языковых моделей: определения, методы и перспективы2026
Диагностические подсказки, основанные на рассуждениях, выявляют потенциал интерпретируемости больших языковых моделей в медицине2024
Большие языковые модели в медицине и здравоохранении: приложения, достижения и проблемы2024
Комплексный обзор синергии мультимодальных данных и технологий ИИ в медицинской диагностике2024