Большие языковые модели кодируют клинические знания

Большие языковые модели (LLM) продемонстрировали впечатляющие возможности, однако требования к их применению в клинической практике высоки. Попытки оценить клинические знания моделей обычно основываются на автоматизированных оценках с использованием ограниченного числа эталонных наборов данных. Для устранения этих ограничений мы представляем MultiMedQA — эталонный набор, объединяющий шесть существующих наборов данных для ответов на медицинские вопросы, охватывающих профессиональную медицину, научные исследования и запросы потребителей, а также новый набор данных HealthSearchQA, содержащий медицинские вопросы, найденные в поисковых системах. Мы предлагаем систему оценки ответов моделей экспертами по нескольким направлениям, включая фактическую точность, понимание, рассуждение, потенциальный вред и предвзятость. Кроме того, мы оцениваем Pathways Language Model 1 (PaLM — большая языковая модель с 540 миллиардами параметров) и её вариант Flan-PaLM 2, дообученный с использованием инструкций, на наборе MultiMedQA. Сочетая различные стратегии формулирования запросов, Flan-PaLM достигает наилучшей на сегодняшний день точности на каждом наборе данных MultiMedQA с вопросами с несколькими вариантами ответа (MedQA 3, MedMCQA 4, PubMedQA 5 и клинические темы Measuring Massive Multitask Language Understanding (MMLU) 6), включая точность 67,6% на MedQA (вопросы в стиле экзамена на получение медицинской лицензии в США), превысив предыдущий лучший результат более чем на 17%. Однако оценка экспертами выявляет существенные пробелы. Для их устранения мы вводим настройку инструкционных подсказок — эффективный по числу параметров подход к адаптации LLM к новым предметным областям с использованием небольшого числа примеров. Полученная модель Med-PaLM демонстрирует обнадёживающие результаты, но всё ещё уступает врачам. Мы показываем, что понимание, воспроизведение знаний и рассуждение улучшаются с увеличением масштаба модели и при настройке инструкционных подсказок, что указывает на потенциальную полезность LLM в медицине. Оценки экспертами выявляют ограничения современных моделей и подчёркивают важность как систем оценки, так и разработки методов для создания безопасных и полезных LLM, предназначенных для клинического применения.