Almanac — языковые модели с дополнением посредством поиска для клинической медицины

ОБОСНОВАНИЕ: В последнее время большие языковые модели (LLM) продемонстрировали впечатляющие возможности в режиме обучения без примеров, позволяющие им использовать вспомогательные данные без наличия специально подготовленных для конкретной задачи обучающих примеров для выполнения различных задач обработки естественного языка, таких как реферирование, генерация диалогов и ответы на вопросы. Однако, несмотря на множество перспективных применений LLM в клинической медицине, внедрение этих моделей ограничено их склонностью генерировать неверные, а иногда и потенциально опасные утверждения. МЕТОДЫ: Группе из восьми сертифицированных специалистов клинической медицины и двух медицинских работников было поручено оценить Almanac — фреймворк на основе LLM, дополненный возможностями поиска в отобранных медицинских ресурсах для подготовки рекомендаций по клиническим руководствам и лечению. Группа сравнила ответы Almanac и стандартных LLM (ChatGPT-4, Bing и Bard) с ответами на новый набор данных, включавший 314 клинических вопросов по девяти медицинским специальностям. РЕЗУЛЬТАТЫ: Almanac продемонстрировал статистически значимое улучшение показателей по сравнению со стандартными LLM по критериям фактической точности, полноты, предпочтения пользователей и устойчивости к состязательным воздействиям. ВЫВОДЫ: Полученные результаты демонстрируют потенциал LLM, имеющих доступ к предметно-ориентированным корпусам, для эффективного использования в принятии клинических решений. Результаты также подчёркивают важность тщательного тестирования LLM перед внедрением для минимизации их недостатков. (Исследование профинансировано Национальными институтами здравоохранения США, Национальным институтом сердца, лёгких и крови.)