Повышение эффективности больших языковых моделей для распознавания клинических именованных сущностей с помощью разработки промптов

ВАЖНОСТЬ: Исследование демонстрирует потенциал больших языковых моделей, в частности GPT-3.5 и GPT-4, для обработки сложных клинических данных и извлечения значимой информации при минимальном объеме обучающих данных. Разработка и совершенствование стратегий на основе промптов позволяет существенно повысить производительность моделей, сделать их пригодными для задач клинического распознавания именованных сущностей (NER) и, возможно, снизить зависимость от обширных размеченных наборов данных. ЦЕЛЬ: Количественно оценить возможности GPT-3.5 и GPT-4 при выполнении задач клинического распознавания именованных сущностей (NER) и предложить специализированные для задач промпты для повышения их эффективности. МАТЕРИАЛЫ И МЕТОДЫ: Модели оценивали на двух задачах клинического NER: (1) извлечение медицинских проблем, методов лечения и результатов исследований из клинических записей корпуса MTSamples в соответствии с совместной задачей i2b2 2010 года по извлечению концептов и (2) выявление нежелательных явлений, связанных с расстройствами нервной системы, в отчетах по безопасности из системы сообщений о нежелательных явлениях после вакцинации (VAERS). Для повышения эффективности моделей GPT разработали специализированную для клинических задач структуру промптов, включающую (1) базовые промпты с описанием задачи и спецификацией формата, (2) промпты на основе руководств по аннотированию, (3) инструкции на основе анализа ошибок и (4) аннотированные примеры для обучения по нескольким образцам. Эффективность каждого промпта оценивали и сравнивали модели с BioClinicalBERT. РЕЗУЛЬТАТЫ: При использовании базовых промптов GPT-3.5 и GPT-4 достигли смягченных значений F1 0,634 и 0,804 для MTSamples и 0,301 и 0,593 для VAERS соответственно. Дополнительные компоненты промптов последовательно повышали производительность моделей. При использовании всех четырех компонентов GPT-3.5 и GPT-4 достигли смягченных значений F1 0,794 и 0,861 для MTSamples и 0,676 и 0,736 для VAERS соответственно, что подтверждает эффективность предложенной структуры промптов. Хотя эти результаты уступают BioClinicalBERT (F1 0,901 для набора данных MTSamples и 0,802 для VAERS), они представляются весьма перспективными, учитывая необходимость лишь небольшого числа обучающих примеров. ОБСУЖДЕНИЕ: Результаты исследования показывают, что ...