Большие языковые модели с сохранением конфиденциальности для структурированного поиска медицинской информации

Privacy-preserving large language models for structured medical information retrieval
Jakob Nikolas Kather, Dyke Ferber, Isabella C. Wiest, Daniel Truhn, Jens Kleesiek, Daniel Paech, Marko van Treeck, Matthias Ebert, Zunamys I. Carrero, Jiefu Zhu, Sonja K. Meyer, Radhika Juglan
2024-09-20

Llama 2набор данных MIMIC-IVдекомпенсированный цирроз печениконфиденциальные большие языковые моделиструктурированный поиск медицинской информации
Большая часть клинической информации представлена в виде свободного текста и недоступна для количественного анализа. В настоящем исследовании представлен конвейер с открытым исходным кодом, использующий локально развернутую большую языковую модель (LLM) «Llama 2» для извлечения количественной информации из клинических текстов, а также оценивается ее эффективность при выявлении признаков декомпенсированного цирроза печени. Модель выявляла пять ключевых клинических признаков в режимах zero-shot и one-shot по 500 историям болезни пациентов из набора данных MIMIC-IV. Были сравнены большие языковые модели трех размеров и различные подходы к разработке промптов; полученные прогнозы сопоставлялись с эталонными оценками, установленными тремя независимыми медицинскими экспертами, не имевшими доступа к результатам модели. Предложенный конвейер продемонстрировал высокую точность: цирроз печени выявлялся с чувствительностью 100% и специфичностью 96%. При использовании модели с 70 миллиардами параметров также были получены высокие показатели чувствительности и специфичности при выявлении асцита (95%, 95%), спутанности сознания (76%, 94%), боли в животе (84%, 97%) и одышки (87%, 97%); эта модель превосходила версии меньшего размера. Результаты исследования демонстрируют возможность локально развернутых больших языковых моделей извлекать клиническую информацию из свободного текста при невысоких требованиях к аппаратному обеспечению.
1
Открытый локально развёртываемый конвейер на основе Llama 2 извлекал структурированную клиническую информацию из неструктурированных медицинских текстов.
2
Для асцита, спутанности сознания, боли в животе и одышки модель достигла чувствительности 95%, 76%, 84% и 87% соответственно, а специфичности — 95%, 94%, 97% и 97%.
3
Модель с 70 миллиардами параметров выявляла цирроз печени с чувствительностью 100% и специфичностью 96% по сравнению с эталонными оценками ослеплённых экспертов.
4
Крупнейшая модель Llama 2 превосходила меньшие версии, сохраняя возможность извлечения клинической информации при относительно низких требованиях к оборудованию.
5
Конвейер выявил пять клинических признаков декомпенсированного цирроза печени в 500 историях болезни из набора MIMIC-IV с использованием запросов zero-shot и one-shot.

декомпенсированный цирроз печени, представленный в историях болезни пациентов

выявление ключевых клинических признаков и цирроза печени по медицинским историям в формате свободного текста, включая диагностическую чувствительность и специфичность

Publication Details
Publication Date
2024-09-20
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Jakob Nikolas Kather
Dyke Ferber
Isabella C. Wiest
Daniel Truhn
Jens Kleesiek
Daniel Paech
Marko van Treeck
Matthias Ebert
Zunamys I. Carrero
Jiefu Zhu
Sonja K. Meyer
Radhika Juglan
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%