Большие языковые модели с сохранением конфиденциальности для структурированного поиска медицинской информации
Privacy-preserving large language models for structured medical information retrieval
2024-09-20
SCID: 54.1/6ag6wvsq
Discuss with AI
Llama 2набор данных MIMIC-IVдекомпенсированный цирроз печениконфиденциальные большие языковые моделиструктурированный поиск медицинской информации
Figures from the paper
Abstract (AI)
Большая часть клинической информации представлена в виде свободного текста и недоступна для количественного анализа. В настоящем исследовании представлен конвейер с открытым исходным кодом, использующий локально развернутую большую языковую модель (LLM) «Llama 2» для извлечения количественной информации из клинических текстов, а также оценивается ее эффективность при выявлении признаков декомпенсированного цирроза печени. Модель выявляла пять ключевых клинических признаков в режимах zero-shot и one-shot по 500 историям болезни пациентов из набора данных MIMIC-IV. Были сравнены большие языковые модели трех размеров и различные подходы к разработке промптов; полученные прогнозы сопоставлялись с эталонными оценками, установленными тремя независимыми медицинскими экспертами, не имевшими доступа к результатам модели. Предложенный конвейер продемонстрировал высокую точность: цирроз печени выявлялся с чувствительностью 100% и специфичностью 96%. При использовании модели с 70 миллиардами параметров также были получены высокие показатели чувствительности и специфичности при выявлении асцита (95%, 95%), спутанности сознания (76%, 94%), боли в животе (84%, 97%) и одышки (87%, 97%); эта модель превосходила версии меньшего размера. Результаты исследования демонстрируют возможность локально развернутых больших языковых моделей извлекать клиническую информацию из свободного текста при невысоких требованиях к аппаратному обеспечению.
Key Findings
1
Открытый локально развёртываемый конвейер на основе Llama 2 извлекал структурированную клиническую информацию из неструктурированных медицинских текстов.
2
Для асцита, спутанности сознания, боли в животе и одышки модель достигла чувствительности 95%, 76%, 84% и 87% соответственно, а специфичности — 95%, 94%, 97% и 97%.
3
Модель с 70 миллиардами параметров выявляла цирроз печени с чувствительностью 100% и специфичностью 96% по сравнению с эталонными оценками ослеплённых экспертов.
4
Крупнейшая модель Llama 2 превосходила меньшие версии, сохраняя возможность извлечения клинической информации при относительно низких требованиях к оборудованию.
5
Конвейер выявил пять клинических признаков декомпенсированного цирроза печени в 500 историях болезни из набора MIMIC-IV с использованием запросов zero-shot и one-shot.
Research Object
декомпенсированный цирроз печени, представленный в историях болезни пациентов
Research Subject
выявление ключевых клинических признаков и цирроза печени по медицинским историям в формате свободного текста, включая диагностическую чувствительность и специфичность
Publication Details
Publication Date
2024-09-20
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest