Интерактивная компьютерная поддержка диагностики медицинских изображений с использованием крупных языковых моделей

Компьютерная поддержка диагностики (CAD) продвинула анализ медицинских изображений, а крупные языковые модели (LLM) продемонстрировали потенциал в клинических приложениях. Однако LLM испытывают трудности с интерпретацией медицинских изображений, которые имеют решающее значение для принятия решений. В настоящей работе мы предлагаем стратегию интеграции LLM с сетями CAD. Фреймворк использует медицинские знания и рассуждения LLM для улучшения выходов CAD-сетей, таких как постановка диагноза, сегментация поражений и генерация отчетов, путем суммирования информации в естественном языке. Сгенерированные отчеты имеют более высокое качество и могут повысить эффективность CAD-моделей, основанных на визуальной информации. Для рентгенограмм грудной клетки LLM на основе ChatGPT улучшила диагностические показатели на 16,42 процентного пункта по сравнению с передовыми моделями, тогда как GPT-3 обеспечила улучшение F1 на 15,00 процентного пункта. Наша стратегия позволяет точно генерировать отчеты и создает удобную для пациента интерактивную систему, в отличие от традиционных CAD-систем, понятных только специалистам. Этот подход имеет потенциал изменить клиническое принятие решений и общение с пациентами. Ванг и соавторы разработали стратегию машинного обучения для повышения способности крупных языковых моделей понимать и анализировать визуальную медицинскую информацию. Их фреймворк бесшовно интегрирует сети компьютерной поддержки диагностики медицинских изображений с крупными языковыми моделями, преобразуя входные медицинские изображения в ясное и краткое текстовое резюме состояния пациента.