Модель «зрение‑язык» для генерации медицинских отчётов и визуального ответа на вопросы: обзор
Vision-language models for medical report generation and visual question answering: a review
2024-11-19
SCID: 54.1/zx5476yk
Discuss with AI
архитектуры на базе трансформеровгенерация медицинских отчетовмедицинские модели Vision-Languageпубличные медицинские датасеты Vision-Languageвизуальный ответ на вопросы (VQA)
Figures from the paper
Abstract (AI)
Медицинские модели «зрение‑язык» (VLM) объединяют компьютерное зрение (CV) и обработку естественного языка (NLP) для анализа визуальных и текстовых медицинских данных. В данной работе приведён обзор последних достижений в разработке VLM, специализированных для здравоохранения, с акцентом на общедоступные модели, предназначенные для генерации медицинских отчётов и визуального ответа на вопросы (VQA). Мы даём введение в NLP и CV, объясняя, как методы из обеих областей интегрируются в VLM, при этом визуальные и языковые данные часто объединяются с использованием архитектур на основе Transformer для эффективного обучения на мультимодальных данных. Основные рассматриваемые направления включают исследование 18 публичных медицинских датасетов «зрение‑язык», подробный анализ архитектур и стратегий предварительного обучения 16 недавних значительных медицинских VLM и всестороннее обсуждение метрик оценки эффективности VLM для генерации медицинских отчётов и VQA. Мы также выделяем текущие проблемы разработки медицинских VLM, включая ограниченную доступность данных, вопросы конфиденциальности данных и отсутствие адекватных метрик оценки, а также предлагаем направления для преодоления этих препятствий. В целом обзор суммирует недавний прогресс в разработке VLM для использования мультимодальных медицинских данных с целью улучшения приложений в здравоохранении.
Key Findings
1
Комплексно обсуждаются метрики оценки для генерации медицинских отчетов и VQA с акцентом на недостаточность текущих метрик.
2
Выявлены ключевые проблемы: ограниченная доступность данных, вопросы конфиденциальности данных и отсутствие надлежащих метрик оценки для медицинских VLM.
3
Медицинские визуально-языковые модели (VLM) объединяют компьютерное зрение и NLP, обычно объединяя визуальные и текстовые данные с помощью архитектур на основе Transformer.
4
Статья анализирует архитектуры и стратегии предобучения 16 недавних заметных медицинских VLM.
5
Обзор включает каталог из 18 публично доступных медицинских визуально-языковых наборов данных, релевантных для генерации отчетов и визуального ответов на вопросы.
6
Обзор предлагает направления для будущих исследований с целью преодоления препятствий в разработке медицинских VLM для более эффективного использования мультимодальных медицинских данных в здравоохранении.
Research Object
Медицинские модели «видение-язык» (VLM) для медицинских приложений
Research Subject
Разработка, архитектуры, стратегии предобучения, наборы данных, метрики оценки и производительность VLM для генерации медицинских отчётов и визуального ответа на вопросы (VQA)
Publication Details
Publication Date
2024-11-19
Journal
Publisher
ISSN
Cited by
256
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai20
Глубокое остаточное обучение для распознавания изображений2016
Adam: метод стохастической оптимизации2014
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
ImageNet: крупномасштабная иерархическая база изображений2009
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Обучение представлений фраз с использованием RNN энкодер–декодера для статистического машинного перевода2014
Распределённые представления слов и фраз и их композиционность2013
LLaMA: открытые и эффективные базовые языковые модели2023
Обучение представлений с помощью контрастивного предиктивного кодирования2018
Агрегированные остаточные преобразования для глубоких нейронных сетей2017
Обогащение векторов слов информацией о субсловах2017
Метод стохастической аппроксимации1951
Система нейронного машинного перевода Google: сокращение разрыва между человеческим и машинным переводом2016
Иерархические сети внимания для классификации документов2016
Большие языковые модели кодируют клинические знания2023
Сверточные нейронные сети: обзор и применение в радиологии2018
Интеллект, компилируемый через аффордансы: наблюдаемое сопоставление когнитивных импедансов для LLM-интегрированных систем без мета-доступа2020
Обучение языковых моделей следованию инструкциям с использованием обратной связи от человека2022
О возможностях и рисках фундаментальных моделей2021
PaLM: Масштабирование языкового моделирования с помощью Pathways2022