Модель «зрение‑язык» для генерации медицинских отчётов и визуального ответа на вопросы: обзор

Медицинские модели «зрение‑язык» (VLM) объединяют компьютерное зрение (CV) и обработку естественного языка (NLP) для анализа визуальных и текстовых медицинских данных. В данной работе приведён обзор последних достижений в разработке VLM, специализированных для здравоохранения, с акцентом на общедоступные модели, предназначенные для генерации медицинских отчётов и визуального ответа на вопросы (VQA). Мы даём введение в NLP и CV, объясняя, как методы из обеих областей интегрируются в VLM, при этом визуальные и языковые данные часто объединяются с использованием архитектур на основе Transformer для эффективного обучения на мультимодальных данных. Основные рассматриваемые направления включают исследование 18 публичных медицинских датасетов «зрение‑язык», подробный анализ архитектур и стратегий предварительного обучения 16 недавних значительных медицинских VLM и всестороннее обсуждение метрик оценки эффективности VLM для генерации медицинских отчётов и VQA. Мы также выделяем текущие проблемы разработки медицинских VLM, включая ограниченную доступность данных, вопросы конфиденциальности данных и отсутствие адекватных метрик оценки, а также предлагаем направления для преодоления этих препятствий. В целом обзор суммирует недавний прогресс в разработке VLM для использования мультимодальных медицинских данных с целью улучшения приложений в здравоохранении.