Глубокое мультимодальное объединение изображений и неизобразительных данных для диагностики и прогнозирования заболеваний: обзор

Стремительное развитие диагностических технологий в здравоохранении предъявляет к врачам все более высокие требования в отношении обработки и интеграции гетерогенных, но взаимодополняющих данных, получаемых в ходе обычной клинической практики. Например, персонализированные диагностика и планирование лечения отдельного онкологического пациента основываются на различных изображениях (например, радиологических, патоморфологических и полученных с помощью камер) и неизобразительных данных (например, клинических и геномных). Однако такие процедуры принятия решений могут быть субъективными и качественными, а также характеризоваться значительной межсубъектной вариабельностью. В связи с последними достижениями в области мультимодальных технологий глубокого обучения все больше исследований посвящается ключевому вопросу: каким образом извлекать и агрегировать мультимодальную информацию, чтобы в конечном счете обеспечивать более объективное и количественное компьютерное сопровождение принятия клинических решений? В настоящей статье рассматриваются современные исследования, посвященные этому вопросу. В частности, обзор включает (a) описание современных рабочих процессов мультимодального обучения, (b) обобщение методов мультимодального объединения, (c) обсуждение их эффективности, (d) применение для диагностики и прогнозирования заболеваний и (e) проблемы и перспективные направления дальнейших исследований.