Глубокое мультимодальное объединение изображений и неизобразительных данных для диагностики и прогнозирования заболеваний: обзор

Deep multimodal fusion of image and non-image data in disease diagnosis and prognosis: a review
Bennett A. Landman, Keith T. Wilson, Lori A. Coburn, Yuankai Huo, Shilin Zhao, Can Cui, Haichun Yang, Yaohong Wang, Zuhayr Asad
2023-03-09

клинические и геномные данныедиагностика заболеванийпрогнозирование заболеванийслияние мультимодальных данныхмультимодальное глубокое обучение
Стремительное развитие диагностических технологий в здравоохранении предъявляет к врачам все более высокие требования в отношении обработки и интеграции гетерогенных, но взаимодополняющих данных, получаемых в ходе обычной клинической практики. Например, персонализированные диагностика и планирование лечения отдельного онкологического пациента основываются на различных изображениях (например, радиологических, патоморфологических и полученных с помощью камер) и неизобразительных данных (например, клинических и геномных). Однако такие процедуры принятия решений могут быть субъективными и качественными, а также характеризоваться значительной межсубъектной вариабельностью. В связи с последними достижениями в области мультимодальных технологий глубокого обучения все больше исследований посвящается ключевому вопросу: каким образом извлекать и агрегировать мультимодальную информацию, чтобы в конечном счете обеспечивать более объективное и количественное компьютерное сопровождение принятия клинических решений? В настоящей статье рассматриваются современные исследования, посвященные этому вопросу. В частности, обзор включает (a) описание современных рабочих процессов мультимодального обучения, (b) обобщение методов мультимодального объединения, (c) обсуждение их эффективности, (d) применение для диагностики и прогнозирования заболеваний и (e) проблемы и перспективные направления дальнейших исследований.
1
Рассматриваются применения для диагностики и прогноза заболеваний с использованием радиологических, патоморфологических, камерных, клинических и геномных данных.
2
Объединение разнородных данных направлено на снижение субъективности и межсубъектной вариабельности при персонализированной диагностике и планировании лечения.
3
Мультимодальное глубокое обучение объединяет взаимодополняющие изображения и не визуальные медицинские данные для более объективной и количественной диагностики и прогноза.
4
В обзоре обсуждаются результаты, проблемы и перспективные направления мультимодального слияния в клиническом принятии решений.
5
В обзоре систематизированы современные рабочие процессы мультимодального обучения и обобщены методы слияния разнородных клинических модальностей.

мультимодальные изобразительные и неизобразительные медицинские данные, используемые для диагностики и прогнозирования заболеваний

извлечение и слияние взаимодополняющей мультимодальной информации на основе глубокого обучения для объективной количественной компьютерной диагностики и прогнозирования заболеваний

Publication Details
Publication Date
2023-03-09
Journal
Publisher
ISSN
Cited by
223
Access Type
Author Information
Authors
Bennett A. Landman
Keith T. Wilson
Lori A. Coburn
Yuankai Huo
Shilin Zhao
Can Cui
Haichun Yang
Yaohong Wang
Zuhayr Asad
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%