Гистопатология в центре внимания: обзор интерпретируемых мультимодальных подходов к диагностике рака молочной железы

Точность и своевременность выявления рака молочной железы имеют первостепенное значение для улучшения исходов лечения пациентов. Традиционные методы диагностики в основном опирались на одномодальные подходы, однако недавние достижения в области анализа медицинских данных сделали возможной интеграцию различных источников данных, выходящих за рамки традиционных методов визуализации. В настоящем обзоре критически рассматривается преобразующий потенциал интеграции гистопатологических изображений с геномными данными, клиническими записями и анамнезом пациентов для повышения точности и полноты диагностики в рамках мультимодальных диагностических методов. Рассматриваются методы раннего, промежуточного и позднего слияния данных, а также передовые методы глубокого мультимодального слияния, включая архитектуры типа «кодировщик–декодировщик», механизмы на основе внимания и графовые нейронные сети. Представлен обзор последних достижений в мультимодальных задачах, таких как визуальные ответы на вопросы (Visual Question Answering, VQA), генерация отчетов, семантическая сегментация и кросс-модальный поиск, с акцентом на использование генеративного искусственного интеллекта и визуально-языковых моделей. Кроме того, в обзоре подробно рассматривается роль объяснимого искусственного интеллекта (Explainable Artificial Intelligence, XAI) в раскрытии процессов принятия решений сложными диагностическими алгоритмами, подчеркивается критическая необходимость прозрачности и интерпретируемости. Демонстрируя важность объяснимости, мы показываем, как методы XAI, включая Grad-CAM, SHAP, LIME, обучаемые механизмы внимания и автоматическое создание подписей к изображениям, повышают точность диагностики, укрепляют доверие клиницистов и способствуют вовлечению пациентов. В обзоре также обсуждаются новейшие разработки в области XAI, такие как X-VARs, LeGrad, LangXAI, LVLM-Interpret и ex-ILP, чтобы продемонстрировать их потенциальную применимость для мультимодального выявления рака молочной железы, одновременно выявляя ключевые пробелы в исследованиях и предлагая перспективные направления дальнейшего развития этой области.