DA-TransUNet: интеграция пространственного и канального двойного внимания с Transformer U-Net для сегментации медицинских изображений

DA-TransUNet: integrating spatial and channel dual attention with transformer U-net for medical image segmentation
Guanqun Sun, Yizhi Pan, Weikun Kong, Zichang Xu, Jianhua Ma, Teeradaj Racharak, Le-Minh Nguyen, Junyi Xin
2024-05-16

DA-TransUNetTransformer U-Netдвойное внимание (пространственное и канальное)сегментация медицинских изображенийдвойное внимание в пропусках (skip-connection)
Точная сегментация медицинских изображений имеет решающее значение для количественной оценки заболеваний и оценки лечения. Хотя традиционные архитектуры U-Net и их варианты с интегрированными трансформерами демонстрируют высокую эффективность в автоматизированных задачах сегментации, существующие модели испытывают трудности с эффективностью параметров и вычислительной сложностью, часто из‑за широкого использования трансформеров, и не всегда способны полноценно использовать встроенные позиционные и канальные признаки изображения. Исследования, применяющие механизмы двойного внимания по положению и каналу, не были специально оптимизированы для требований медицинских изображений с высоким уровнем детализации. Для устранения этих проблем в настоящей работе предлагается новая глубокая архитектура для сегментации медицинских изображений DA-TransUNet, которая интегрирует трансформер и блок двойного внимания (DA-Block) в традиционную U-образную структуру. DA-TransUNet адаптирован к высоким требованиям детализации в медицинских изображениях: он оптимизирует промежуточные каналы двойного внимания и использует DA в каждом пропускном соединении (skip connection) для эффективной фильтрации нерелевантной информации. Такая интеграция существенно повышает способность модели к извлечению признаков и, следовательно, улучшает качество сегментации медицинских изображений. DA-TransUNet был проверен в задачах сегментации медицинских изображений и стабильно превосходит современные методы на пяти датасетах. В итоге DA-TransUNet вносит существенный вклад в сегментацию медицинских изображений, укрепляя производительность моделей с точки зрения обработки признаков изображения и способствуя развитию высокоточной автоматизированной диагностики по медицинским изображениям. Код и параметры модели будут опубликованы по адресу https://github.com/SUN-1024/DA-TransUnet.
1
DA-TransUNet последовательно превосходит передовые методы на пяти наборах данных по задачам сегментации медицинских изображений.
2
DA-TransUNet интегрирует трансформер с блоком двойного внимания (позиционное и канальное) в U-образную архитектуру для сегментации медицинских изображений.
3
DA-TransUNet адаптирован для детализированных медицинских изображений, устраняя ограничения предыдущих методов двойного внимания, не оптимизированных для медицины.
4
Авторы опубликуют код и параметры модели в указанном репозитории GitHub.
5
Модель использует оптимизированное прерывистое канальное внимание и вставляет DA-блоки в каждое соединение скипов, чтобы фильтровать нерелевантную информацию и улучшать извлечение признаков.

Фреймворк для сегментации медицинских изображений DA-TransUNet (Transformer + двойное внимание в U-Net)

Интеграция и оптимизация пространственных (позиционных) и каналных механизмов двойного внимания вместе с Transformer внутри U-образной архитектуры для улучшения извлечения признаков, параметрической эффективности и качества сегментации медицинских изображений

Publication Details
Publication Date
2024-05-16
Journal
Publisher
ISSN
Cited by
324
Access Type
Author Information
Authors
Guanqun Sun
Yizhi Pan
Weikun Kong
Zichang Xu
Jianhua Ma
Teeradaj Racharak
Le-Minh Nguyen
Junyi Xin
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat
Make a presentation
100%