UNETR: Трансформеры для 3D сегментации медицинских изображений

Полносверточные нейронные сети (FCNN) с сжимающими и расширяющими путями демонстрировали доминирующее положение в большинстве приложений по сегментации медицинских изображений на протяжении последнего десятилетия. В FCNN энкодер играет ключевую роль, обучая как глобальные, так и локальные признаки и контекстные представления, которые могут быть использованы декодером для предсказания семантического вывода. Несмотря на успехи, локальный характер сверточных слоев в FCNN ограничивает способность учить дальнодействующие пространственные зависимости. Вдохновлённые недавним успехом трансформеров в задачах обработки естественного языка (NLP) для обучения длинных последовательностей, мы переформулируем задачу объёмной (3D) сегментации медицинских изображений как задачу sequence-to-sequence предсказания. Мы предлагаем новую архитектуру под названием UNETR (UNEt TRansformers), которая использует трансформер в качестве энкодера для обучения представлений последовательности входного объёма и эффективного захвата глобальной многомасштабной информации, при этом сохраняя успешную U-образную структуру сети для энкодера и декодера. Энкодер-трансформер напрямую соединён с декодером посредством пропускных соединений (skip connections) на разных разрешениях для вычисления итоговой семантической сегментации. Мы проверили производительность нашего метода на наборе данных Multi Atlas Labeling Beyond The Cranial Vault (BTCV) для сегментации нескольких органов и на наборе Medical Segmentation Decathlon (MSD) для задач сегментации опухоли мозга и селезёнки. Наши бенчмарки демонстрируют новую передовую точность на таблице лидеров BTCV.