Универсальная модель на основе CLIP для сегментации органов и обнаружения опухолей

Растущее число открытых датасетов значительно влияет на автоматическую сегментацию органов и обнаружение опухолей. Однако из-за малого объема и частичной маркировки каждого датасета, а также ограниченного изучения разнообразных типов опухолей, получаемые модели часто ограничиваются сегментацией конкретных органов или опухолей, не учитывают семантику анатомических структур и не могут быть расширены на новые домены. Для решения этих проблем мы предлагаем Универсальную модель на основе CLIP, которая интегрирует текстовые эмбеддинги, обученные методом контрастивного предварительного обучения языка и изображений (Contrastive Language–Image Pre-training, CLIP), в модели сегментации. Это кодирование меток на основе CLIP улавливает анатомические отношения, позволяя модели выучивать структурированное признаковое представление и сегментировать 25 органов и 6 типов опухолей. Предложенная модель разработана на основе сборки из 14 датасетов с использованием в общей сложности 3 410 КТ-снимков для обучения и затем оценена на 6 162 внешних КТ-снимках из 3 дополнительных датасетов. Мы занимаем первое место в публичном рейтинге Medical Segmentation Decathlon (MSD) и достигаем передовых результатов в Beyond The Cranial Vault (BTCV). Кроме того, Универсальная модель вычислительно более эффективна (в 6× быстрее) по сравнению со специфичными для датасетов моделями, лучше обобщается на КТ-снимки с разных площадок и демонстрирует более сильные результаты при переносном обучении на новые задачи.