Grounding DINO‑US‑SAM: сегментация нескольких органов на УЗИ по текстовому запросу с VLM, тонко настроенными с помощью LoRA

Точная и обобщаемая сегментация объектов на ультразвуковых изображениях по-прежнему представляет собой серьезную проблему из‑за анатомической вариабельности, разнообразия протоколов визуализации и ограниченного объема аннотированных данных. В этом исследовании мы предлагаем управляемую подсказкой модель «зрение—язык» (VLM), которая интегрирует Grounding DINO с SAM2 для сегментации объектов в нескольких органах на УЗИ. Для работы использовались 18 публичных наборов данных по УЗИ, охватывающих молочную железу, щитовидную железу, печень, предстательную железу, почку и параспинальные мышцы. Эти наборы данных были разделены: 15 использованы для дообучения и валидации Grounding DINO с применением низкоранговой адаптации (LoRA) к домену ультразвука, а три полностью отложены для тестирования с целью оценки производительности на невидимых распределениях. Комплексные эксперименты показывают, что наш подход превосходит современные методы сегментации (SOTA), включая UniverSeg, MedSAM, MedCLIP–segment anything model (SAM), BiomedParse и SAMUS на большинстве «видимых» наборов данных, при этом сохраняя высокую производительность на «невидимых» наборах без дополнительного дообучения. Эти результаты подчеркивают перспективность VLM для масштабируемого и надежного анализа ультразвуковых изображений и снижения зависимости от больших органо-специфичных аннотированных наборов данных. Код будет опубликован на code.sonography.ai после принятия работы.