Без учителя: кросс-модальная адаптация домена сверточных сетей для сегментации биомедицинских изображений с использованием состязательной функции потерь

Сверточные сети (ConvNets) добились значительных успехов в решении различных сложных задач компьютерного зрения. Однако их эффективность снижается при возникновении сдвига домена. Адаптация домена особенно важна и одновременно сложна в анализе биомедицинских изображений, поскольку данные разных модальностей имеют существенно различающиеся распределения. Учитывая, что разметка медицинских данных отличается высокой стоимостью, методы обучения с учителем для переноса знаний не являются оптимальными. В данной работе предлагается схема неконтролируемой адаптации домена на основе состязательного обучения для кросс-модальной сегментации биомедицинских изображений. В частности, наша модель основана на полностью сверточной сети с дилатацией для попиксельного предсказания. Кроме того, разработан подключаемый модуль адаптации домена (DAM), который отображает входные данные целевого домена в пространство признаков, согласованное с пространством признаков исходного домена. Модуль критика домена (DCM) предназначен для различения пространств признаков двух доменов. Оптимизация DAM и DCM выполняется с использованием состязательной функции потерь без применения какой-либо разметки целевого домена. Предложенный метод апробирован путем адаптации ConvNet, обученной на данных магнитно-резонансной томографии (MRI), к несопоставленным данным компьютерной томографии (CT) для сегментации сердечных структур; получены весьма перспективные результаты.