Глубокое обучение признаков лица в естественных условиях

Прогнозирование признаков лица в естественных условиях представляет собой сложную задачу из‑за больших вариаций лиц. Мы предлагаем новую архитектуру глубокого обучения для предсказания признаков в естественных условиях. Она объединяет каскадом две сверточные нейронные сети (CNN), LNet и ANet, которые дообучаются совместно с метками признаков, но предварительно тренируются по-разному. LNet предварительно обучается на большом наборе общих категорий объектов для локализации лиц, тогда как ANet предварительно обучается на большом числе идентичностей лиц для предсказания признаков. Эта архитектура не только с большим отрывом превосходит современное состояние дел, но и раскрывает важные факты о том, как обучать представления лиц. (1) Показано, как производительность локализации лиц (LNet) и предсказания признаков (ANet) можно улучшить разными стратегиями предварительной подготовки. (2) Выявлено, что хотя фильтры LNet дообучаются только с использованием глобальных (image-level) меток признаков, их карты откликов по всему изображению сильно указывают на расположение лица. Это позволяет обучать LNet для локализации лиц, используя только метки на уровне изображений, без ограничивающих рамок лиц или опорных точек (landmarks), которые требуются во всех предыдущих работах по распознаванию признаков. (3) Также показано, что высокоуровневые скрытые нейроны ANet автоматически обнаруживают семантические концепты после предварительного обучения на большом числе идентичностей лиц, и эти концепты существенно обогащаются после дообучения с метками признаков. Каждый признак можно хорошо объяснить с помощью разреженной линейной комбинации этих концептов.