Оценка непрерывных уровней валентности и активации по лицам в натуралистичных условиях

Анализ эмоционального состояния по лицу направлен на создание новых типов взаимодействия человек–компьютер за счёт того, что компьютеры лучше понимают эмоциональное состояние человека и могут предоставлять соответствующую помощь и взаимодействие. Поскольку дискретные эмоционные классы (такие как гнев, радость, печаль и т.д.) не отражают полного спектра эмоций, проявляемых людьми в повседневной жизни, психологи обычно используют размерные меры, а именно валентность (насколько положительным является проявление эмоции) и активацию (насколько спокойным или возбуждённым выглядит эмоциональное проявление). Однако хотя для человека оценка этих величин по лицу естественна, для компьютерных систем это чрезвычайно сложно, и автоматическая оценка валентности и активации в натуралистичных условиях остаётся нерешённой задачей. Дополнительно субъективность этих мер затрудняет получение данных высокого качества. В данной работе мы представляем новую архитектуру глубокой нейронной сети для анализа эмоционального состояния по лицу в натуралистичных условиях с высоким уровнем точности. Предлагаемая сеть интегрирует выравнивание лица и совместно оценивает как категориальные, так и непрерывные эмоции за один проход, что делает её пригодной для приложений в реальном времени. Мы протестировали метод на трёх сложных наборах данных, собранных в натуралистичных условиях, и показали, что наш подход превосходит все предыдущие методы. Мы также обсуждаем оговорки по использованию этого инструмента и этические аспекты, которые необходимо учитывать при его применении. Аннотирование визуальных признаков эмоций может быть важным для психологических исследований и взаимодействия человек–компьютер. Вместо присвоения только дискретных эмоций, Туазу и соавторы используют одну нейронную сеть, которая предсказывает эмоциональные метки на спектре валентности и активации без отдельных этапов выравнивания лица.