Систематический обзор литературы по мультимодальному машинному обучению: приложения, проблемы, пробелы и направления будущих исследований

Мультимодальное машинное обучение (MML) — это междисциплинарная область исследований, в которой разнородные данные из нескольких модальностей комбинируются с методами машинного обучения (ML) для решения критических задач. Большинство работ используют данные одной модальности, например изображения, аудио, текст или сигналы. Однако в реальных задачах всё чаще требуется работать с несколькими модальностями данных вместо одной для достижения эффективных решений. Алгоритмы ML играют ключевую роль, настраивая параметры при разработке MML-моделей. В статье рассматриваются недавние достижения и проблемы MML, а именно представление, трансляция, согласование, слияние и совместное обучение, и выявляются существующие пробелы. Для анализа прогресса и тенденций по этим проблемам в области MML применён систематический обзор литературы (SLR). В общей сложности было изучено 1 032 статьи с извлечением таких характеристик, как источник, домен, приложение и модальность. Данная статья призвана помочь исследователям понять текущее состояние MML и ориентировать выбор будущих направлений исследований.