Мультимодальное обучение с трансформерами: обзор

Трансформер — перспективная архитектура нейронных сетей, продемонстрировавшая значительные успехи в различных задачах машинного обучения. Благодаря недавнему распространению мультимодальных приложений и больших данных, мультимодальное обучение на основе трансформеров стало актуальной темой в исследованиях искусственного интеллекта. В этой статье представлен всесторонний обзор методов трансформеров, ориентированных на мультимодальные данные. Основные положения обзора включают: (1) обзор мультимодального обучения, экосистемы трансформеров и эпохи мультимодальных больших данных; (2) систематический обзор Vanilla Transformer, Vision Transformer и мультимодальных трансформеров с геометрико-топологической точки зрения; (3) обзор приложений мультимодальных трансформеров через две важные парадигмы — мультимодальное предобучение и решение конкретных мультимодальных задач; (4) сводку общих проблем и конструктивных решений, характерных для мультимодальных моделей трансформеров и их приложений; (5) обсуждение открытых проблем и потенциальных направлений исследований для научного сообщества.