Мультимодальное обучение с трансформерами: обзор
Multimodal Learning With Transformers: A Survey
2023-05-11
SCID: 54.1/6x2cf2ed
Discuss with AI
Мультимодальные трансформерыМультимодальное обучениеМультимодная предобучениеТрансформерVision Transformer
Figures from the paper
Abstract (AI)
Трансформер — перспективная архитектура нейронных сетей, продемонстрировавшая значительные успехи в различных задачах машинного обучения. Благодаря недавнему распространению мультимодальных приложений и больших данных, мультимодальное обучение на основе трансформеров стало актуальной темой в исследованиях искусственного интеллекта. В этой статье представлен всесторонний обзор методов трансформеров, ориентированных на мультимодальные данные. Основные положения обзора включают: (1) обзор мультимодального обучения, экосистемы трансформеров и эпохи мультимодальных больших данных; (2) систематический обзор Vanilla Transformer, Vision Transformer и мультимодальных трансформеров с геометрико-топологической точки зрения; (3) обзор приложений мультимодальных трансформеров через две важные парадигмы — мультимодальное предобучение и решение конкретных мультимодальных задач; (4) сводку общих проблем и конструктивных решений, характерных для мультимодальных моделей трансформеров и их приложений; (5) обсуждение открытых проблем и потенциальных направлений исследований для научного сообщества.
Key Findings
1
Техники мультимодальных Transformer организованы в два прикладных парадигмы: мультимодальная предварительная тренировка и конкретные мультимодальные задачи.
2
Статья выделяет общие проблемы и единые архитектурные подходы, встречающиеся в мультимодальных Transformer-моделях и приложениях.
3
Обзор обсуждает открытые проблемы и возможные направления будущих исследований для сообщества мультимодальных Transformer.
4
Обзор систематически рассматривает Vanilla Transformer, Vision Transformer и мультимодальные Transformer с геометро-топологической точки зрения.
5
Архитектуры Transformer стали ключевыми и перспективными для мультимодального обучения благодаря успехам в разных задачах машинного обучения.
Research Object
Модели и методы мультимодального обучения на базе Transformer
Research Subject
Обзор архитектур, геометро-топологической перспективы, предобучения и прикладных мультимодальных задач, общих проблем и проектных решений, а также открытых направлений исследований для мультимодального обучения на базе Transformer
Publication Details
Publication Date
2023-05-11
Journal
Publisher
ISSN
Cited by
1249
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai18
Глубокое остаточное обучение для распознавания изображений2016
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Изображение стоит 16×16 слов: трансформеры для распознавания изображений в масштабе2020
Элементы статистического обучения: добыча данных, вывод и предсказание2010
Нелокальные нейронные сети2018
Появляющиеся свойства самоконтролируемых Vision Transformer2021
Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка2022
Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019
Предобученный трансформер для обработки изображений2021
Longformer: трансформер для длинных документов2020
Эмпирическое исследование обучения самоконтролируемых Vision Transformer2021
Flamingo: визуальная языковая модель для обучения по малому числу примеров2022
Эффективные трансформеры: обзор2022
HowTo100M: обучение текстово-видеового представления посредством просмотра ста миллионов озвученных видеоклипов2019
Нейросинтез речи с использованием трансформерной сети2019
Визуальный диалог2017
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022
Работы, цитирующие эту статью4
Глубокое мультимодальное объединение изображений и неизобразительных данных для диагностики и прогнозирования заболеваний: обзор2023
Материаловедение в эпоху больших языковых моделей: перспективный обзор2024
BP3: Повышение точности бесманжетного мониторинга артериального давления за счет объединения мм-волнового измерения пульсовой волны и физиологических факторов2024
Развитие гастроэнтерологии с помощью мультимодального обучения: роль чат-ботов на основе больших языковых моделей в диагностической эндоскопии органов пищеварения2025