MM-LLMs: последние достижения в области мультимодальных больших языковых моделей
MM-LLMs: Recent Advances in MultiModal Large Language Models
2024-01-01
SCID: 54.1/4yq98hph
Discuss with AI
дополнение LLMархитектура моделимультимодальные большие языковые моделимультимодальные задачиконвейер обучения
Figures from the paper
Abstract (AI)
За последний год мультимодальные большие языковые модели (MM-LLMs) достигли значительного прогресса: благодаря экономичным стратегиям обучения стандартные большие языковые модели (LLMs) были расширены для поддержки мультимодальных входных данных и выходных данных. Полученные модели не только сохраняют присущие LLMs способности к рассуждению и принятию решений, но и обеспечивают выполнение широкого спектра мультимодальных задач. В этой статье представлен всесторонний обзор, призванный содействовать дальнейшим исследованиям MM-LLMs. Сначала мы описываем общие принципы построения архитектур моделей и конвейеров обучения. Затем предлагаем таксономию, охватывающую 126 MM-LLMs, каждая из которых характеризуется своими специфическими формулировками. Кроме того, мы рассматриваем результаты выбранных MM-LLMs на основных бенчмарках и обобщаем ключевые методы обучения, направленные на повышение их возможностей. Наконец, мы обсуждаем перспективные направления развития MM-LLMs и одновременно поддерживаем веб-сайт 1 с отслеживанием обновлений в реальном времени, посвящённый последним достижениям в этой области. Мы надеемся, что этот обзор будет способствовать дальнейшему развитию области MM-LLMs.
Key Findings
1
Предложена таксономия 126 MM-LLM, классифицирующая каждую модель по её архитектурным и обучающим формулировкам.
2
Мультимодальные большие языковые модели всё чаще расширяют готовые LLM для обработки мультимодальных входов или генерации мультимодальных выходов с помощью экономичных стратегий обучения.
3
В обзоре формализованы общие варианты архитектур MM-LLM и конвейеров обучения, что создаёт основу для анализа данной области.
4
В обзоре сопоставляются результаты на основных бенчмарках, обобщаются эффективные рецепты обучения, определяются перспективные направления исследований и поддерживается сайт с актуальным отслеживанием развития области.
5
Эти модели сохраняют способности LLM к рассуждению и принятию решений, одновременно поддерживая широкий спектр мультимодальных задач.
Research Object
мультимодальные большие языковые модели (MM-LLMs)
Research Subject
последние достижения, архитектурные и обучающие формулировки, возможности, результаты на бенчмарках и направления развития MM-LLMs
Publication Details
Publication Date
2024-01-01
Journal
Publisher
ISSN
Cited by
798
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai14
Глубокое остаточное обучение для распознавания изображений2016
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
LLaMA: открытые и эффективные базовые языковые модели2023
Обзор больших языковых моделей2026
Генерация с дополнением извлечённой информацией для больших языковых моделей: обзор2023
Всесторонний обзор больших языковых моделей2025
HuBERT: самообучение представлений речи посредством маскированного предсказания скрытых единиц2021
Технический отчет о GPT-42023
GQA: новый набор данных для визуального рассуждения в реальных условиях и композиционного ответа на вопросы2019
Visual ChatGPT: общение, рисование и редактирование с использованием визуальных базовых моделей2023
GLM: предварительное обучение общей языковой модели с авторегрессионным заполнением пропусков2022
Крупномасштабное контрастивное предварительное обучение на языково-аудиоданных слиянием признаков и расширением данных от ключевых слов к подписям2023
Малые большие языковые модели плохо обучаются работе с инструментами: агент на основе нескольких БЯМ2024
Работы, цитирующие эту статью3
Агенты на основе больших языковых моделей для обучения работе с инструментами: обзор2025
Большие языковые модели: структурированная таксономия и обзор проблем, ограничений, решений и перспективных направлений2025
Большие языковые модели для клинического искусственного интеллекта в здравоохранении: систематический обзор2026