MM-LLMs: последние достижения в области мультимодальных больших языковых моделей

MM-LLMs: Recent Advances in MultiModal Large Language Models
Jiahua Dong, Dan Su, Duzhen Zhang, Yahan Yu, Chenxing Li, Chenhui Chu, Dong Yu
2024-01-01

дополнение LLMархитектура моделимультимодальные большие языковые моделимультимодальные задачиконвейер обучения
За последний год мультимодальные большие языковые модели (MM-LLMs) достигли значительного прогресса: благодаря экономичным стратегиям обучения стандартные большие языковые модели (LLMs) были расширены для поддержки мультимодальных входных данных и выходных данных. Полученные модели не только сохраняют присущие LLMs способности к рассуждению и принятию решений, но и обеспечивают выполнение широкого спектра мультимодальных задач. В этой статье представлен всесторонний обзор, призванный содействовать дальнейшим исследованиям MM-LLMs. Сначала мы описываем общие принципы построения архитектур моделей и конвейеров обучения. Затем предлагаем таксономию, охватывающую 126 MM-LLMs, каждая из которых характеризуется своими специфическими формулировками. Кроме того, мы рассматриваем результаты выбранных MM-LLMs на основных бенчмарках и обобщаем ключевые методы обучения, направленные на повышение их возможностей. Наконец, мы обсуждаем перспективные направления развития MM-LLMs и одновременно поддерживаем веб-сайт 1 с отслеживанием обновлений в реальном времени, посвящённый последним достижениям в этой области. Мы надеемся, что этот обзор будет способствовать дальнейшему развитию области MM-LLMs.
1
Предложена таксономия 126 MM-LLM, классифицирующая каждую модель по её архитектурным и обучающим формулировкам.
2
Мультимодальные большие языковые модели всё чаще расширяют готовые LLM для обработки мультимодальных входов или генерации мультимодальных выходов с помощью экономичных стратегий обучения.
3
В обзоре формализованы общие варианты архитектур MM-LLM и конвейеров обучения, что создаёт основу для анализа данной области.
4
В обзоре сопоставляются результаты на основных бенчмарках, обобщаются эффективные рецепты обучения, определяются перспективные направления исследований и поддерживается сайт с актуальным отслеживанием развития области.
5
Эти модели сохраняют способности LLM к рассуждению и принятию решений, одновременно поддерживая широкий спектр мультимодальных задач.

мультимодальные большие языковые модели (MM-LLMs)

последние достижения, архитектурные и обучающие формулировки, возможности, результаты на бенчмарках и направления развития MM-LLMs

Publication Details
Publication Date
2024-01-01
Journal
Publisher
ISSN
Cited by
798
Access Type
Author Information
Authors
Jiahua Dong
Dan Su
Duzhen Zhang
Yahan Yu
Chenxing Li
Chenhui Chu
Dong Yu
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%