MM-LLMs: последние достижения в области мультимодальных больших языковых моделей

За последний год мультимодальные большие языковые модели (MM-LLMs) достигли значительного прогресса: благодаря экономичным стратегиям обучения стандартные большие языковые модели (LLMs) были расширены для поддержки мультимодальных входных данных и выходных данных. Полученные модели не только сохраняют присущие LLMs способности к рассуждению и принятию решений, но и обеспечивают выполнение широкого спектра мультимодальных задач. В этой статье представлен всесторонний обзор, призванный содействовать дальнейшим исследованиям MM-LLMs. Сначала мы описываем общие принципы построения архитектур моделей и конвейеров обучения. Затем предлагаем таксономию, охватывающую 126 MM-LLMs, каждая из которых характеризуется своими специфическими формулировками. Кроме того, мы рассматриваем результаты выбранных MM-LLMs на основных бенчмарках и обобщаем ключевые методы обучения, направленные на повышение их возможностей. Наконец, мы обсуждаем перспективные направления развития MM-LLMs и одновременно поддерживаем веб-сайт 1 с отслеживанием обновлений в реальном времени, посвящённый последним достижениям в этой области. Мы надеемся, что этот обзор будет способствовать дальнейшему развитию области MM-LLMs.