Бенчмаркинговая оценка, приложения и проблемы больших зрительно-языковых моделей: обзор

Мультимодальные зрительно-языковые модели (VLM) стали преобразующей технологией на стыке компьютерного зрения и обработки естественного языка, позволяющей машинам воспринимать окружающий мир и рассуждать о нем посредством визуальных и текстовых модальностей. Например, такие модели, как CLIP [1], Claude [2] и GPT-4V [3], демонстрируют высокие способности к рассуждению и пониманию визуальных и текстовых данных и превосходят классические одномодальные модели компьютерного зрения в классификации без дополнительных примеров [4]. Несмотря на быстрый прогресс исследований и растущую популярность этих моделей в прикладных задачах, комплексный обзор существующих исследований VLM практически отсутствует, особенно для исследователей, стремящихся использовать VLM в конкретных предметных областях. В связи с этим мы представляем систематический обзор VLM по следующим направлениям: [1] сведения об основных VLM, разработанных за последние пять лет (2019–2024); [2] основные архитектуры и методы обучения этих VLM; [3] обобщение и классификация популярных бенчмарков и метрик оценки VLM; [4] приложения VLM, включая воплощённых агентов, робототехнику и генерацию видео; [5] проблемы и ограничения современных VLM, такие как галлюцинации, справедливость и безопасность. Подробные подборки, включая публикации и ссылки на репозитории моделей, представлены по адресу https://github.com/zli12321/Awesome-VLM-Papers-And-Models.git.