Мультимодальные базовые модели: от специализированных систем к универсальным помощникам

В этой монографии представлен всесторонний обзор таксономии и эволюции мультимодальных базовых моделей, демонстрирующих возможности в области зрения и зрительно-языковых задач, с акцентом на переход от специализированных моделей к универсальным помощникам. Исследовательский ландшафт охватывает пять ключевых тем, сгруппированных в два класса. (i) Мы начинаем с обзора хорошо разработанных областей исследований: мультимодальные базовые модели, предварительно обученные для конкретных целей, включая две темы — методы обучения визуальных бэкендов для визуального понимания и генерация изображений по текстовому описанию. (ii) Затем мы представляем недавние достижения в исследовательских, открытых областях: мультимодальные базовые модели, стремящиеся выполнять роль универсальных помощников, включая три темы — унифицированные визуальные модели, вдохновлённые большими языковыми моделями (LLMs), сквозное (end-to-end) обучение мультимодальных LLM и цепочка мультимодальных инструментов с LLM. Целевой аудиторией монографии являются исследователи, аспиранты и специалисты в сообществах компьютерного зрения и мультимодальных зрительно-языковых систем, стремящиеся ознакомиться с основами и последними достижениями в области мультимодальных базовых моделей.