Flamingo: визуальная языковая модель для обучения по малому числу примеров
Flamingo: a Visual Language Model for Few-Shot Learning
2022-04-29
SCID: 54.1/axxm8y2q
Discuss with AI
Обучение на малом числе примеровОбучение в контекстеМультимодальные веб-корпусаВизуально-языковые моделиВизуальные вопросы и ответы
Figures from the paper
Abstract (AI)
Создание моделей, которые можно быстро адаптировать к новым задачам, используя лишь несколько размеченных примеров, остается нерешенной задачей исследований в области мультимодального машинного обучения. Мы представляем Flamingo — семейство визуальных языковых моделей (VLM), обладающих такой способностью. Мы предлагаем ключевые архитектурные инновации, позволяющие: (i) объединить мощные предварительно обученные модели, работающие только с визуальными данными, и модели, работающие только с языковыми данными; (ii) обрабатывать последовательности с произвольным чередованием визуальных и текстовых данных; и (iii) без дополнительных преобразований использовать на входе изображения или видео. Благодаря своей гибкости модели Flamingo можно обучать на крупномасштабных мультимодальных веб-корпусах, содержащих произвольно чередующиеся текст и изображения, что имеет ключевое значение для реализации ими возможностей контекстного обучения по малому числу примеров. Мы проводим всестороннюю оценку моделей, исследуя и измеряя их способность быстро адаптироваться к различным задачам, связанным с изображениями и видео. К ним относятся задачи со свободной формой ответа, такие как визуальные вопросы и ответы, в которых модели предлагается вопрос, на который она должна ответить; задачи аннотирования, оценивающие способность описывать сцену или событие; а также задачи с ограниченным набором вариантов ответа, такие как визуальные вопросы и ответы с множественным выбором. Для задач, охватывающих весь этот спектр, одна модель Flamingo способна достичь нового передового уровня при обучении по малому числу примеров — достаточно лишь предложить модели примеры, специфичные для конкретной задачи. На многочисленных тестовых наборах Flamingo превосходит модели, дообученные на данных, объем которых в тысячи раз больше и которые относятся к конкретным задачам.
Key Findings
1
Одна модель Flamingo достигает наилучших результатов в few-shot-режиме на открытых и закрытых задачах визуальных вопросов и ответов, а также на задачах описания изображений и видео.
2
Flamingo представляет семейство визуально-языковых моделей, способных быстро адаптироваться к новым мультимодальным задачам по небольшому числу размеченных примеров.
3
На многочисленных бенчмарках Flamingo превосходит модели, дообученные на данных для конкретных задач, объём которых был в тысячи раз больше.
4
Архитектура объединяет предварительно обученные модели для зрения и языка, обрабатывает произвольно чередующиеся визуальные и текстовые последовательности, а также изображения и видео.
5
Обучение на крупномасштабных мультимодальных веб-корпусах обеспечивает Flamingo возможность контекстного обучения в режиме few-shot.
Research Object
Семейство визуально-языковых моделей Flamingo (VLM)
Research Subject
адаптация по немногим примерам в контексте и эффективность выполнения задач компьютерного зрения и языка на изображениях и видео
Publication Details
Publication Date
2022-04-29
Journal
Publisher
ISSN
Cited by
1555
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Работы, цитирующие эту статью15
Всесторонний обзор больших языковых моделей2025
Мультимодальное обучение с трансформерами: обзор2023
О больших языковых моделях2024
Обзор мультиагентных систем на основе больших языковых моделей: рабочий процесс, инфраструктура и проблемы2024
Всесторонний обзор глубокого обучения: архитектуры, последние достижения и применения2024
Модель «зрение‑язык» для генерации медицинских отчётов и визуального ответа на вопросы: обзор2024
Обзор больших зрительных моделей и визуальной инженерии промптов2023
Управление автомобилем с помощью больших языковых моделей: объединение векторной модальности на уровне объектов для объяснимого автономного вождения2024
Интерактивная компьютерная поддержка диагностики медицинских изображений с использованием крупных языковых моделей2024
Alpha-CLIP: модель CLIP, фокусирующаяся там, где нужно2024
Когда большие языковые модели встречаются с векторными базами данных: обзор2025
Большие языковые модели: структурированная таксономия и обзор проблем, ограничений, решений и перспективных направлений2025
Бенчмаркинговая оценка, приложения и проблемы больших зрительно-языковых моделей: обзор2025
(Не)соответствие метаданных: повышение доступности цифровых визуальных архивов в рамках проекта EyCon2023
Большие языковые модели для клинического искусственного интеллекта в здравоохранении: систематический обзор2026