Flamingo: визуальная языковая модель для обучения с небольшим числом примеров

Создание моделей, которые можно быстро адаптировать к новым задачам, используя лишь несколько аннотированных примеров, является открытой проблемой в исследовании мультимодального машинного обучения. Мы представляем Flamingo, семейство визуальных языковых моделей (VLM), обладающих этой способностью. Мы предлагаем ключевые архитектурные новшества, чтобы: (i) связать мощные предварительно обученные модели только для зрения и только для языка, (ii) обрабатывать последовательности с произвольно взаимопереплетёнными визуальными и текстовыми данными, и (iii) бесшовно принимать изображения или видео в качестве входных данных. Благодаря своей гибкости модели Flamingo могут быть обучены на крупномасштабных мультимодальных веб-корпусах, содержащих произвольно взаимопереплетённый текст и изображения, что является ключом к наделению их способностями к обучению с небольшим числом примеров в контексте. Мы проводим тщательную оценку наших моделей, исследуя и измеряя их способность быстро адаптироваться к разнообразным задачам с изображениями и видео. К ним относятся задачи с открытым ответом, такие как визуальные вопросы-ответы, где модель получает вопрос, на который должна ответить; задачи создания подписей (captioning), которые оценивают способность описать сцену или событие; и задачи с закрытым набором ответов, такие как визуальные вопросы-ответы множественного выбора. Для задач, расположенных в любой точке этого спектра, одна модель Flamingo может достичь нового состояния дела в обучении с небольшим числом примеров, просто получив подсказку с примерами, специфическими для задачи. По многочисленным бенчмаркам Flamingo превосходит модели, дообученные на в тысячи раз большем объёме специализированных данных.