Flamingo: визуальная языковая модель для обучения по малому числу примеров

Flamingo: a Visual Language Model for Few-Shot Learning
Oriol Vinyals, Andrew Zisserman, Jacob Menick, Serkan Cabi, Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katie Millican, Malcolm Reynolds, Roman Ring, Eliza Rutherford, Tengda Han, Zhitao Gong, Sina Samangooei, Marianne Monteiro, Sebastian Borgeaud, Andrew Brock, Aida Nematzadeh, Sahand Sharifzadeh, Mikołaj Bińkowski, Ricardo Barreira, Karen Simonyan, Gong, Zhitao, Brock, Andrew, Alayrac, Jean-Baptiste, Barr, Iain, Ricardo Barreira
2022-04-29

Обучение на малом числе примеровОбучение в контекстеМультимодальные веб-корпусаВизуально-языковые моделиВизуальные вопросы и ответы
Создание моделей, которые можно быстро адаптировать к новым задачам, используя лишь несколько размеченных примеров, остается нерешенной задачей исследований в области мультимодального машинного обучения. Мы представляем Flamingo — семейство визуальных языковых моделей (VLM), обладающих такой способностью. Мы предлагаем ключевые архитектурные инновации, позволяющие: (i) объединить мощные предварительно обученные модели, работающие только с визуальными данными, и модели, работающие только с языковыми данными; (ii) обрабатывать последовательности с произвольным чередованием визуальных и текстовых данных; и (iii) без дополнительных преобразований использовать на входе изображения или видео. Благодаря своей гибкости модели Flamingo можно обучать на крупномасштабных мультимодальных веб-корпусах, содержащих произвольно чередующиеся текст и изображения, что имеет ключевое значение для реализации ими возможностей контекстного обучения по малому числу примеров. Мы проводим всестороннюю оценку моделей, исследуя и измеряя их способность быстро адаптироваться к различным задачам, связанным с изображениями и видео. К ним относятся задачи со свободной формой ответа, такие как визуальные вопросы и ответы, в которых модели предлагается вопрос, на который она должна ответить; задачи аннотирования, оценивающие способность описывать сцену или событие; а также задачи с ограниченным набором вариантов ответа, такие как визуальные вопросы и ответы с множественным выбором. Для задач, охватывающих весь этот спектр, одна модель Flamingo способна достичь нового передового уровня при обучении по малому числу примеров — достаточно лишь предложить модели примеры, специфичные для конкретной задачи. На многочисленных тестовых наборах Flamingo превосходит модели, дообученные на данных, объем которых в тысячи раз больше и которые относятся к конкретным задачам.
1
Одна модель Flamingo достигает наилучших результатов в few-shot-режиме на открытых и закрытых задачах визуальных вопросов и ответов, а также на задачах описания изображений и видео.
2
Flamingo представляет семейство визуально-языковых моделей, способных быстро адаптироваться к новым мультимодальным задачам по небольшому числу размеченных примеров.
3
На многочисленных бенчмарках Flamingo превосходит модели, дообученные на данных для конкретных задач, объём которых был в тысячи раз больше.
4
Архитектура объединяет предварительно обученные модели для зрения и языка, обрабатывает произвольно чередующиеся визуальные и текстовые последовательности, а также изображения и видео.
5
Обучение на крупномасштабных мультимодальных веб-корпусах обеспечивает Flamingo возможность контекстного обучения в режиме few-shot.

Семейство визуально-языковых моделей Flamingo (VLM)

адаптация по немногим примерам в контексте и эффективность выполнения задач компьютерного зрения и языка на изображениях и видео

Publication Details
Publication Date
2022-04-29
Journal
Publisher
ISSN
Cited by
1555
Access Type
Author Information
Authors
Oriol Vinyals
Andrew Zisserman
Jacob Menick
Serkan Cabi
Jean-Baptiste Alayrac
Jeff Donahue
Pauline Luc
Antoine Miech
Iain Barr
Yana Hasson
Karel Lenc
Arthur Mensch
Katie Millican
Malcolm Reynolds
Roman Ring
Eliza Rutherford
Tengda Han
Zhitao Gong
Sina Samangooei
Marianne Monteiro
Sebastian Borgeaud
Andrew Brock
Aida Nematzadeh
Sahand Sharifzadeh
Mikołaj Bińkowski
Ricardo Barreira
Karen Simonyan
Gong, Zhitao
Brock, Andrew
Alayrac, Jean-Baptiste
Barr, Iain
Ricardo Barreira
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%