HowTo100M: обучение текстово-видеового представления посредством просмотра ста миллионов озвученных видеоклипов

Для обучения текстово-видеовых представлений обычно требуется набор видеоклипов с аннотациями, подготовленными вручную. Однако создание таких наборов данных требует значительных затрат времени и ресурсов, поэтому их трудно получить в большом масштабе. В этой работе мы предлагаем вместо этого обучать такие представления на видеоданных с доступными аннотациями на естественном языке в форме автоматически транскрибированных нарраций. Работа включает три основных вклада. Во-первых, мы представляем HowTo100M — крупномасштабный набор данных, содержащий 136 миллионов видеоклипов, полученных из 1,22 миллиона озвученных обучающих веб-видеороликов, в которых люди выполняют и описывают более 23 тысяч различных визуальных задач. Процедура сбора данных является быстрой и масштабируемой и не требует дополнительной ручной аннотации. Во-вторых, мы показываем, что текстово-видеовое представление, обученное на этих данных, обеспечивает результаты уровня state of the art в задачах поиска видео по текстовому запросу и локализации действий на наборах данных с обучающими видеоматериалами, таких как YouCook2 и CrossTask. Наконец, мы демонстрируем, что это представление хорошо переносится на другие предметные области: дообучение на универсальных видеороликах с YouTube (набор данных MSR-VTT) и фильмах (набор данных LSMDC) превосходит модели, обученные только на этих наборах данных. Наш набор данных, исходный код и модели будут общедоступны по адресу: www.di.ens.fr/willow/research/howto100m/.