Крупномасштабное контрастивное предварительное обучение на языково-аудиоданных слиянием признаков и расширением данных от ключевых слов к подписям

Контрастивное обучение продемонстрировало значительные успехи в области мультимодального обучения представлений. В данной работе мы предлагаем конвейер контрастивного предварительного обучения на языково-аудиоданных для формирования аудиопредставления путем объединения аудиоданных с описаниями на естественном языке. Для достижения этой цели сначала мы выпускаем LAION-Audio-630K — крупную коллекцию из 633 526 пар «аудио–текст», полученных из различных источников данных. Во-вторых, мы создаем модель контрастивного предварительного обучения на языково-аудиоданных с использованием различных аудио- и текстовых энкодеров. В архитектуру модели мы включаем механизм слияния признаков и расширение данных путем преобразования ключевых слов в подписи, что позволяет обрабатывать аудиовходы переменной длины и дополнительно повышает производительность. В-третьих, мы проводим всесторонние эксперименты для оценки модели по трем задачам: поиск аудио по тексту, классификация аудио в режиме обучения без примеров и классификация аудио с учителем. Результаты показывают, что наша модель превосходит другие методы в задаче поиска аудио по тексту. В задачах классификации аудио модель демонстрирует наилучшие опубликованные результаты в режиме обучения без примеров и достигает показателей, сопоставимых с результатами моделей в режиме, не являющемся zero-shot. LAION-Audio-630K1 и предложенная модель2 находятся в открытом доступе.