AST: Трансформер аудиоспектрограммы

За последнее десятилетие сверточные нейронные сети (CNN) широко использовались в качестве основного конструктивного элемента для сквозных моделей классификации аудио, которые стремятся научиться напрямую сопоставлять аудиоспектрограммы с соответствующими метками. Чтобы лучше захватывать дальнодействующий глобальный контекст, в последнее время стало популярно добавлять механизм самовнимания поверх CNN, формируя гибридную модель CNN+attention. Однако остается неясным, является ли зависимость от CNN необходимой и достаточно ли нейронных сетей, основанных исключительно на механизме внимания, для достижения хорошей производительности в классификации аудио. В этой работе мы отвечаем на этот вопрос, вводя Audio Spectrogram Transformer (AST) — первую безсверточную, полностью основанную на внимании модель для классификации аудио. Мы оцениваем AST на различных бенчмарках по классификации аудио, где она достигает новых рекордных результатов: 0.485 mAP на AudioSet, 95.6% точности на ESC-50 и 98.1% точности на Speech Commands V2.