Устойчивое распознавание речи с помощью масштабного слабого обучения

Мы изучаем возможности систем обработки речи, обученных просто предсказывать большое количество расшифровок аудио из интернета. При масштабировании до 680 000 часов многоязычного и многозадачного супервизора полученные модели хорошо обобщаются на стандартные бенчмарки и часто сопоставимы с предыдущими результатами при полном супервизированном обучении, но в условиях нулевого переноса (zero-shot) без необходимости какой-либо донастройки. По сравнению с людьми модели приближаются к их точности и устойчивости. Мы публикуем модели и код для инференса, чтобы послужить фундаментом для дальнейших исследований в области устойчивой обработки речи.