Восстановление звука из видео с помощью многомасштабной фильтрации пространственных градиентов внутри кадра

В статье предлагается метод получения речи на основе компьютерного зрения, при котором речь выводится путем извлечения движения из видеозаписей вибраций объектов, вызванных звуком. Метод основан на подходе пространственного градиента, который сочетает декомпозицию по настраиваемой пирамиде (steerable pyramid) и сглаженную фильтрацию градиента для получения одного значения вибрации на кадр. Подход опирается на то, что величина пространственного градиента изменяется в зависимости от объема движения, происходившего в течение экспозиции, и позволяет восстанавливать вибрации, вызванные речью, без сегментации и без разворачивания фазы. Экспериментальные результаты демонстрируют, что предложенный метод способен восстанавливать разборчивую речь и надежно работает на различных поверхностях объектов и при разных условиях освещения при низких вычислительных затратах. Эти результаты показывают, что внутрекадровое движение является полезной подсказкой для визуальных микрофонов и устройств акустического зондирования.