DDSP: Дифференцируемая цифровая обработка сигналов
DDSP: Differentiable Digital Signal Processing
2020-01-14
SCID: 54.1/rhts6eth
Discuss with AI
дифференцируемая цифровая обработка сигналовсинтез аудиослепая дереверберацияглубокое обучениенейронные вокодеры
Figures from the paper
Abstract (AI)
Большинство генеративных моделей аудио непосредственно генерируют отсчёты в одной из двух областей: временной или частотной. Хотя таких представлений достаточно для описания любого сигнала, они неэффективны, поскольку не используют имеющиеся знания о том, как звук порождается и воспринимается. Третий подход — вокодеры и синтезаторы — успешно учитывает глубокие предметные знания об обработке сигналов и восприятии, однако исследовался менее активно из-за ограниченной выразительности и трудностей интеграции с современными методами машинного обучения на основе автоматического дифференцирования. В этой работе мы представляем библиотеку дифференцируемой цифровой обработки сигналов (Differentiable Digital Signal Processing, DDSP), обеспечивающую непосредственную интеграцию классических элементов обработки сигналов с методами глубокого обучения. Сосредоточившись на синтезе аудио, мы достигаем генерации с высокой точностью без необходимости использования крупных авторегрессионных моделей или состязательных функций потерь, демонстрируя, что DDSP позволяет применять сильные индуктивные смещения без утраты выразительной способности нейронных сетей. Кроме того, мы показываем, что объединение интерпретируемых модулей позволяет управлять каждым отдельным компонентом модели; возможные применения включают независимое управление высотой и громкостью звука, реалистичную экстраполяцию на высоты, отсутствовавшие в обучающей выборке, слепую дереверберацию акустики помещения, перенос извлечённых акустических характеристик помещения в новые среды и преобразование тембра между существенно различающимися источниками. Иными словами, DDSP обеспечивает интерпретируемый и модульный подход к генеративному моделированию без отказа от преимуществ глубокого обучения. Библиотека находится в открытом доступе по адресу https://github.com/magenta/ddsp; мы приветствуем дальнейший вклад со стороны сообщества и экспертов в соответствующих предметных областях.
Key Findings
1
DDSP обеспечивает высококачественную генерацию аудио без больших авторегрессионных моделей и состязательных потерь, сохраняя выразительность нейронных сетей.
2
DDSP поддерживает слепое устранение реверберации помещений, перенос акустики помещения в новые среды и преобразование тембра между различными источниками.
3
Интерпретируемые модульные компоненты обеспечивают независимое управление высотой тона и громкостью, включая реалистичную экстраполяцию на тона, отсутствовавшие в обучении.
4
Сильные индуктивные ограничения, основанные на обработке сигналов, улучшают генеративное моделирование без снижения гибкости и выразительности.
5
Библиотека DDSP напрямую интегрирует классические дифференцируемые элементы цифровой обработки сигналов с моделями глубокого обучения для синтеза аудио.
Research Object
Дифференцируемые модели синтеза аудио на основе DDSP, объединяющие классические элементы цифровой обработки сигналов с глубоким обучением
Research Subject
Выразительная высококачественная интерпретируемая и модульная генерация аудио, а также управляемая манипуляция высотой тона, громкостью, акустикой помещения и тембром
Publication Details
Publication Date
2020-01-14
Journal
Publisher
ISSN
Cited by
373
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest