DDSP: Дифференцируемая цифровая обработка сигналов

DDSP: Differentiable Digital Signal Processing
Chenjie Gu, Adam Paul Roberts, Jesse Engel, Roberts, Adam, Lamtharn Hantrakul, Gu, Chenjie
2020-01-14

дифференцируемая цифровая обработка сигналовсинтез аудиослепая дереверберацияглубокое обучениенейронные вокодеры
Большинство генеративных моделей аудио непосредственно генерируют отсчёты в одной из двух областей: временной или частотной. Хотя таких представлений достаточно для описания любого сигнала, они неэффективны, поскольку не используют имеющиеся знания о том, как звук порождается и воспринимается. Третий подход — вокодеры и синтезаторы — успешно учитывает глубокие предметные знания об обработке сигналов и восприятии, однако исследовался менее активно из-за ограниченной выразительности и трудностей интеграции с современными методами машинного обучения на основе автоматического дифференцирования. В этой работе мы представляем библиотеку дифференцируемой цифровой обработки сигналов (Differentiable Digital Signal Processing, DDSP), обеспечивающую непосредственную интеграцию классических элементов обработки сигналов с методами глубокого обучения. Сосредоточившись на синтезе аудио, мы достигаем генерации с высокой точностью без необходимости использования крупных авторегрессионных моделей или состязательных функций потерь, демонстрируя, что DDSP позволяет применять сильные индуктивные смещения без утраты выразительной способности нейронных сетей. Кроме того, мы показываем, что объединение интерпретируемых модулей позволяет управлять каждым отдельным компонентом модели; возможные применения включают независимое управление высотой и громкостью звука, реалистичную экстраполяцию на высоты, отсутствовавшие в обучающей выборке, слепую дереверберацию акустики помещения, перенос извлечённых акустических характеристик помещения в новые среды и преобразование тембра между существенно различающимися источниками. Иными словами, DDSP обеспечивает интерпретируемый и модульный подход к генеративному моделированию без отказа от преимуществ глубокого обучения. Библиотека находится в открытом доступе по адресу https://github.com/magenta/ddsp; мы приветствуем дальнейший вклад со стороны сообщества и экспертов в соответствующих предметных областях.
1
DDSP обеспечивает высококачественную генерацию аудио без больших авторегрессионных моделей и состязательных потерь, сохраняя выразительность нейронных сетей.
2
DDSP поддерживает слепое устранение реверберации помещений, перенос акустики помещения в новые среды и преобразование тембра между различными источниками.
3
Интерпретируемые модульные компоненты обеспечивают независимое управление высотой тона и громкостью, включая реалистичную экстраполяцию на тона, отсутствовавшие в обучении.
4
Сильные индуктивные ограничения, основанные на обработке сигналов, улучшают генеративное моделирование без снижения гибкости и выразительности.
5
Библиотека DDSP напрямую интегрирует классические дифференцируемые элементы цифровой обработки сигналов с моделями глубокого обучения для синтеза аудио.

Дифференцируемые модели синтеза аудио на основе DDSP, объединяющие классические элементы цифровой обработки сигналов с глубоким обучением

Выразительная высококачественная интерпретируемая и модульная генерация аудио, а также управляемая манипуляция высотой тона, громкостью, акустикой помещения и тембром

Publication Details
Publication Date
2020-01-14
Journal
Publisher
ISSN
Cited by
373
Access Type
Author Information
Authors
Chenjie Gu
Adam Paul Roberts
Jesse Engel
Roberts, Adam
Lamtharn Hantrakul
Gu, Chenjie
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%