MuseGAN: Многодорожечные последовательные генеративные состязательные сети для символической генерации музыки и акомпанемента

Генерация музыки имеет несколько существенных отличий от генерации изображений и видео. Во-первых, музыка — это искусство времени, требующее временной модели. Во-вторых, музыка обычно состоит из нескольких инструментов/дорожек с собственной временной динамикой, которые тем не менее взаимозависимо разворачиваются во времени. Наконец, музыкальные ноты в полифонии часто группируются в аккорды, арпеджио или мелодии, поэтому введение простого хронологического порядка нот не всегда уместно. В этой статье мы предлагаем три модели для символической многодорожечной генерации музыки в рамках генеративных состязательных сетей (GAN). Три модели, различающиеся базовыми допущениями и, соответственно, архитектурами сетей, называются jamming-модель, composer-модель и гибридная модель. Мы обучали предложенные модели на датасете из более чем ста тысяч тактов рок-музыки и применяли их для генерации piano-roll представлений пяти дорожек: бас, ударные, гитара, фортепиано и струнные. Для оценки результатов генерации, помимо субъективного пользовательского исследования, предложены несколько объективных метрик внутри дорожки и между дорожками. Мы показываем, что наши модели способны генерировать связную музыку длиной четыре такта с нуля (т.е. без человеческого ввода). Мы также расширяем модели для человек–ИИ кооперативной генерации музыки: при заданной конкретной дорожке, созданной человеком, мы можем сгенерировать четыре дополнительные дорожки для её сопровождения. Весь код, датасет и отрендеренные аудиосэмплы доступны по адресу https://salu133445.github.io/musegan/.