«Сбер» выпустил нейросетевой музыкальный альбом Он получил название Thriving Machine

Как сообщает пресс-служба «Сбера», музыкальный альбом состоит из произведений разных жанров — эмбиент, поп, электро, рок, лаунж и классика. Чтобы прослушать композиции целиком, нужно зарегистрироваться в аудиосервисе «СберЗвук», иначе придётся довольствоваться 30-секундными фрагментами. Обложкой альбома стал коллаж из четырёх рисунков, сгенерированных нейросетью ruDALL-E, которая создает изображения по описанию на русском языке. Изображения были получены по запросам «процветающая вселенная» и «струнный оркестр галактики». Названия треков были тоже сгенерированы нейросетью ruGPT-3.

Команда SberDevices при содействии SberCloud разработала собственную нейросетевую архитектуру SymFormer, основанную на открытой модели Performer, и обучила нейросеть на суперкомпьютере Кристофари при помощи платформы ML Space. В результате получилась модель для генерации музыкальных произведений, основанная на принципе рассмотрения музыки в качестве нотного текста. Модель обучалась на датасете из 160 тысяч композиций разных стилей: от классики до современной электронной музыки и рока.

С ее помощью можно создавать не только аудиозаписи, но и музыку с открытой лицензией для видеороликов и презентаций, а также использовать в работе диджеев и композиторов. Создание композиций при помощи SymFormer происходит в два этапа: сначала нейросеть получает информацию о стиле и генерирует несколько вариантов структуры будущей композиции. На втором этапе создаётся несколько вариантов мультиинструментальной композиции, соответствующих заданному стилю. Наконец, модель-ранжировщик выбирает, какие из вариантов наиболее удачны и максимально соответствуют описанию стиля и структуры композиции.

Нейросеть ruDALL-E способна генерировать неограниченное число изображений по заданному описанию: