Алгоритм научили генерировать слова песни по музыке Нейросеть пишет тексты в реальном времени

Разработанная канадскими исследователями система LyricJam должна помочь артистам сочинять новые песни, которые отлично подходили бы под ту или иную музыку. Ранее они разработали алгоритм, который изучает определенные особенности стиля исполнителя, анализируя аудиозаписи его песен и тексты, после чего использует собранную информацию для создания песни, соответствующей стилю конкретного певца или певицы. Недавно ученые начали разрабатывать генератор текстов для заранее записанных музыкальных отрывков, а теперь его доработали для создания подходящих текстов для музыки, исполняемой вживую — в реальном времени.

Система работает путем преобразования аудиозаписи в спектрограмму, после чего нейросеть генерирует тексты, соответствующие, на ее взгляд, проигрываемой музыке. Алгоритм состоит из двух автокодировщиков, один из которых предназначен для изучения музыки, а другой — для текстов. Специалисты вдобавок разработали два новых механизма, которые согласуют музыку и тексты, обрабатываемые автокодировщиками, друг с другом и помогают системе определить, какие тексты подойдут для конкретной музыки.

LyricJam отличается от других генераторов текстов прежде всего тем, что он способен создавать песни в реальном времени, пока исполнитель играет живую музыку. Система генерирует тексты, которые, как утверждают разработчики алгоритма, «отражают настроение и эмоции через различные аспекты музыки, такие как аккорды, инструменты и ритм». Исполнители могут просматривать сгенерированные тексты и черпать из них вдохновение или же адаптировать их для своих песен, находя новые темы и идеи, которые раньше не приходили им в голову.