«Шедеврум» научился генерировать видеоролики Длиной четыре секунды

Как сообщает пресс-служба «Яндекса», видеоролики могут стать основой для музыкальных клипов, анимации или динамических аватарок в соцсетях. «Шедеврум» умеет генерировать видео длиной четыре секунды с частотой 24 кадра в секунду. После публикации ими можно делиться с друзьями или сохранить в формате MP4. Генерация видео пока работает в тестовом режиме — она доступна активным пользователям «Шедеврума», а посмотреть результаты в ленте приложения могут все.

Чтобы сгенерировать видеоролик, нужно ввести его текстовое описание. В ответ приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. Нейросеть берет за основу выбранное изображение, генерирует набор его измененных версий и объединяет все с учетом выбранного эффекта.

Пока их семь: зум, таймлапс, полет, панорама, вращение, подъем и морфинг. Для создания кадров применяется метод каскадной диффузии — нейросеть создает картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями. Генерация видео дополняет другие возможности «Шедеврума» — создание изображений и текстовых постов с заголовком и иллюстрацией.

Здесь мы тестируем нейросети для генерации изображений: