Сам себе аниматор: нейросеть Kandinsky от Сбера теперь может создавать видеоролики на основе текстового описания

Команда СберБанка поделилась свежими новостями о развитии проекта фирменной нейросети — бесплатной генеративной модели Kandinsky. У пользователей Kandinsky 2.2 появилась возможность создавать видеоролики по текстовому описанию в режиме анимации. 

По одному текстовому описанию генерируется 4-секундное видео c выбранным эффектом анимации, с частотой 24 кадра в секунду и разрешением 640 × 640 пикселей. Генерация одной секунды видео в среднем занимает около 20 секунд.

Новый сервис пока работает в тестовом режиме и доступен самым активным пользователям Kandinsky 2.2, которые получат приглашение в ближайшее время. До конца года оценить новые возможности нейросети смогут все желающие. Те пользователи, которые хотят попробовать новые возможности модели сейчас, могут оставить заявку на получение доступа в Telegram-боте ^[1].

Чтобы сгенерировать видео в режиме анимации, нужно описать письменно то, что хочется увидеть. Далее бот предложит на выбор 16 вариантов анимации сцены, а после этого нейросеть сгенерирует анимированный видеоролик. Также доступна генерация составных сцен: пользователь может ввести несколько текстовых описаний (до трёх), затем выбрать для каждого свою механику анимации, а после этого модель создаст «мини-фильм».

Источник ^[2]