Первая в России нейросеть для генерации полноценного видео: Сбер представил Kandinsky Video

Команда Сбербанка представила свою новую разработку в области нейросетей. Как отмечает пресс-служба, Kandinsky Video стала первой в России генеративной моделью для создания полноценных видеороликов по текстовому описанию. 

Модель генерирует видеоряд продолжительностью до восьми секунд с частотой 30 кадров в секунду. Об этом в ходе международной конференции AI Journey рассказал первый заместитель председателя правления Сбербанка Александр Ведяхин.

Архитектура Kandinsky Video состоит из двух блоков: первый отвечает за создание ключевых кадров, из которых складывается структура сюжета видео, а второй — за генерацию интерполяционных кадров, которые позволяют достичь плавности движений в финальном видео. В основе двух блоков лежит новая модель синтеза изображений по текстовым описаниям Kandinsky 3.0 ^[1].

Формат сгенерированного видео представляет собой непрерывную сцену с движением как объекта, так и фона. Именно это отличает видеоролики, синтезированные моделью Kandinsky Video, от анимационных видеороликов, в которых динамика достигается за счёт моделирования пролёта камеры относительно статичной сцены. 

Нейросеть создаёт видеоролики с разрешением 512 х 512 пикселей и различным соотношением сторон. Модель обучена на наборе данных из более чем 300 тыс. пар «текст — видео». Генерация видео занимает до трёх минут.

Александр Ведяхин рассказал:

Недавно мы обучили Kandinsky создавать анимационные видео по текстовому описанию, а уже сегодня представляем модель совершенно другого уровня — первую в России модель по генерации полноценных видеороликов по тексту. Это важный вклад в развитие российских генеративных нейросетей. У пользователей появится ещё больше возможностей для креатива и реализации своих творческих задумок любой направленности. Люди смогут создавать уникальные видеоролики абсолютно бесплатно. Наша модель, как и большинство других в линейке Сбера, будет доступна в open source. Мы верим, что искусственный интеллект сможет открыть перед людьми новые супервозможности и создать инструменты, которыми они будут пользоваться для решения своих задач.

Оценить возможности нейросети Kandinsky Video можно на платформе fusionbrain.ai ^[2] и в Telegram-боте ^[3], где можно оставить заявку на доступ.

Источник ^[4]