Китай и правда понесло: представлена нейросеть OmniHuman-1, которая создаёт максимально живые видео по фотографиям

В ByteDance разработали систему искусственного интеллекта, которая преобразует фотографии в максимально реалистичные видеоролики.

Новая система под названием OmniHuman-1 генерирует видеоролики в полный рост, на которых люди жестикулируют и двигаются в соответствии с речью, превосходя предыдущие модели искусственного интеллекта, которые могли анимировать только лица или верхнюю часть тела.

^[1]

«В последние годы сквозная человеческая анимация претерпела заметные улучшения, — заявили в ByteDance. — Однако существующие методы по-прежнему с трудом масштабируются в качестве больших общих моделей генерации видео, что ограничивает их потенциал в реальных приложениях».

Команда обучила OmniHuman-1 на более чем 18 700 часах человеческих видеоданных, используя новый подход, который объединяет несколько типов входных данных — текст, аудио и движения тела. Эта стратегия обучения «всеобщих условий» позволяет ИИ обучаться на гораздо более крупных и разнообразных наборах данных, чем предыдущие методы.

«Наша главная идея заключается в том, что включение в процесс обучения множественных кондиционирующих сигналов, таких как текст, аудио и поза, может значительно сократить потери данных», — пояснила исследовательская группа.

В ходе тестирования OmniHuman-1 превзошла существующие системы сразу по нескольким показателям качества. Огромное количество примеров можно найти по этой ссылке ^[2].

Ранее китайская технологическая компания Alibaba выпустила новую версию своей модели искусственного интеллекта Qwen 2.5-Max ^[3], которая, по словам представителей компании, превзошла высоко оцененную модель DeepSeek-V3. А DeepSeek сообщила о запуске новейшей ИИ-модели Janus-Pro-7B ^[4].

Источник ^[5]