Нейросеть удаляет объекты с видео, заменяя их фоном

На GitHub появилось приложение video-object-removal ^[1], которое удаляет объекты с видео. Для этого достаточно выделить нежелательный объект, нарисовав рамку вокруг него, как на фото. Приложение само отследит и удалит информацию внутри рамки, а затем восстановит изображение, чтобы заполнить «дыру».

Утилита использует нейросеть, которая обрабатывает видео покадрово, заменяя ненужный объект фоном. Пока что этот метод обработки видео не идеален: на месте удалённого объекта может остаться след. Все зависит от фона — чем он проще и однороднее, тем «чище» получается результат.

При разработке приложения его авторы опирались на два проекта — SiamMask ^[2] и Deep Video Inpainting. SiamMask может создавать маски сегментации объектов и обрабатывать видео со скоростью 55 кадров в секунду. Deep Video Inpainting ^[3], в свою очередь, предназначен для заполнения «дыр» видео контентом.

Приложение video-object-removal было протестировано на Ubuntu 16.04, Python 3.5, Pytorch 0.4.0 и CUDA 8.0. Исходный код открыт, и его может использовать любой желающий. Для этого достаточно установить модели SiamMask и Inpainting, поместив их в папку cp/.

Ранее, в апреле 2019 года, компания Adobe внедрила в свой видеоредактор After Effects похожую функцию, также работающую с использованием нейросетей. Функция Content-Aware Fill доступна подписчикам Adobe Creative Cloud. При работе с ней пользователь также может выделить объекты, которые хочет удалить с видеоролика, а программа рассчитает маски покадрово и заменит их на окружающий фон.

Автор: AnnieBronson

Источник ^[4]