Рубрика «обработка видео»

Алгоритм Real-Time-Person-Removal при помощи библиотеки Tensorflow.js удаляет людей из видео в реальном времени - 1

Веб-разработчик, программист, технический консультант и аналитик с творческим подходом Джейсон Мэйс (Jason Mayes) создал и выложил на GitHub свой алгоритм, разработанный с помощью библиотеки TensorFlow.js и JavaScript. С его помощью Джейсон смог научить нейросеть анализировать контур человека, а потом убирать его фигуру из видеопотока в режиме реального времени, например, при трансляции с веб-камеры в браузере, оставляя и дополняя в случае необходимости в кадре только объекты на заднем плане. Особенно интересно смотреть на то, как человек прошелся по какой-то мягкой поверхности, но его нет на видео, а следы появились.
Читать полностью »

image

image

В первой части этого поста я рассказал, как многократное применение стандартных halfpel-фильтров создаёт искажённые изображения, а затем показал новый фильтр, не имеющий данной проблемы.

Он был немного более размытым и это устроит не всех. Однако он был лучше своих альтернатив — на самом деле именно этот фильтр использовался в оригинальной версии Bink 2. Из-за постоянной нагрузки на работе мне никогда не удавалось вернуться к нему снова и исследовать его подробнее.

Но теперь, когда я нашёл время для возврата к этому фильтру и написания статьи о нём, мне наконец стоит задаться вопросом: существует ли менее размывающий фильтр, который всё же сохраняет свойство «бесконечной стабильности»?

Предупреждение о спойлерах: правильный ответ — «вероятно, нет» и «определённо, есть». Но прежде чем мы дойдём до того, почему на этот вопрос есть два ответа и что они означают, давайте получше подготовим испытательный стенд.
Читать полностью »

Завершив создание веб-архитектуры для нашего нового веб-комикса Meow the Infinite, я решил, что самое время написать несколько давно назревших технических статей. Данная статья будет посвящена фильтру, разработанному мной несколько лет назад. Он никогда не обсуждался в области сжатия видео, хотя мне кажется, что это стоит сделать.

В 2011 году я разработал “half-pel filter”. Это особый вид фильтра, который берёт входящее изображение и максимально убедительно отображает, как бы выглядело изображение при сдвиге ровно на полпикселя.

Вероятно, вы задаётесь вопросом, зачем вообще может понадобиться такой фильтр. На самом деле, они достаточно часто встречаются в современных видеокодеках. Видеокодеки используют подобные фильтры, чтобы брать фрагменты предыдущих кадров и использовать их в последующих кадрах. Более старые кодеки перемещали данные кадра только по целому пикселю за раз, однако новые кодеки пошли дальше и для лучшей передачи мелких движений позволяют выполнять сдвиг на половину или даже на четверть пикселя.

При анализе поведения алгоритмов компенсации движения в традиционных halfpel-фильтрах, Джефф Робертс выяснил, что при многократном применении к последовательным кадрам они быстро деградируют, заставляя другие части видеокомпрессора ипользовать для исправления артефактов больше данных, чем необходимо. Если отключить эти исправления и взглянуть на «сырые» результаты halfpel-фильтра, то такое исходное изображение:

Как я создал фильтр, не портящий изображение даже после миллиона прогонов - 1

превращается вот в такое:

Как я создал фильтр, не портящий изображение даже после миллиона прогонов - 2

всего спустя одну секунду видео. Как и должно, оно сдвинуто в сторону, потому что каждый кадр сдвигал изображение на полпикселя. Но результат выглядит не как перемещённая версия исходного изображения, он серьёзно искажён.
Читать полностью »

Министерство обороны США попытается решить проблему deepfake - 1

Управление перспективных исследовательских проектов Министерства обороны США (DARPA) ищет средства для быстрого обнаружения deepfake в условиях «растущей угрозы крупномасштабных дезинформационных атак».

На прошлой неделе Управление объявило о том, что 28 августа проведёт день соискателей. Цель мероприятия — дать больше информации о программе Semantic Forensics (SemaFor). Программа, по словам DARPA, будет разрабатывать способы обхода некоторых слабых сторон современных deepfake-инструментов.

«Методы обнаружения, которые использовались раньше, часто можно обмануть из-за их ограниченных ресурсов, — говорится в объявлении DARPA. — Однако существующие алгоритмы автоматического генерирования и манипулирования мультимедиа в значительной степени подвержены семантическим ошибкам».
Читать полностью »

Разработчики центра Samsung в Сколково научили нейросеть рендерить видео из любой точки - 1

Три исследователя Samsung AI Center в Сколково разработали нейросеть, способную воспроизводить фотореалистичные сцены из видео с нового угла зрения.
Система использует набор точек, которые представляют собой геометрический аналог сцены из видео. Сеть обрабатывает облако точек так, чтобы в итоге получилось изображение с другой точки обзора. Такой подход можно использовать для моделирования изображений из видео без построения сетки.

Как сообщил Дмитрий Ульянов, один из авторов разработки, в комментарии The Next Web, «идея состоит в том, чтобы научиться визуализировать сцену с любой точки зрения».
Читать полностью »

Нейросеть удаляет объекты с видео, заменяя их фоном - 1

На GitHub появилось приложение video-object-removal, которое удаляет объекты с видео. Для этого достаточно выделить нежелательный объект, нарисовав рамку вокруг него, как на фото. Приложение само отследит и удалит информацию внутри рамки, а затем восстановит изображение, чтобы заполнить «дыру».

Утилита использует нейросеть, которая обрабатывает видео покадрово, заменяя ненужный объект фоном. Пока что этот метод обработки видео не идеален: на месте удалённого объекта может остаться след. Все зависит от фона — чем он проще и однороднее, тем «чище» получается результат.
Читать полностью »

Своя видео-платформа — ffmpeg и качество кодирования видео. Part 2 - 1
Lenna любит хорошо выглядеть — фотомодель в конце концов. Ходят легенды, что добавление её в заголовок статьи, связанной с обработкой визуальных данных даёт +5 к шансу на плюсы.

Продолжаю раскрывать особенности работы видео сервисов. Сегодня заметки про параметры кодирования и их выбор.
Первая часть

Большинство кодеков предлагают достаточно сбалансированные значения по умолчанию, позволяя получить нормальный результат без долгого подбора параметров. Однако, когда речь идёт о большом архиве видеоматериала, об ограничениях на битрейт, соображениях совместимости с оборудованием клиента и разумном желании сохранить качество оригинала, всё становится интереснее.
К сожалению, волшебной кнопки «скодировать совсем хорошо» не предусмотрено. Как и аналога caniuse для параметров кодирования. Придётся разбираться в особенностях работы кодеков.
Читать полностью »

Своя видео-платформа или чем занять много вычислительных ресурсов. Part 1 - 1

На фото — первый летающий четырёхколёсный велосипед. Источник.

Сегодня, благодаря доступности нужных сервисов, размещение видео в сети не является сложной задачей. Однако материалов по внутреннему устройству подобных систем не так уж и много, особенно в русскоязычном сегменте.

Я в течение некоторого времени занимался проектированием и разработкой качественной видео-платформы. В этой статье я хочу описать те моменты, которые сам бы хотел знать в начале разработки.

Статья не претендует на статус руководства, в ней я постараюсь описать только интересные или неочевидные моменты затрагивающие обработку и доставку видео-контента на базе HTML5.
Материал рассчитан на тех, кто уже в теме, либо готов искать расшифровку аббревиатур, терминов и понятий.
Читать полностью »

Что означают все эти аббревиатуры? Что нужно, чтобы разработать open source-плеер для просмотра видео с Amazon, Sky и других платформ и смотреть видео от любого провайдера? О том, как происходит процесс потоковой передачи видео, Себастьян Голаш (Sebastian Golasch) рассказал на конференции HolyJS 2018 Piter. Под катом — видео и перевод его доклада.

EME? CDM? DRM? CENC? IDK! Что нужно, чтобы сделать собственный видеоплеер в браузере - 1

В данный момент Себастьян (Sebastian Golasch) занимает должность разработчика в Deutsche Telekom. Достаточно долго он работал с Java и PHP, а затем переключился на JS, Python и Rust. Последние семь лет трудится над фирменной платформой умного дома Qivicon.

Читать полностью »

Прототип проекта стоимостью $86 миллионов в 57 строках кода - 1

Сегодня очень много хороших конкурентных систем создается отдельными разработчиками, а не только большими компаниями. Как правило, это копирование на базе эталонного решения (продукт корпорации) с последующей оптимизацией. В таком случае выигрывают все: компании – от здоровой конкуренции, разработчики – от развития технических навыков и получения опыта, потребители – от новых возможностей и решений.

Представлюсь: меня зовут Иван Греков, я из фронтенд-команды Badoo. Мне очень понравился этот пост, я просто не смог пройти мимо и не перевести его. Этот пост – отличный источник вдохновения для любителей прототипирования устройств и open-source-решений. Перевод публикуется с сохранением авторской точки зрения и, надеюсь, будет интересен вам.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js