- PVSM.RU - https://www.pvsm.ru -

Нейронные сети научились расцвечивать черно-белые видео

Нейронные сети научились расцвечивать черно-белые видео - 1

Пару недель назад на Geektimes публиковался материал [1] о том, что нейронные сети научились окрашивать черное-белые фото. Нейронные сети давно уже умеют многое, не только работать с фотографиями. Но это, вероятно, одна из наиболее показательных демонстраций возможностей сетей. Еще более показательной является «кастомизация изображений» ИИ DeepDream от Google, хотя получаемые изображения являются несколько… психоделическими [2], скажем так.

Теперь же нейронную сеть научили окрашивать черно-белые фильмы. Об этом сообщил пользователь mar_cnu [3]. Соответствующий инструмент по расцвечиванию черно-белых фильмов создан именно его стараниями. И хотя результат нельзя назвать идеальным, все довольно неплохо.

В качестве исходного материала он выбрал трейлер старого французского фильма от 1964 года. Вот исходный фрагмент:

Разработчик объяснил свой выбор тем, что в трейлере есть все, что нужно — джунгли, река, люди, дома, дороги. Вот, что получилось после обработки видео:

Как видим, результат не идеальный, как и говорилось выше. Но одной из причин этого может быть само исходное видео. Оно нечеткое, как и все фильмы тех времен, зачастую на «картинке» все сливается, поэтому логично, что и у программы возникают затруднения.

Сделано все это было следующим образом:

1. Найдено исходное видео;
2. Исходник конвертируется при помощи вот этого сервиса [4];
3. Запускаем скрипт

for file in video/*
do
echo "$file"
th colorize.lua "$file" «color-${file%.jpg}.png»
done

4. ffmpeg -i «color-frame%04d.png» -c:v libx264 colorvideo.mp4
5. ffmpeg -i blackandwhitevideo.webm audio.mp3
6. 6) ffmpeg -i colorvideo.mp4 -i audio.mp3 -c:v libx264 -c:a copy -strict

Для сервиса, как верно заметили пользователи, самым сложным заданием является реализовать плавный переход между отдельными кадрами. Если поставить видео на паузу, часто удается «поймать» кадр с почти идеальными цветами. Но вот осуществить плавный переход между кадрами — это отдельная сложная задача.

Автор: marks

Источник [5]


Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/video/119613

Ссылки в тексте:

[1] публиковался материал: https://geektimes.ru/post/273824/

[2] психоделическими: https://habrastorage.org/getpro/geektimes/post_images/fef/1b3/886/fef1b388630c2b3fd9336a42d25ab878.jpg

[3] mar_cnu: https://www.reddit.com/user/mar_cnu

[4] этого сервиса: http://www.dvdvideosoft.com/products/

[5] Источник: https://geektimes.ru/post/275086/