«Тайна третьей планеты» с улучшенной нейросетями графикой

в 14:39, , рубрики: искусственный интеллект, машинное обучение, нейросети

Заметил, что у Хабра есть интерес к теме улучшения графики в старых играх.

Я как раз сделал мод графики для первой готики.

А недавно, решил схожим методом улучшить графику в любимом с детства мультфильме — "Тайна третьей планеты".

Тут кадры-сравнения.

А ниже результат:

Расскажите, стоит ли этим заниматься. Надо ли это кому-то? Или классику лучше не трогать?

Использовались следующие технологии:

  • FFMPEG
  • ESRGAN
  • Gigapixel AI

А теперь немного о том, как это делалось, ведь мы на {абре.

Смотрим доступные форматы на ютубе

youtube-dl -F https://www.youtube.com/watch?v=ИДЕНТИФИКАТОР

Качаем нужные форматы (аудио и видео)

youtube-dl -f 11 https://www.youtube.com/watch?v=ИДЕНТИФИКАТОР

Проверяем фреймрейт файла

ffprobe -v error -select_streams v -of default=noprint_wrappers=1:nokey=1 -show_entries stream=r_frame_rate input.mp4

Раскадровка

ffmpeg -i "input.mp4" -start_number 0 -vf fps=25 "convert/capture-%002d.png"

Далее стандартная процедура увеличения кадров с помощью нейросети.

Склеивание из png + аудио

  • без заданного разрешения - ffmpeg -framerate 25 -i convert/capture-%002d.png -vb 20M -i audio.webm -vcodec mpeg4 -y "ffmpegtest.mp4"
  • с заданным разрешением - ffmpeg -framerate 25 -s 900x720 -i convert/capture-%002d.png -vb 20M -i audio.webm -c:v libx264 -pix_fmt yuv420p -crf 23 -y "ffmpegtest3.mp4"

Автор: slimper

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js