Улучшение качества изображения с помощью нейронной сети

Сегодня, хочу рассказать об интересном подходе по улучшению качества изображения. Официальное название подхода Super Resolution. Улучшение качества изображения программными методами известно с начала появления цифровых снимков, но в последние 3 года произошёл качественный скачок, вызванный использованием нейронных сетей.

Пример улучшения качества изображения с использованием технологии Super Resolution.

Известно четыре основных подхода по улучшению изображения: prediction models (предсказательные модели), edge based methods (краевые методы), image statistical methods (статистические методы) и patch based (or example-based) methods (методы основанные на паттернах). Наилучшее качество дают patch based (or example-based) methods (методы основанные на паттернах).

В статье [1] впервые было предложено перейти от традиционного подхода, использующего набор фильтров к единой сверточной нейронной сети, работающей по принципу end to end.

Подход на основе сверточной нейронной сети объединил функции:

1) Извлечения и отображения патчей.
2) Нелинейного отображения.
3) Реконструкции.

Улучшение качества изображения с помощью нейронной сети - 2

Улучшение качества изображения с помощью нейронной сети - 3
Визуализация принципа действия нейронной сети и связь с методом разреженного кодирования [ 1 ]

Подход на основе сверточной нейронной сети позволил улучшить качество в сравнении с известными методами при сохранении высокой скорости срабатывания.

Улучшение качества изображения с помощью нейронной сети - 4
Качество и время срабатывания в зависимости от числа фильтров.

Согласно авторам исследования, архитектура сети влияла на качество больше, чем размер обучающей выборки.

Продолжением исследований в области улучшения качества изображения является работа [2] в которой рассмотрены более глубокие архитектуры c помощью которых удалось восстановить «испорченное изображение».

Улучшение качества изображения с помощью нейронной сети - 5
Слева – «испорченное изображение», центр – восстановленное изображение, справа – оригинал.

В работе [3], задача улучшения изображения решается с применением GAN.

Улучшение качества изображения с помощью нейронной сети - 6
Визуализация принципа действия GAN в задаче улучшения качества изображения [3]

Применение GAN позволило улучшить качество текстуры и сделало обработанные изображения настолько фотореалистичными, что визуально их тяжело отличить от оригинала.

Улучшение качества изображения с помощью нейронной сети - 7
Сравнение изображения, восстановленного с применением GAN и оригинала.

Технология Super Resolution уже используется в обработке изображений и видео. Так, компания Яндекс улучшила качество старых советских фильмов на кинопоиске, а компания Robin Video использует Super Resolution для улучшения качества изображения в облачном видеонаблюдении, чтобы клиенты использовали более простые и дешёвые камеры с сохранением качества картинки.

В следующих статьях постараюсь подробно рассказать о технической реализации подхода Super Resolution.

Ссылки на статьи

[1] arxiv.org/pdf/1501.00092v3.pdf ^[1]
Image Super-Resolution Using Deep Convolutional Networks
[2] arxiv.org/pdf/1606.08921.pdf ^[2]
Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections
[3] arxiv.org/pdf/1609.04802.pdf ^[3]
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

Автор: Кирилл Косолапов

Источник ^[4]

Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/algoritmy/280666

Ссылки в тексте:

[1] arxiv.org/pdf/1501.00092v3.pdf: https://arxiv.org/pdf/1501.00092v3.pdf

[2] arxiv.org/pdf/1606.08921.pdf: https://arxiv.org/pdf/1606.08921.pdf

[3] arxiv.org/pdf/1609.04802.pdf: https://arxiv.org/pdf/1609.04802.pdf

[4] Источник: https://habr.com/post/359016/?utm_source=habrahabr&utm_medium=rss&utm_campaign=359016

Нажмите здесь для печати.