Улучшение качества изображения с помощью нейронной сети

в 10:53, , рубрики: GAN, Super Resolution, Алгоритмы, машинное обучение, обработка изображений, сверточные нейронные сети, Читальный зал

Сегодня, хочу рассказать об интересном подходе по улучшению качества изображения. Официальное название подхода Super Resolution. Улучшение качества изображения программными методами известно с начала появления цифровых снимков, но в последние 3 года произошёл качественный скачок, вызванный использованием нейронных сетей.

Улучшение качества изображения с помощью нейронной сети - 1

Пример улучшения качества изображения с использованием технологии Super Resolution.

Известно четыре основных подхода по улучшению изображения: prediction models (предсказательные модели), edge based methods (краевые методы), image statistical methods (статистические методы) и patch based (or example-based) methods (методы основанные на паттернах). Наилучшее качество дают patch based (or example-based) methods (методы основанные на паттернах).

В статье [1] впервые было предложено перейти от традиционного подхода, использующего набор фильтров к единой сверточной нейронной сети, работающей по принципу end to end.

Подход на основе сверточной нейронной сети объединил функции:

1) Извлечения и отображения патчей.
2) Нелинейного отображения.
3) Реконструкции.

Улучшение качества изображения с помощью нейронной сети - 2

Улучшение качества изображения с помощью нейронной сети - 3
Визуализация принципа действия нейронной сети и связь с методом разреженного кодирования [ 1 ]

Подход на основе сверточной нейронной сети позволил улучшить качество в сравнении с известными методами при сохранении высокой скорости срабатывания.

Улучшение качества изображения с помощью нейронной сети - 4
Качество и время срабатывания в зависимости от числа фильтров.

Согласно авторам исследования, архитектура сети влияла на качество больше, чем размер обучающей выборки.

Продолжением исследований в области улучшения качества изображения является работа [2] в которой рассмотрены более глубокие архитектуры c помощью которых удалось восстановить «испорченное изображение».

Улучшение качества изображения с помощью нейронной сети - 5
Слева – «испорченное изображение», центр – восстановленное изображение, справа – оригинал.

В работе [3], задача улучшения изображения решается с применением GAN.

Улучшение качества изображения с помощью нейронной сети - 6
Визуализация принципа действия GAN в задаче улучшения качества изображения [3]

Применение GAN позволило улучшить качество текстуры и сделало обработанные изображения настолько фотореалистичными, что визуально их тяжело отличить от оригинала.

Улучшение качества изображения с помощью нейронной сети - 7
Сравнение изображения, восстановленного с применением GAN и оригинала.

Технология Super Resolution уже используется в обработке изображений и видео. Так, компания Яндекс улучшила качество старых советских фильмов на кинопоиске, а компания Robin Video использует Super Resolution для улучшения качества изображения в облачном видеонаблюдении, чтобы клиенты использовали более простые и дешёвые камеры с сохранением качества картинки.

В следующих статьях постараюсь подробно рассказать о технической реализации подхода Super Resolution.

Ссылки на статьи

[1] arxiv.org/pdf/1501.00092v3.pdf
Image Super-Resolution Using Deep Convolutional Networks
[2] arxiv.org/pdf/1606.08921.pdf
Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections
[3] arxiv.org/pdf/1609.04802.pdf
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

Автор: Кирилл Косолапов

Источник


* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js