Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях

в 20:25, , рубрики: Deep Photo Style Transfer, neural style, Демосцена, искусственный интеллект, нейросеть, перенос стиля, Фототехника

Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 1

Когда-нибудь в будущем мы сможем надеть очки — и ходить по городу, который рендерится в реальном времени в том стиле, какой нам нравится. Солнечный свет или лёгкая дымка, вечерний закат, что угодно. Независимо от того, насколько унылая архитектура — в очках она будет прекрасной. Такие возможности рендеринга с перенесением стилей открывает потрясающая программа Deep Photo Style Transfer, которая опубликована в открытом доступе, также как и научная работа, лежащая в её основе (arXiv:1703.07511).

Перенос стиля с одного изображения на другое — старая проблема, которую относительно успешно пытались решить разработчики в прошлом. Правильно подобрав образец для переноса стиля, можно красиво трансформировать свою фотографию — как будто она сделана в другое время суток, под иным освещением, в другую погоду или специальным образом художественно обработана. До настоящего времени техники переноса стилей с помощью нейросетей были относительно ограниченными — или они могли работать только с определёнными сценами, или страдала правдоподобность переноса стилей. Авторы новой программы Deep Photo Style Transfer постарались решить все эти проблемы.

Нейросеть Deep Photo Style Transfer построена в соответствии с техникой переноса стилей Neural Style, описанной в работе Гэтиса, но значительно переработана и улучшена. Главное улучшение заключается в фотореалистичности. У Гэтиса даже если исходное изображение и образец являются фотографиями, конечное изображение всё равно напоминает рисунок, где чёткие линии и границы становятся размытыми, а текстуры накладываются на соседние объекты. Выглядит красиво, но не очень реально.

Только цветовое пространство

Результат работы Deep Photo Style Transfer строго фотореалистичен. «Эффекты живописи» устранили за счёт запрета на пространственные искажения. Здесь перенос стилей ограничен только цветовым пространстве. Другими словами, формы объектов остаются точно такими же, как в оригинале. Именно по этой причине в будущем станут возможными «очки», о которых говорилось в начале статьи. Все объекты в окружающей реальности сохранят свои очертания, просто будут выглядеть в другом стиле.

Поставленной задачи авторы добились, использовав специфичный слой нейросети в духе матрицы Кирхгофа (Laplacian matrix) — представления графа в виде матрицы. Как показала проверка на фотографиях с различными сюжетами, такой подход успешно подавляет искажения, в то же время оказывая минимальное влияние на достоверность фотографий.

Наиболее наглядно описанный принцип проявляются в двух специально подобранных примерах.

Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 2

Как видим, границы объектов чётко сохраняются. Преобразование происходит только в цветовом пространстве. В первом случае стиль огня переносится на флакон с духами, а во втором случае меняется текстура яблок в соответствии с шаблоном.

Семантическая сегментация

Второе достижение авторов программы — решение проблемы с переносом стиля между неподходящими объектами на исходной фотографии и образце стиля. Это сделано за счёт семантической сегментации. Поэтому стили домов переносятся только между домами, и стиль неба влияет только на небо. Во многих случаях семантическая сегментация очень эффективно работает, если только на образце стиля есть те же семантические объекты, что на исходном изображении.

Два вышеупомянутых подхода обеспечили исключительно реалистичное преобразование фотографий.

Оригинал
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 3

Образец стиля
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 4

Итоговое изображение
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 5

Вот ещё несколько примеров.

Оригинал
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 6

Образец стиля
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 7

Итоговое изображение
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 8


Оригинал
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 9

Образец стиля
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 10

Итоговое изображение
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 11


Оригинал
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 12

Образец стиля
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 13

Итоговое изображение
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 14


Оригинал
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 15

Образец стиля
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 16

Итоговое изображение
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 17


Оригинал
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 18

Образец стиля
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 19

Итоговое изображение
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 20


Оригинал
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 21

Образец стиля
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 22

Итоговое изображение
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 23


Оригинал
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 24

Образец стиля
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 25

Итоговое изображение
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 26


Оригинал
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 27

Образец стиля
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 28

Итоговое изображение
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 29


Оригинал
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 30

Образец стиля
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 31

Итоговое изображение
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 32


Оригинал
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 33

Образец стиля
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 34

Итоговое изображение
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 35


Оригинал
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 36

Образец стиля
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 37

Итоговое изображение
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 38
Качество работы такого алгоритма можно определить только по результатам опроса пользователей, которые оценивают фотореализм и достоверность передачи стиля. Такой опрос бы проведён. Он показал, что по уровню фотореализма Deep Photo Style Transfer значительно превосходит представленные ранее разработки Neural Style и CNNMRF, но уступает системе передаче цвета Пити. По достоверности передачи стиля Deep Photo Style Transfer намного лучше других методов.

Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях - 39

Авторы научной работы намерены продолжить исследования, чтобы преодолеть существующие ограничения сегментации изображений. Они также считают перспективным направление обработки фотографий в реальном времени с помощью предварительно обученной нейросети.

Автор: alizar

Источник

Поделиться

* - обязательные к заполнению поля