- PVSM.RU - https://www.pvsm.ru -
Программа Neural Doodle [1], сделанная на основе свёрточной нейросети, представляет собой скрипт doodle.py
, который генерирует изображения, принимая три-четыре картинки в качестве входных параметров. В том числе на вход подаётся простенький набросок (то что авторы называют «каракулями») и образец стиля с его наброском. Например, в случае с примером выше образцом стиля является такая картина Ренуара [2].
Нейросеть извлекает характерные стилевые особенности — и переносит их на набросок.
Вот ещё один пример.
Образец стиля от Клода Моне.
Для запуска программы нужен Python 3.4+, установленные библиотеки numpy
и scipy
, а также python3-dev
. Для работы скрипта потребуется предварительно обученная нейросеть [3] (VGG19, 80 МБ). Инструкции по установке локального окружения см. здесь [1].
Для рендеринга на GPU требуется хорошая карта Nvidia с поддержкой технологии CUDA и 2-4 ГБ памяти (для больших изображений — 8-12 ГБ). Рендеринг можно запустить и на CPU, в этом случае нужно примерно такое же количество оперативной памяти.
Конструкция нейросети описана в научной работе автора "Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks [4]", которую он подготовил для конференции nucl.ai Conference 2016.
Нейросеть использует алгоритм синтеза изображений, который предложен исследователями Чуан Ли (Chuan Li) и Майклом Вандом (Michael Wand) в научной работе "Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis [5]".
Автор: alizar
Источник [6]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/open-source/114627
Ссылки в тексте:
[1] Neural Doodle: https://github.com/alexjc/neural-doodle
[2] такая картина Ренуара: https://github.com/alexjc/neural-doodle/blob/master/samples/Renoir.jpg
[3] предварительно обученная нейросеть: https://github.com/alexjc/neural-doodle/releases/download/v0.0/vgg19_conv.pkl.bz2
[4] Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks: http://arxiv.org/abs/1603.01768
[5] Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis: http://arxiv.org/abs/1601.04589
[6] Источник: https://geektimes.ru/post/272430/
Нажмите здесь для печати.