AR-технологии на службе живописи

Я работаю бизнес-архитектором в области цифровой трансформации. С недавних пор в свободное время начала заниматься графикой и живописью,  создала цикл картин «Цифровое ОКО» с дополненной реальностью. AR-технологии дают зрителю возможность попасть в альтернативный мир, находящийся по другую сторону холста. В этой статье я расскажу, как совместить daytime job с профессиональным хобби и получить нечто настолько необычное, что у вас будет персональная выставка.

Я занимаюсь бизнес-аналитикой и бизнес-архитектурой, то есть помогаю нашим клиентам найти новые модели в части цифровой трансформации бизнеса. По образованию я программист. Но в определенный момент поняла, кодинг – это не мое, и стала развиваться в сторону аналитики. 

Идея симбиоза живописи с информационными технологиями пришла мне в голову как-то сама. Мне хотелось соединить два мира, в которых живу. И так получилось, что я написала несколько картин на которых были видеокамеры и вдруг я подумала, а куда они смотрят? Что если дать зрителю увидеть мир из-за полотна картины, показать, что видит изображенная на картине камера. И я решила вывести на экраны видеосъемку с камер, изображенных на картинах. Ведь основная тема цикла – наблюдение, главный образ которого – камеры. Но потом я вспомнила: «Есть же дополненная реальность». А это значит, что можно создать на основе картины отдельный мир, в который можно заглянуть, лучше понять смысл работы.

До возникновения идеи я не видела похожих проектов. Я даже проверила наличие подобных решений — не нашла. AR и VR в сфере искусства, конечно же применяются, но чаще всего эти решения находятся в зоне ответственности музеев, реже являются персональным проектом какого-нибудь молодого художника.

43°46'05.0''N 11°15'19.0''E

Например, в Детройтском институте искусств ^[1] с помощью платформы дополненной реальности Tango от Google можно заглянуть внутрь саркофага и восстановить стершиеся краски на экспонатах. А в Национальном музее естественной истории ^[2] в Вашингтоне посетителей отправляют в Юрский период с помощью системы дополненной реальности Broadcast AR ^[3]. В Государственной Третьяковской галерее на VR-экспозиции ^[4] посетители могут заглянуть в мастерские художников Наталии Гончаровой и Казимира Малевича, создать свою версию Шишкинского «Утра в сосновом лесу» и услышать «Крик» Мунка. Грехтен Эндрю, художница из Лондона, создала VR-проект Alternate Reality ^[5]. Автор при работе над картинами часто использовала Google Glass и снимала видео и фотографии процесса, а затем включала отснятый материал в VR. Посетитель надевал очки виртуальной реальности и видел историю создания картины. Помимо AR и VR более распространенными технологиями для оформления экспозиций являются проекции, интерактивные панели и экраны, QR-коды и RFID-метки.

Возвращаясь к своему проекту… С момента создания первой картины до проведения первой выставки «Цифровое ОКО» прошло чуть больше года.  Если мне не изменяет память, то идея с AR возникла в конце 2018 года. Тему с разработкой приложения я подняла за три месяца до первой выставки, которая была в мае 2019 года. И не потому, что разработать такое приложение сложно, а потому, что надо учитывать все риски, особенно в работе с новой командой. Видео мы тоже начали снимать где-то с марта. С разработкой приложения мне помогала группа профессиональных разработчиков.

55°55'13.9''N 37°32'59.7''E

Приложение дополненной реальности разработано на движке Unity с AR-библиотекой Vuforia. Благодаря этой технологии изображение, передаваемое камерой планшета, анализируется программным модулем компьютерного зрения, и по заданным уникальным признакам обнаруживает картины. Когда картина идентифицирована, загружается связанный с ней видеоконтент, положение которого в пространстве синхронизуется с положением картины. Если пользователь с планшетом двигается относительно картины, положение видео корректируется благодаря поступающей информации с акселерометров и гироскопов устройства и повторно уточняется с помощью системы компьютерного зрения. 

Нужно учитывать, что картины хорошо отслеживаются при условии, что зритель с планшетом стоит так, что вся картина помещается на экране. Если он будет стоять ближе и камера будет видеть только часть картины, то отслеживание может сбоить. Это зависит от того достаточно ли опорных точек попадает в видимость камеры.

С одной из картин возникла проблема: машинному зрению было сложно ее отследить, так как  в ней слишком мало контрастных точек и четких углов, которые являются опорными точками для машинного зрения. Я предпочла оставить картину без AR, нежели менять изображение на ней. Всё-таки картины первичны. И что самое забавное – на картине изображен Иисус. Зрителями эта ситуация воспринималась как некая мистика: Иисус не хочет распознаваться, да и вообще, не нужны ему никакие камеры, он и без них всё прекрасно знает.

44°18′47.9''N 09°10′30.95''E

История с дополненной реальностью скорее является перфомативной частью. Я не стала заливать приложения в Play Market и Apple Store, а предоставила на время выставки планшеты с заранее загруженным приложением. Во-первых, знаю по себе, не все любят устанавливать на свои смартфоны «одноразовые» приложения. Ни к чему напрягать людей. Во-вторых, мы все знаем, как непросто залить приложение в Apple Store. У кого Android и кто хочет установить себе приложение, тот может установить его через APK-файл ^[6]. Но учитывайте, что приложение весит достаточно много, в него загружено восемь высококачественных видео.

Конечно, лучше смотреть картины на выставке, но можно открыть мой сайт ^[7], загрузить приложение и посмотреть картины вместе с видео.

41°41'10.5''N 44°48'19.0''E

С видео мне помог мой двоюродный брат Алексей Алафьев ^[8] – очень талантливый фотограф, видеограф. Он не только организовал и осуществил профессиональную съемку, с ним вместе мы придумывали идеи. Я набрасывала темы, а он уже предлагал, как это лучше представить, визуализировать. И вот такой совместный результат у нас получился.

Кстати, он же автор видео моей первой выставки «Цифровое ОКО» ^[9].

42°43'00.9''N 12°06'48.0''E и 45°04'50.2''N, 6°30'61.0''E

Расскажу немного о концепции и самой выставке. «Цифровое ОКО» ^[10] – арт-проект с дополненной реальностью, который отражает влияние технологий на социум и размывание границ частной жизни. Уже состоялось два показа этого проекта. Первый являлся просто экспозицией картин с AR. После чего было решено развить идею до бОльшего проекта и задействовать дополнительных участников. Неотъемлемой частью открытия второго показа являлась перформативная программа. Постановка «Я. Они. Мы», которая включала иммерсивные элементы, рассказывает о нас с вами. Как мы подвергаемся манипуляции и стадному чувству, боимся индивидуальности и в тоже время не желаем выглядеть банальными. Мы способны быть сильными и противостоять тому, что лишает нас свободы.

55°45'42.8''N 37°36'12.1''E

Также зрителей ждал ханг-концерт MarsiAnka. Гармоничные, мягкие и ритмичные звуки ханга на интуитивном уровне возвращают нас к почти утерянному естеству. А завершал вечер выступление ди-джея.

Я думаю, что продолжу в своем творчестве тему влияния цифровых технологий на человека. «Цифровое ОКО» (камеры) – это лишь вершина айсберга. Меня волнуют социальные темы, как человек ощущает себя в современном мире, куда его приводит изменяющийся мир. Это тема поиска себя человеком. Но дополненную реальность вряд ли буду применять и дальше. Поиграла с трендами, удивила, впечатлила и хватит.

Мои коллеги из DTG ^[11] уже не раз бывали на моих выставках, и им понравилось. Один из наших разработчиков заметил, что когда на стене висят три картины и наводишь на них смартфон, то приложение считывает только какую-то одну картину. Он сказал, что это баг и его нужно исправить. Но на самом деле, так и было задумано. Три видео воспринимать сложно. 

Были еще профессиональные шутки про блокчейн, которым мы занимаемся. Предлагали записать историю создания картины в блокчейн.

Ещё приятно, что моими работами интересуются и журналисты. Кому интересно узнать больше о моем творчестве, то можете почитать интервью ^[12] в журнале «Сноб».

Творчество помогает моей работе. Повысилась способность концентрации, развилось умение видеть что-то новое, не только визуально, но и обращать внимание на детали. Творчество расширило мой кругозор, обогатило меня идеями и в аналитике тоже.

Я слежу за современным искусством. Особенно вдохновляют работы авангардистов и концептуальные проекты. А если по направлениям, то, наверное, авангардизм, гиперреализм, абстракционизм, сюрреализм, инсталляции и ready made искусство. Хотя не хочется умалять значение, например, постимпрессионизма, супрематизма, соц-арта и поп-арта. Меня вдохновляют картины моего ментора – Тимофея Смирнова. У него потрясающая графика с глубоким философским смыслом. 

Для меня написание картин – это не арт-терапия. Я не расслабляюсь в процессе написания. Мне интересен процесс, но больше – результат.  

Заходите на наш сайт ^[13] за вакансиями, кстати.

Автор: Тамара

Источник ^[14]