- PVSM.RU - https://www.pvsm.ru -
Вот что бывает, если вы споткнётесь во время съёмки
Мы в Туту почти полгода проводили конкурс на самый необычный памятник в России. У нас в стране есть и памятник клавиатуре в Екатеринбурге, и всегда метущий к вам спиной дворник, и лабораторная мышь, которая вяжет ДНК в обратную сторону, и двухметровый комар, и вообще что угодно.
Мне хотелось обеспечить одинаковые условия с точки зрения оценки памятника для всех на голосовании. Не такие, чтобы зависели от фотографа, погоды на месте, времени суток и кривизны рук, а реально привести всё к некоему общему знаменателю. В рекламе такой вопрос решается просто рендером вместо фото.
Ну я взял и предложил отснять каждый памятник и сделать 3D-модель автоматически на основе фотографий — что-то вроде 3D-сканирования кроссовок, только для памятника. На первый взгляд задача выглядела исполнимой, если у вас есть доступ к большому сообществу путешественников из разных городов. У нас есть.
Но тогда я ещё не знал, что некоторые памятники придётся лепить из пластилина дома, некоторые «отрывать» от опоры, а некоторые находятся на закрытой территории какого-нибудь мирного производства между двумя городами в Сибири.
В общем, я хочу поделиться с вами STL-моделями с лицензией для некоммерческого использования 10 памятников-финалистов конкурса. И рассказать про ощупанные грабли в фотограмметрии, позволяющие делать такие операции в очень разумном бюджете. Бюджет был 2500 рублей на модель.
Сначала мы пошли по доступным недалеко от нас случайным памятникам, чтобы понять, как именно нужно писать инструкцию тем далёким от ИТ и фотографии людям, которые взялись нам помогать со съёмкой памятников.
Суть метода — взять камеру, трижды обойти памятник по кругу со средней, нижней и верхней точек, чтобы памятник всегда полностью был в кадре, плюс потом доснять детали вроде внутренних элементов.
Если памятник высокий – всё снизу, если ниже человеческого роста или есть дрон – можно и покружить сверху.
Снимать можно на что угодно — начиная от GPS-дрона (дорогого в аренде и сложного в обращении) и заканчивая телефоном, который есть у всех. На практике после ряда опытов оказалось, что снимать лучше всего на простую, но всё же зеркальную камеру с распространённым (лучше всего китовым) объективом. На дорогую беззеркалку тоже можно, но где ж её на Руси взять-то. Почему важен распространённый объектив и зеркалка — потому что шагом дальше нам понадобятся RAW-файлы, которые мы загоним в Лайтрум, где сверху будет наложен корректирующий профиль для объектива, исправляющий геометрию. Если такой профиль не найдётся или будет каким-то творчески-редким, то мы потеряем в точности и модель может неожиданно превратиться в тыкву.
Вот пример превращения в тыкву:
Узнаёте памятник «Свидание», где мужик с цветами летит навстречу любви? Нет? А должны. Правда, здесь девушка упала со стремянки во время съёмки.
Вот с такого ракурса, наверное, более понятно:
Итоговая STL с ним рендерится вот так. Памятник, кстати, занял второе место в конкурсе. История с ним отличная: вроде бы сначала он летел через дверь с пиццей, потом пиццу заменили на букет роз, букет роз — на букет полевых цветов и неправильно поставили, углубив на лишние полметра, после чего памятник начал бить этими ромашками прохожих по голове:
А ещё нам важно будет вытаскивать детали в тенях, убирать хроматические аберрации, добавлять резкость и обесцвечивать зелень. Часть памятников, которые снимали ближе к концу конкурса, уже была под сибирским снегом. Снег решался не в Лайтруме, а закрашивался поверх текстуры в Substance Painter, но про это дальше.
Итак, чтобы собрать памятник, нужно сделать на типовой объект три круга:
1. Со средней точки.
2. С нижней точки.
3. С верхней точки.
Ещё бывают детали внутри памятников, тогда нужно плавно зайти, снимая, и плавно выйти, снимая. Во все полости после кругов плавно выходим и заходим, чтобы сдвиги между кадрами были минимальными, потому что этот шайтан-софт должен посчитать вектора сдвига в каждом кадре и понять, как изменилась координата фотографа.
Настоящие профессионалы используют опорную RTK-станцию, но мы же работаем силами сообщества, помните?
Снимаем на широкоугольник. Лучше всего 18 мм или 24 мм на 1,6 кропе. Диафрагма закрыта до 7,1 или 9. Есть проблемы с объективами 50 mm fix: например, в основном на них снимали мелкие памятники, и почти при любом диафрагменном числе часть памятника выпадала за границу резкости, и софт тупил. Если памятник высотой до метра, можно снимать даже на диафрагменных числах 9-11, но дальше будут ухудшаться края модели.
Вот так собрались панда и медведь, дружба России и Китая навек. Только постамент:
В итоге мы заказывали моделинг этих медведей 3D-скульптору, потому что это не собралось уже после второй съемки. Выглядят они вот так:
Памятники сделаны из разных материалов. Лучше всего бетон (не для памятника, для съёмки). Бетон надёжен, как Борис Бритва. Бетон обладает массой и почти не бликует. Но бывают памятники из металла и с блестящими краями. Блики с точки зрения софта — это дырки в модели.
Поэтому мы стараемся поймать пасмурную погоду (это когда небо затянуто тонким слоем облаков и представляет собой огромный рассеиватель для солнца, то есть свет идёт отовсюду, практически лучший портретный свет). При этом погода должна быть стабильной, потому что съёмка занимает какое-то время и изменение света и цвета нам не очень нужно. Пасмурная погода убирает суперблики. Места с серебрянкой всё равно будут выгибаться на моделях внутрь, и это придётся править руками, но за счёт погоды можно отыграть очень много качества на автоматической сборке. Кто-то может спросить: а почему вы не использовали матирующий спрей? Всё по той же причине краудсорсинга: у нас обычные люди, которые могут неправильно его нанести, плюс потом его же надо счистить щёткой. А в этой ситуации полиция может принять фотографа за вандала.
Для тех памятников, которые не сильно превышают человеческий рост, нужна стремянка для третьего круга и съёмки макушки памятника. Под конец конкурса мы научились текстурировать недостающие макушки, чтобы камера крутилась не только в горизонтальной плоскости, да и ребята набили уже руку, и эти допдействия не требовали сильного увеличения времени обработки.
Идеальному сферическому памятнику нужно 18 кадров в один круг. Один идеальный памятник был бы — это глобус. Если бы он был с человеческий рост. Но из-за громадных размеров пришлось снимать его с коптера.
Всё остальные сложнее. Вот якутский дворник из Безликих (с другой стороны он точно такой же), на него нужно уже около сотни кадров:
А вот комар-нефтесос из Ноябрьска, он требует уже большего числа кадров. Он занял третье место в конкурсе. Я сейчас в очередной раз смотрю на ноги нефтесоса, и мне снова хочется плакать. Наши модели неидеальные, конечно, а этот ещё и сильно бликовал всеми своими частями:
И наш рекордсмен — Горыныч из Липецка, два прохода по 700 кадров, и всё равно сырая модель была вот такая:
Из-за количества фотографий подхватывалось небо с облаками, которое не было статичным, поэтому вышло что вышло:
Финал для сравнения вот:
Горыныча и подобные памятники собирали долго. Дракона 3 дня, сначала закинули, прогнали, получилось много мусора. Во второй прогон почистили, оставив треть от общего количества кадров. В третий подход сделали примерно для 100 кадров маски (то есть вырезали в фотошопе, целый день в 4 руки этого змея, максимально чисто), и вот после масок на третий день у нас получилась более-менее чистая сборка.
Про Горыныча мы узнали, что в качестве референса для лепки дракона использовалась какая-то старая игрушка, но достать её не удалось, да и скульптор отошёл от неё достаточно далеко. Скажем так, по ней он изучал анатомию этого зверя и его пластику.
А ещё у нас оказалось очень много памятников с кучей деталей. Буквально, из кучи деталей:
Монумент «Время». Магаданская область, Магадан.
Вот такой вышел в финал:
Скульптура «Динозавр». Псковская область, Опочка.
В этом месте вы можете спросить меня: неужели нельзя было попросить у скульпторов, заказчиков или авторов идей модели, по которым они это делали? Отвечаю: удивительно, но моделей ни у кого не было. Более того, как мы говорили со скульпторами и владельцами памятников, они с радостью соглашались раскрыть модели для некоммерческого использования, потому что оцифровка памятника для них огромный плюс.
Но была пара исключений. Во-первых, в Новосибирске на территории НИИ стоит мышь, которая плётет ДНК. Вот про неё учёные сказали, что они сами сделают фотограмметрию и пришлют. И сделали. И прислали модель.
Сначала попробовали демоверсию 3DZephirus. Реклама говорит, что они там все просто боги, с ним собирается всё отлично и вообще надо быстрее покупать. Хорошо, что есть демка. В общем, берёте любой опенсорсный пакет (в нашем случае Meshroom) — и на наших входных фотографиях всё собирается в сотни раз лучше. Прощай, 3DZephirus, спасибо за сэкономленные 3000 долларов. В защиту этого ПО отмечу, что студийную съёмку с выверенными до миллиметра сдвигами он действительно собирает лучше других. Но это не наш случай.
Потом я увидел, как мой знакомый собрал кроссовки для рекламного ролика с помощью
Agisoft Metashape. Про этот пакет есть хороший перевод на Хабре, вот он [1]. Нашли ещё одну софтину за 699 рублей в месяц RealityCapture (отличный софт, собирающий в 2 клика, в большей части сборки использовали её в итоге). И увидели бесплатный Meshroom. Он с открытым кодом, по сути, похоже на автодесковый набор, чтобы модель зачищать. И зачищает идеально. В итоге мы собирали памятник через Agisoft, Meshroom, RealityCapture (самый простой из всех с отличным результатом, перешли под конец на него) и чистили в Meshmixer (тоже свободный от Автодеска).
Потом выяснилось, что энтузиасты, горевшие желанием нам помочь, иногда нет-нет, да отходили от методологии. Мы прописали очень подробный документ, как готовить камеру, как снимать, но, оказывается, нужно не только говорить «как надо в идеальном случае», но и описывать типовые ошибки. Типовой ошибкой было показать нам какие-то детали сборочному софту дополнительно или сэкономить круг, потому что и так всё понятно.
Кто-то не знал, что закрытие диафрагмы — это увеличение диафрагменного числа, а не уменьшение. Стали указывать конкретнее, потому что есть путаница даже между F и f.
Для кого-то выдержка «меньше (короче) 1/100» оказывалась 1/20, потому что 20 меньше 100. Или вот звонок «Я отснялся, но у вас тут написано снимать в RAW, я в JPG, ничего? Он тоже крутой, но только немного в темноте руки памятника, ничего, да?»
Довнесли мысли, что если уж ты начал круг, то идти надо до конца, не отвлекаясь на полости памятника. Некоторые объекты из-за этого переснимали 3 раза. Примерно вот так бывает при нарушении пути (Памятник «Сантехник Степаныч». Омская область, Омск):
С видео собирать плохо, потому что практически каждый софт режет его на кадры и использует их как опорные. Есть ПО, которое умеет использовать каждый кадр и даже из двух соседних восстанавливать картинку более высокого разрешения, чем два исходных, но это совсем не наши задачи и не наши бюджеты.
Здесь владелец памятника снимал сам, не собиралась карта РФ под ногами. Самое простое решение — ограничивать ось вращения камеры. Этот памятник можно смотреть только по кругу, без залётов вверх и вниз:
Вот тамбовский волк. Его сняли на восходе, было очень много засветов сзади, долго правили. Суть такая, что снимали спину на восходе против солнца и ловили в объектив жёсткие блики «зайцы», поэтому собиралось плохо.
Шоколадная фея из Покрова: снимали тоже на рассвете. Памятник бронзовый, люди его трут. Много пересветов в тех местах, где бронза натёрта:
Дерево желаний в Брянске: ангела можно снять только с коптера, его пришлось моделировать вручную по фотографиям.
Изначально пробовали слепить такого же своими руками из пластилина и отсканить по фотограмметрии в студии. В итоге оказалось проще смоделировать:
Мы купили две модели: это памятник «Чижик» (очень маленький, его моделировали по фото фактически) и голову Ленина в Бурятии. Потому что голова Ленина ну очень большая и очень сферическая, там нужен был коптер. Ещё 16 были замоделены нами: например, памятник клавиатуре легче нарисовать с нуля по фото, чем сделать фотограмметрию. Здесь нам очень помогли студенты-практиканты, которые учились на 3D-дизайнеров.
Были проблемы, когда какой-то конкретный памятник не собирался с ошибкой ПО. Просто берёт и не собирается. С этой же камеры другой собрался, а на нашем падает. Идём на форум Агисофта, спрашиваем. Нам говорят: а, известная история на Radeon, обновите дрова. А у нас они самые новые, и вообще nVidia. А нам: нет, на ней такой ошибки в принципе быть не может. Купите Радеон и обновите дрова.
Некоторые памятники нельзя обойти целиком, если они у стены или обрыва. Терминатора из Глазова нужно печатать со стеной.
Собака Дружок из Благовещенска — он прилеплен к граниту борта рядом с речкой. За ним лесенки. Чтобы нормально снять — только дрон, по факту нет нормального круга:
Реактивный поезд в Твери частично замоделен, благо отдельные компоненты уже были почти готовыми — взяли поезд, поставили движки:
В финал вышли вот эти памятники:
А победил в конкурсе памятник тувинской письменности, который находится в музее-заповеднике «Белдир-Кежии»:
Вот файлы моделей для закачки [2] (65 Мб). Это STL-файлы, доступные по лицензии CC BY-NC, то есть вы можете использовать модели для обучения, печати фигурок для личного пользования, но не можете получать выгоду из их использования или включать в производные произведения, которые будут использоваться для получения выгоды.
Посмотреть все 3D-модели 100 памятников в плеерах можно вот здесь [3].
А я напоследок хочу ещё раз сказать огромное спасибо всем тем, кто помогал собирать данные о памятниках по всей стране. Огромное спасибо вам!
Автор: Сергей Котельников
Источник [4]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/news/360870
Ссылки в тексте:
[1] вот он: https://habr.com/ru/company/coptertime/blog/373911/
[2] Вот файлы моделей для закачки: https://www.dropbox.com/s/u6bczq7sdty0n0z/3Dmodels.rar?dl=0
[3] вот здесь: https://art.tutu.ru
[4] Источник: https://habr.com/ru/post/538394/?utm_source=habrahabr&utm_medium=rss&utm_campaign=538394
Нажмите здесь для печати.