Может ли ИИ напечатать годную модель на 3D-принтере?

в 8:03, , рубрики: 3d, selectel, ИИ и машинное обучение
Может ли ИИ напечатать годную модель на 3D-принтере? - 1

Мне надоели статьи о том, что все в мире можно поручить ИИ. И безумная идея, что все в мире можно напечатать на 3D-принтере, тоже надоела. Что ж, почему бы не объединить ИИ, 3D-печать и недовольство в одной статье, чтобы уж наверняка? Поехали! Заставим ИИ работать за спасибо, а потом оценим результат.

Важный дисклеймер. Эта статья ни в коем случае не носит информационный или просветительский характер. Все, что написано ниже — исключительно мой личный опыт. Я просто женщина с доступом в интернет и 3D-принтером, которая решила разворошить очередное осиное гнездо с ИИ-шной маткой внутри. Если у вас сервисы работали иначе — супер. К сожалению, сейчас бывают перебои и некоторые сайты лежат или ведут себя непредсказуемо. Вполне может быть, что мне просто не повезло, но все сложности при работе определенно повлияют на итоговое мнение, и вы с этим ничего не сможете сделать.

Немного ликбеза, или введение

Вай, что творится! Мы уже можем использовать ИИ для 3D-генерации. Рассказывать, как именно работают эти нейросети, я вам не буду, вам с радостью помогут в других статьях… Обманула, поверили? Конечно буду, давайте быстро пробежимся по поверхностной матчасти.

ИИ-модели для генерации 3D-объектов можно и нужно разделить на два основных класса.

Text-to-3D 

Нейронка, аки холоп, сделает все, что вы ей скажете. Но, как любой холоп, оставит способ выполнения и финальный результат на своей совести. Это чудесно работает, когда надо сгенерировать какой-то черновик или концепт, а еще подходит для быстрого прототипирования. Соответственно всегда есть шанс получить  в качестве результата сон при температуре 39.

При такой схеме ИИ-шка все равно пойдет по пути создания сначала 2D-арт, и уже по ней потом начнет генерировать геометрию.

Image-to-3D

По одной или нескольким фотографиям алгоритм восстанавливает форму объекта. Этот способ использует методы компьютерного зрения: нейросеть анализирует перспективу, текстуры и пытается «додумать» невидимые части объекта. Часто применяется для оцифровки реальных предметов (мебели, скульптур), создания 3D-аватаров или моделей товаров для интернет-магазинов. Или, как в моем случае, для попытки превратить фото Тирекса из интернета в нечто печатное.

Ремарочка: тут мы не рассматриваем генерацию текстур, рендеринг, стилизации и т. д., только путь с нуля до модельки.

Технологии генерации

Согласно обзорной статье, современные 3D-генераторы строятся на базе четырех основных типов моделей:

Архитектура

Принцип работы

Для чего выбрать

VAE (Variational AutoEncoder)

Сжимают 3D-данные в компактное представление, затем разжимают обратно.

Скорее можно сравнить с поиском в сохранениях, чем с полноценной генерацией. Больше подойдет для подготовки анимаций благодаря используемой интерполяции, но если вам нужно создать кардинально новую модель, то не подойдет.

GAN (Generative Adversarial Network)

Две нейросети соревнуются: одна генерирует, другая оценивает качество.

Самая быстрая генерация, подходящая для набросков, простых объектов, но качество  модели скорее всего помашет вам ручкой и больше не выйдет на связь.

AR (Autoregressive Models)

Предсказывают следующий «кусочек» модели на основе предыдущих.

Подходит для генерации сеток с правильной топологией (если важен контроль над построением вершин и ребер в модели), но может увлечься и преисполниться в своем познании сильнее, чем следует.

Diffusion Models

Постепенно убирают шум из случайного облака точек, превращая его в модель

Лучше всех подходит для  Text-to-3D, сделает вам чудесную текстуру и не спасует перед сложными формами (не факт, что  результат будет соответствовать ожиданиям, но генерировать будет очень самоуверенно).

Большинство современных сервисов (Tripo, Meshy, HiTech) используют гибриды  моделей — именно они дают тот самый «скачок качества» в последних версиях. 

Популярные гибриды:

  • VAE+GAN (высокое качество геометрии, но ресурсоемко), 

  • VAE+AR (должна быть отличная топология, но очень медленно генерируется и наличие ошибки в самом начале заруинит вам вообще все), 

  • Diffusion+GAN (высокая скорость, хорошее качество текстур и генерации, но учится сложно, да и контроль геометрии не такой как у VAE+GAN) .

Так технологии балансят болячки друг-друга, в отличие от Габсбургов.

Звучит круто, да? На практике у этих сетей несколько основных ограничений:

  • Артефакты и некорректная геометрия — модели нередко получаются с «дырами» или плавающими в воздухе деталями. Такое ощущение, что нейросеть учили на сломанных игрушках.

  • Текстуры могут быть размытыми, со швами и не всегда соответствовать материалу объекта. Тот самый случай, когда «сталь» на картинке выглядит как «пластилин, покрашенный серебрянкой». К счастью, для печати это не такой важный критерий.

  • Топология сетки нерегулярная: количество полигонов и их расположение случайны. Такая сетка годится разве что для того, чтобы поставить ее на полку и больше никогда не трогать. Для анимации она непригодна, для печати требует вмешательства шамана с бубном.

То есть на выходе чаще всего получается грубый эскиз. Последующая ручная доработка (ретопология, нормализация, текстурирование) практически неизбежна.

Поэтому я решила провести эксперимент, простой и глупый. Взять сурового хищника мезозоя, по совместительству нашего любимого и нежного Тирекса, и скормить его описание разным ИИ-генераторам. 

Моя цель — сделать максимально качественно ровно за то количество денег, которое я готова потратить на ИИ-генерацию. А именно — за ноль рублей. Поэтому тестируем только бесплатные лимиты. Зачастую это совершенно неверный подход, можно все проклясть, потратив кучу времени на мусорный результат. Никогда так не делайте, а лучше посмотрите, как плевалась я.

Может ли ИИ напечатать годную модель на 3D-принтере? - 2

Снижаем цены на выделенные серверы в реальном времени

Успейте арендовать со скидкой до 35%, пока лот не ушел другому.

Подробнее →

Истории, о которых невозможно молчать

Что меня вдохновило? Прежде чем мы перейдем к результатам генерации, хочу рассказать пару историй из жизни.

А часики-то не тикают

Один мой знакомый попросил напечатать на 3D-принтере стильные солнечные часы, сгенерированные нейросетью. На картинке было красиво: циферблат с римскими цифрами, изящный гномон.

Печатаем. Обнаруживаем, что все трое (я, он, ИИ) отличаемся умом и сообразительностью. А что случилось? Циферблат на модельке был выпуклым, а гномон — красивым, но кривым и расположенным строго вертикально. В реальном мире солнечные часы работают, только если наклон гномона проектируется с учетом широты местности. Так что время на данных часах относилось к категории «всегда неправильно, даже два раза в день».

Просто форма лица тяжелая

Был еще случай, когда сгенерировали модель лица. Но когда открыли сетку, оказалось, что она состоит из 40+ миллионов полигонов. На этом этапе пришло осознание, что мой ПК не тянет ААА-проекты. Мой комп не из худших представителей своего вида, но на этапе ремэша он вставал на колени много раз подряд.

Покатит? Вряд ли

Занятный случай — трубка, по которой должен был катиться металлический шарик. Мне в ночи присылают модельку с просьбой напечатать и указанием, что это вопрос жизни и смерти, ведь дедлайн почти наступил.

Внешне — отличная труба, ладненькая, но внутри нет совершенно никакого отверстия. Так еще и сетка с дырами. Пришлось скрепя сердце снова доставать из широких штанин покрытый холодным потом блендер и латать.

Почему именно Тирекс

Потому что это не просто «шарик в кубике». У него сложная геометрия: массивное тело , тонкие передние лапки (ручки, которые у нейросетей вечно растут не оттуда и не туда), есть хвост (в идеале один, но в процессе генераций были разные вариации), а еще тут есть буковки (с ними тоже возникли трудности). Если ИИ сможет адекватно сгенерировать такого твердотельного Тирекса, это будет просто невероятно удобно для дизайнеров и любителей печатных моделек. Если не получится — ну, хотя бы будет над чем посмеяться. В целом такой вопрос возник из желания делать бесплатно небесплатное. 

Меня интересует другой вопрос: а так ли это применимо на практике, в суровой реальности 3D-печати, как нам рассказывают в рекламных постах? Спойлер: да, но не очень.

Итак, вот наш запрос-картинка, которую будем отдавать нейросетям (соответственно, будем использовать Image-to-3D, чтобы все-таки было портретное сходство) . Можно было выбрать геометрию попроще, чтобы повысить шансы на успех. Но я взялась за эту затею не из желания заниматься полезными вещами.

Может ли ИИ напечатать годную модель на 3D-принтере? - 3

Подопытные

Чтобы не случилось обидной предвзятости по части выбора нейросетей для теста, я просто взяла усредненный топ из разных источников (их укажу в конце). Сама я ничего не выбирала, даже ИИ были выбраны ИИ, все как вы ненавидите любите. Сегодня на ринге следующие бойцы разных весовых категорий.

Tripo. Крупная платформа по созданию 3D-моделей для печати и геймдева

Типичный отличник с завышенной самооценкой в стиле «я все умею, я из облака». Создает модельку за 10 секунд, делает вид, что чистит топологию и вообще что он вам нужен больше, чем вы ему.

Смотрим результат:

Может ли ИИ напечатать годную модель на 3D-принтере? - 4

На мой неискушенный взгляд кривозубого обывателя, вполне неплохо.

Meshy. Товарищ для генерации 3D и текстур, которому за бесплатно стыдно пожать руку

Гик-красавчик, который обожает самые разные форматы фразы «за деньги — да» и PBR-текстуры с авторигингом. Нейросеть шустро генерирует из фото 3D-меш за пару минут, топология у новых версий очень даже приличная. Жалко,что для печати вы себе сможете сохранить только генерации старых версий.

Может ли ИИ напечатать годную модель на 3D-принтере? - 5

Выдал очень неплохой результат, но, к сожалению, потребовал денег, а за бесплатно дал скачать только модель от старой версии нейронки, которая еле-еле приемлемого качества, но подходит для выгрузки и печати. Таки-да, оскорбила мои бесплатные чувства.

3DAIStudio. Обещал многое, но мне выдал только ошибки (упомянут ради приличия) 

Мой разгон от «О, новый инструмент!» до «Спасибо за симулятор ошибок, идите $*&@^» случился быстрее, чем хотелось бы.

Смотрим результат генерации:

Может ли ИИ напечатать годную модель на 3D-принтере? - 6

Кнопка «Сгенерировать» — ложь и провокация. Ты нажимаешь, сервер думает пару секунд... и выдает Generation Failed Error. Причины? Да кто ж их знает. По документации — «перегруз сервера, неверный ввод или проблемы с сетью». То есть у вас может быть все ок с сетью, промпт как в учебнике, но просто не судьба. Попытки добиться справедливости сгорают, как еретики в средневековье.

HiTech 3D. Темная лошадка, которую посоветовал интернет

Выбор смельчаков, которые устали от мейнстрима и хотят острых ощущений. Иногда выдает идеальный объект для печати или геймдева.

Может ли ИИ напечатать годную модель на 3D-принтере? - 7

Сравнение 

Если ваша задача — получить модель для печати (FDM/FFF или полноцветной), требования проще, чем для игр. Вам не нужен риггинг или LOD. Но модель все равно должна быть без дыр и с достаточной толщиной стенок (обычно >1–2 мм, в зависимости от принтера и сопла). HiTech 3D в этом плане — неожиданный лидер: дыр нет, полигонов в меру (по меркам ИИ, не плюйте мне в лицо), можно сразу печатать.

Перед отправкой на принтер всегда проверяйте:

  • замкнутость сетки (нет ли дыр, через которые слайсер увидит пустоту) — HiTech с этим ок, Tripo и Meshy — не очень;

  • толщину стенок (тонкие места просто не пропечатаются или отвалятся);

  • нормали (они должны смотреть наружу, иначе слайсер сойдет с ума);

  • пересечения геометрии (могут создать внутренние напряжения).

Примерно так выглядят наши подопытные. Динозавра Meshy знатно потрепало. Т. к. возможность скачивать модель есть только для старых версий, в данном случае качество разительно отличается.

Сводная ведомость

Tripo

Может ли ИИ напечатать годную модель на 3D-принтере? - 8

В целом результат приятно удивил, сохранена сложная геометрия. На генерацию уходит до 3 минут. Дыры есть, но немного. Бесплатных попыток вроде хватает за счет неплохого качества генерации.

Meshy

Может ли ИИ напечатать годную модель на 3D-принтере? - 9

Неплохой результат на платной модели, но на бесплатной оставляет желание добить, чтобы не мучалось. 3–5 минут вашего времени, дыры в сетке, а бесплатные попытки закончатся быстрее, чем вы успеете создать что-то адекватное.

HiTech

Может ли ИИ напечатать годную модель на 3D-принтере? - 10

В целом — ничего, но выглядит как лоуполи, несмотря на непорядочное количество полигонов. Не справился с текстом совсем, читать не умеет. Еще и работает медленно: под чаечек-кофеечек и думскроллинг рилсов пойдет, потребовалось 10–12 минут. В сетке дыр нет, что особенно хорошо, если учесть, что бесплатные попытки очень быстро заканчиваются.

А где 3DAIStudio?

Он  ушел за хлебом и не вернулся. Его вычеркиваем.

Что в итоге-то

И вот тут начинается самое интересное. Все ждали, что даже в случае успеха придется править геометрию, дырявить стенки или спасаться плагинами для слайсеров. Ан нет. Фото напечатанного подопытного без  какой-либо механической постобработки:

Может ли ИИ напечатать годную модель на 3D-принтере? - 11

Фигурка, сгенерированная HiTech 3D, после экспорта выглядела… странно нормально. Топология? Какая топология….ммм… Но! Слайсер не выдал ни единой ошибки. Поддержки встали идеально. Сама печать прошла без соплей, без отрывов. Я до сих пор не понимаю: то ли это удачно сгенерировалась модель, то ли мы просто свидетели чуда техногенной природы. Но факт остается фактом: «неопознанный сгусток пикселей» превратился в физический объект, который можно  поставить на полку.

Конечно, ожидания от всей этой затеи были другими.

Может ли ИИ напечатать годную модель на 3D-принтере? - 12

Финальный вердикт

И самое главное: это все сугубо субъективно. Я тестировала то, что интересно мне, на конкретном промте с конкретным зверем. Возможно, на генерации вазочек или абстрактных скульптур все пойдет по-другому. Но для моделей со сложной анатомией, когда в кошельке свистит ветер, а напечатанного на 3D-принтере Тирекса хочется, расклад такой:

  • Хотите сразу печатать и готовы потерпеть медленную генерацию и лоуполи-визуал? Берите HiTech 3D. Он даже дал сетку без дыр.

  • Хотите накидать идей и поковыряться в блендере, разгребая полученное? Берите Meshy или Tripo.

  • Хотите, чтобы было красиво, быстро и не жалко денег? Tripo с подпиской, и будет вам счастье.

  • Хотите просто сжечь время и лимиты? 3DAIStudio — лучший путь возненавидеть ИИ-генерации.

Я бы хотела разразиться проклятиями, но вынуждена признать: да, ИИ умеет генерировать 3D. Да, это быстро и иногда красиво, но рассчитывать на то, что вы получите готовый к печати продукт по кнопке, пока не приходится. Дыры в геометрии, кривая топология, артефакты и полное непонимание физики реального мира — это то, с чем вы столкнетесь с очень высокой долей вероятности. Бесплатные сервисы дают хорошую черновую модель, но допиливать чаще всего придется своими руками.

Относитесь к ИИ-генерации как к продвинутому поиску референсов или быстрому способу получить болванку для дальнейшей работы. И тогда разочарований будет меньше, а полезных (и не очень) моделей — больше.

Кстати, вот материалы, которые мне помогли при поисках:

Автор: BinTERnik

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js