- PVSM.RU - https://www.pvsm.ru -
Представлем вашему вниманию перевод статьи «PIFR: Pose Invariant 3D Face Reconstruction [1]».
Во многих реальных приложениях, включая обнаружение и распознавание лиц, генерацию 3D-смайликов и стикеров, геометрию лица необходимо восстанавить из плоских изображений. Однако эта задача остается трудной, особенно когда большая часть информации о лице непознаваема.
Цзян и Ву из Университета Цзяннань (Китай) и Киттлер из Университета Суррея (Великобритания) предлагают новый алгоритм 3D-реконструкции лица — PIFR [2], который значительно увеличивает точность воссоздания даже в сложных позах.
Но давайте сперва кратко рассмотрим предыдущие работы по 3D-маскам и реконструкции лица.
Авторы упоминают четыре общедоступные метода морфирования 3D-маски:
В статье используется модель БМЛ, которая является наиболее популярной.
Есть несколько подходов к воссозданию 3D модели из плоского изображения, в том числе:
В статье Цзян, Ву и Китлера предлагается новый алгоритм постановки инвариантного 3D-воссоздания лица — ПИВЛ (Pose-Invariant 3D Face Reconstruction — PIFR), основанный на методе 3DMM.
Во-первых, авторы предлагают генерировать фронтальное изображение, нормализуя одно входное изображение лица. Этот шаг позволяет восстановить дополнительную идентификационную информацию лица.
Следующим шагом является использование взвешенной суммы 3D-признаков двух изображений: фронтального и исходного. Это позволяет не только сохранить позу исходного изображения, но и расширить идентификационную информацию.
Схема предлагаемого подхода:
Эксперименты показывают, что алгоритм ПИВЛ значительно улучшил производительность 3D воссоздания лица по сравнению с предыдущими методами, особенно в сложных позах.
Рассмотрим предложенную модель подробнее.
Метод ПИВЛ в значительной степени опирается на процесс подгонки 3DMM, который можно выразить как минимизацию ошибки вычисления координат 3D-проекций ключевых точек. Однако лицо, созданное 3D-моделью, имеет около 50 000 вершин, и поэтому итерационные вычисления приводят к медленной и неэффективной сходимости.
Чтобы преодолеть эту проблему, исследователи предлагают использовать ключевые точки (например, центр глаза, угол рта и кончик носа) в качестве основной истины в процессе подгонки маски. В частности, используется взвешенный ориентир 3DMM подгонки.
Верхний ряд: исходное избражение и ориентир. Нижний ряд: 3D-модель лица и ее выравнивание на 2D-изображении
Следующая задача — воссоздать 3D-маску лица на крупном плане. Чтобы решить эту проблему, исследователи используют метод высокоточной нормализации позы и выражения (ВНПВ), но для нормализации только позы, а не выражения лица. К тому же, редактирование Пуассона [12] применяется для восстановления области лица, закрытой из-за угла обзора.
Результативность метода ПИВЛ была оценена для воссоздания лица:
Для этого исследователи использовали три общедоступных датасета:
Используя Среднюю Евклидову Метрику (СЕМ), в исследовании сравнивается производительность метода PIFR с E-3DMM и FW-3DMM в наборах данных AFW и lfpw. Кривые распределения накопленных ошибок (РНО) выглядят следующим образом:
Сравнение кривых распределения накопленных ошибок (РНО) в наборе данных AFW и LFPW
Как видно из этих графиков и таблиц ниже, метод ПИВЛ показывает превосходную эффективность по сравнению с двумя другими методами. Особенно хороша это эффективность воссоздания для крупных планов.
Метод также был оценен качественно на основе фотографий лица в разном положении из набора данных AFLW. Результаты показаны на рисунке ниже.
Сравнение 3D-воссоздания лица: (a) исходное изображение; (b) FW-3DMM; (с) E-3DMM; (d) предлагаемый подход
Даже если половина ориентиров не видны из-за нетривиальной позы, что приводит к большим ошибкам и провалам других методов, метод PIFR всё еще хорошо работает.
Ниже приведены дополнительные примеры эффективности метода ПИВЛ на основе изображений из набора данных AFW.
Верхний ряд: ввод 2D-изображения. Средний ряд: 3D-маска. Нижний ряд: выравнивание маски
Новый алгоритм реконструкции лица ПИВЛ дает хорошие результаты воссоздания даже в сложных позах. Принимая как исходные, так и фронтальные изображения для взвешенного слияния, метод позволяет восстановить достаточно информации о лицах для воссоздания 3D-маски.
В дальнейшем исследователи планируют восстановить еще больше информации о лице, чтобы повысить точность воссоздания маски.
Оригинал [1]
Перевел — Фарид Гасратов
Автор: Neurohive
Источник [13]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/3d-modelirovanie/301013
Ссылки в тексте:
[1] PIFR: Pose Invariant 3D Face Reconstruction: https://neurohive.io/en/state-of-the-art/pifr-pose-invariant-3d-face-reconstruction/
[2] новый алгоритм 3D-реконструкции лица — PIFR: https://arxiv.org/abs/1811.05295
[3] модель БМЛ: https://gravis.dmi.unibas.ch/publications/2009/BFModel09.pdf
[4] модели 3DMM: https://arxiv.org/pdf/1209.6491.pdf
[5] 3D модель лица с мульти-разрешением: http://epubs.surrey.ac.uk/809478/
[6] крупномасштабная модель лица (КММЛ): https://link.springer.com/article/10.1007/s11263-017-1009-7
[7] каскадной: https://arxiv.org/abs/1509.06161
[8] древовидной регрессионной модели: http://openaccess.thecvf.com/content_iccv_2015/papers/Tulyakov_Regressing_a_3D_ICCV_2015_paper.pdf
[9] нормализации выражения и положения лица: https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Zhu_High-Fidelity_Pose_and_2015_CVPR_paper.pdf
[10] E-3DMM: https://gravis.dmi.unibas.ch/publications/2008/FG08_Amberg.pdf
[11] взвешенная подгонка: https://arxiv.org/pdf/1808.05399.pdf
[12] редактирование Пуассона : http://leyvand.com/adv-graphics/pie2003.pdf
[13] Источник: https://habr.com/post/431906/?utm_campaign=431906
Нажмите здесь для печати.