- PVSM.RU - https://www.pvsm.ru -
Некоторое время назад мне потребовалось решить задачу сегментации точек в Point Cloud (облака точек — данные, полученные с лидаров).
Пример данных и решаемой задачи:
Поиски общего обзора существующих методов оказались неуспешными, поэтому пришлось собирать информацию самостоятельно. Результат вы можете видеть: здесь собраны наиболее важные и интересные (по моему мнению) статьи за последние несколько лет. Все рассмотренные модели решают задачу сегментации облака точек (к какому классу принадлежит каждая точка).
Эта статья будет полезна тем, кто хорошо знаком с нейронными сетями и хочет понять, как применять их к неструктурированным данным (к примеру графам).
Сейчас в открытом доступе есть следующие датасеты по этой теме:
Нейронные сети пришли в эту область совсем недавно. И стандартные архитектуры вроде полносвязных и сверточных сетей не применимы для решения этой задачи. Почему?
Потому что здесь не важен порядок точек. Объект — это множество точек и не важно, в каком порядке их просматривают. Если на изображения у каждого пикселя есть своё место, тут мы можем спокойно перемешать точки и объект не измениться. Результат работы стандартных нейронных сетей, наоборот, зависит от местоположения данных. Если перемешать пиксели на изображение, получится новый объект.
А теперь разберемся, как же нейронные сети адаптировали для решения этой задачи
Базовых архитектур в этой области не много. Если вы собираетесь работать с графами или неструктурированными данными, вам нужно иметь представление о следующих моделях:
Рассмотрим их поподробнее.
Dynamic Graph CNN for Learning on Point Clouds [11]
После того, как определена свертка на графе, строится сверточная сеть. Можно заметить и подсчет преобразований и применения их к каждой точке по аналогии с PointNet.
В этой статье вы найдете прекрасный обзор других методов решения.
В основном статьи отличаются подсчетом ошибки или глубиной и начилием сложных блоков.
PointWise: An Unsupervised Point-wise Feature Learning Network [13]
Особенность работы — обучение без учителя
SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation [14]
DGCNN была опубликована недавно (2018), поэтому основанных на этой архитектуре статей немного. Я хочу обратить ваше внимание на одну:
Здесь вы могли найти краткую информацию о современных методах решения задач классификации и сегментации в Point Clouds. Существуют две основных модели (PointNet++, DGCNN), модификации которых сейчас используют для решения этих задач. Чаще всего для модификации изменяют функцию ошибки и усложняют эти архитектуры, добавляя слои и связи.
Автор: omalyugina
Источник [18]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/mashinnoe-obuchenie/323134
Ссылки в тексте:
[1] Stanford Large-Scale 3DIndoor Spaces Dataset (S3DIS): http://buildingparser.stanford.edu/dataset.html
[2] ScanNet: http://www.scan-net.org/
[3] NYUV2: https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html
[4] ShapeNet: https://www.shapenet.org/
[5] ModelNet40: http://modelnet.cs.princeton.edu/
[6] SHREC15: https://www.cs.cf.ac.uk/shaperetrieval/shrec15/index.html
[7] PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation: https://arxiv.org/abs/1612.00593
[8] код: https://github.com/charlesq34/pointnet
[9] https://arxiv.org/abs/1706.02413: https://arxiv.org/abs/1706.02413
[10] код: https://github.com/charlesq34/pointnet2
[11] Dynamic Graph CNN for Learning on Point Clouds: https://arxiv.org/abs/1801.07829
[12] код: https://github.com/WangYueFt/dgcnn
[13] PointWise: An Unsupervised Point-wise Feature Learning Network: https://arxiv.org/abs/1901.04544
[14] SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation: https://arxiv.org/abs/1711.08588
[15] код: https://github.com/laughtervv/SGPN
[16] Know What Your Neighbors Do:3D Semantic Segmentation of Point Clouds: https://arxiv.org/abs/1810.01151
[17] Linked Dynamic Graph CNN: Learning on Point Cloud via Linking Hierarchical Featurese: https://arxiv.org/abs/1904.10014
[18] Источник: https://habr.com/ru/post/459088/?utm_source=habrahabr&utm_medium=rss&utm_campaign=459088
Нажмите здесь для печати.