Microsoft Hyperlapse: видео с 3D-стабилизацией

На будущей конференции SIGGRAPH будет представлено много интересного. Не останется в стороне и компания Microsoft, которая заранее анонсировала свои планы. Она покажет технологию Hyperlapse ^[1] для эффективной стабилизации изображений и склеивания необычных и красивых видеороликов типа таймлапс от первого лица.

Microsoft работает над этой технологией уже несколько лет, представляла научный доклад о Hyperlapse на SIGGRAPH 2014. Сейчас же всё работает. Можно установить мобильное приложение и попробовать Hyperlapse в деле (чтобы установить версию под Android, например, нужно вступить в сообщество ^[2] и зарегистрироваться как тестер).

На отдельной странице ^[3] Microsoft подробно объясняет, чем отличается её приложение от недавно представленного приложения Instagram Hyperlapse для iPhone. Вроде бы, и называется так же, и работает примерно одинаково.

Microsoft говорит, что они работали совершенно независимо и узнали о программе конкурентов всего несколько дней назад. Как показало разбирательство, у двух технологий имеется ряд фундаментальных отличий. Программа от Instagram похожа на обычные стабилизаторы, когда край одного кадра накладывается на другой кадр, чтобы компенсировать дрожание камеры. В отличие от существующих программ Adobe After Effects или Youtube video stabilizer, впрочем, программа от Instagram не анализирует кадры, а использует информацию со встроенного гироскопа. Чтобы на краях не было артефактов, она зуммирует картинку.

Всё это работает только при слабом дрожании, говорит Microsoft, например, если аккуратно держать смартфон двумя руками и плавно двигаться. Но когда вы вставляете его в шлем и пускаетесь в райд, всё полностью разваливается.

В Microsoft Hyperlapse реализован фундаментально иной метод. Здесь осуществляется реконструкция всего маршрута камеры в 3D и составляется модель окружающего мира. Это позволяет сделать более плавным движение камеры в пространстве-времени и сгенерировать итоговое видео, где камера двигается на постоянной скорости. То есть будут автоматически вырезаны «медленные» фрагменты, как стояние на красном свете.

Что очень важно, Microsoft Hyperlapse может заполнить недостающие фрагменты кадров, заимствуя пикселы не с одного соседнего кадра, а с нескольких кадров.

Техническое объяснение работы Microsoft Hyperlapse см. на видео.

Автор: alizar

Источник ^[4]