S3D: No pain IS gain

В апреле этого года Google анонсировала технические детали нового формата для VR-видео — VR180 ^[1]. Спецификации формата были выложены в репозиторий Google на GitHub ^[2], производителям камер было предложено делать специальные камеры ^[3], формат стал поддерживаться на YouTube ^[4].

Основная идея довольно проста. В «обычном» VR-видео — 360-видео ^[5] — можно вертеть головой во всех направлениях по горизонтали, при этом основное действие происходит, как правило, с какой-то одной стороны, а на устройство транслируется весь поток, что приводит к передаче и хранению избыточной информации. По факту в подавляющем большинстве случаев нет необходимости в реализации просмотра на 360 градусов — для достижения того же эффекта вполне достаточно и 180 градусов. При этом «вторая половина» кадра используется для второго ракурса, то есть получается стерео.

Таким образом, предложенный формат обеспечивает даже большее ощущение погружения, чем от 360-видео, является более дешевым в производстве, более простым в съемке и не имеет проблем со стичингом ^[6].

Как такое возможно, и что же предложили в Google?

Кому интересно VR-видео ближайшего будущего — добро пожаловать под кат!

---

Введение в VR180

Сначала о хорошем.

VR180 заметно проще снимать, чем 360-видео. Для съемки качественного 360-видео используется до 17 камер (пример от Xiaomi ниже), что порождает массу проблем с размером рабочего видео, частичным отказом, перегревом, нестабильным фокусом камер и т. д. При этом, с точки зрения простого пользователя, лучшими признавались камеры с двумя fisheye объективами (раз ^[7], два ^[8], три ^[9]).

Источник ^[10]

Новый формат снимается также двумя камерами. Это заметно снижает стоимость конечного устройства. При этом техника съемки сильно упрощается, поскольку остаются актуальны все приемы работы с обычной камерой (только результат получается потенциально более зрелищным и с большим погружением). Для успеха формата важно, чтобы им легко могли воспользоваться каждая домохозяйка и каждый школьник. Поэтому, чем проще — тем лучше.

Далее, в VR180 пропадают проблемы так называемого стичинга (склейки) — крайне заметные артефакты в местах, где сшивались картинки с двух камер. Еще недавно казалось, что пройдет немного времени, и проблемы стичинга будут решены. Увы, они оказались гораздо сложнее. Если на границе склейки есть быстро движущийся или полупрозрачный объект, то на нынешнем уровне развития алгоритмов обработки видео в автоматическом режиме проблема не решается. Безусловно, алгоритмы автоматического матирования развиваются, однако отсутствие артефактов не гарантируется даже с Deep Learning методами ^[11]. В VR180 стичинга нет, а значит, в принципе нет и связанных с ним проблем.

И, наконец, почти всегда снятое 360-видео является плоским. То есть с точки зрения бинокулярного зрения картинка воспринимается висящей на некотором экране перед глазами, что зачастую уменьшает «вау-эффект» и эффект погружения, а VR180 изначально и по умолчанию — стереоформат.

Все эти моменты выглядят весьма многообещающе с точки зрения прогноза успеха формата. Как следствие, производители довольно активно начали выпускать камеры, специально ориентированные на VR180, например:

Тот факт, что на рынок VR180 вышла Xiaomi ^[12], безусловно, внушает оптимизм.

Также появились решения, позволяющие самому собрать камеру для съемки VR180 из  двух обычных камер с fisheye-объективами. Иногда достаточно только напечатать или купить крепление, чтобы начать эксперименты (ниже примеры c GoPro, цифровыми «мыльницами», зеркалками Sony):

Источник ^[13]

Источник: http://products.entaniya.co.jp/en/products/equipment-for-3d-stereo-180-vr/ ^[14]

Кроме того, появились забавные решения, когда одна камера поддерживает съемку в форматах и VR180, и видео 360 (это «раскладушка», которая в свернутом состоянии снимает 360, а в развернутом — VR180):

Источник ^[15]

Помимо прочего, открылись новые горизонты экспериментов ^[16] по съемке VR-видео (на фото YI Horizon VR180 camera от Xiaomi):

Количество новых устройств для съемки в VR180 весьма велико, и это заметно способствует популярности нового формата.

Внедрение VR180

Сегодня компании пытаются внедрить VR везде, где только можно, хотят сделать формат более популярным и распространенным. А главное — дешевым. Google не исключение. Все помнят их бюджетное решение по внедрению «шлемов виртуальной реальности» (англ. Head Mounted Display, HMD) в широкое пользование — Google Cardboard ^[17].

Его функционал, конечно же, никак не сравнится с дорогими HMD, но основная цель достигнута: сделать VR доступнее и превратить каждый смартфон в шлем виртуальной реальности при дополнительных затратах менее $1.

Развивая успех, Google запускает новый формат VR180 ^[18] с поддержкой загрузки на YouTube и со специальным фильтром для поиска:

Так выглядит кадр видео ^[19] нового формата «изнутри»:

В MP4 добавлены специальные мета-данные, которые превращают видео в сферическое. Вообще говоря, если просто перейти по ссылке, то скорее всего вы увидите обычное плоское видео Это связано с тем, что помимо VR180 видео на сайт загружена еще проекция одного из ракурсов (левого) на обычный прямоугольник. Чтобы увидеть картинку как на рисунке выше, нужно, например, скачать видео именно в чистом MP4 формате. В основном, они имеют разрешение 4K. Возможность движения камеры гарантированно появляется при просмотре на мобильном устройстве с приложением Cardboard (Google Play ^[20], AppStore ^[21]). Ну и, конечно же, в полноценном HMD.

Съемка таких видеороликов, по аналогии с картонными шлемами, тоже должна была получиться достаточно дешевой для широкого распространения среди пользователей. Камера, снимающая видео в таком формате, стоит в районе 300 долларов. По сравнению с дорогими стереоригами ^[22] это абсолютно новый уровень. Казалось бы, все прекрасно. Однако проблема в том, что новый формат — это стереоформат, а у стерео, как известно, существует масса сложно решаемых проблем.

---

Качество стерео в VR

Как только речь заходит про стерео (в просторечии 3D), сразу вспоминаются головные боли от походов в 3D кинотеатры. Мы рассматривали причины такого дискомфорта в большом цикле статей (раз ^[23], два ^[24], три ^[25], четыре ^[26], пять ^[27], шесть ^[28], семь ^[29]) гораздо более подробно, но применительно к стереофильмам. Если коротко, то по некоторому ряду причин многие 3D фильмы снимаются (или конвертируются) так, что чувствительным к артефактам стереовидео зрителям остается только заблаговременно брать с собой цитрамон. К сожалению, большинство проблем в 3D фильмах связаны со стереоскопическими артефактами, которые также встречаются в VR180. Значит, все факторы, вызывающие дискомфорт в таких фильмах, также будут вызывать дискомфорт и при просмотре видео в виртуальной реальности. Даже базовая проверка качества контента VR180 показала, что оно сопоставимо с качеством обычных стерео примерно середины прошлого века…

Другими словами, энтузиасты будут в восторге, но массовый зритель будет жаловаться.

Для анализа качества стереовидео использовался проект VQMT3D ^[30], разрабатываемый в видеогруппе ^[31] лаборатории компьютерной графики и мультимедиа на факультете ВМК, МГУ. Его предназначение — предоставить авторам стереофильмов возможность отслеживать возникновение всех возможных артефактов на этапе post-production. А поскольку VR180 — тоже стерео, то де-факто проект применим и к этому формату с некоторыми оговорками. В приведенных далее примерах информация по кадрам получена с помощью VQMT3D.

Искажения цвета

Данная проблема — самая простая для понимания и относительно простая для исправления. Закройте один глаз и посмотрите на какой-нибудь объект. Теперь сделайте то же самое с другим глазом и ответьте на вопрос: меняются ли цвета при смене глаза? В общем случае — нет. Так и в стереовидео не должно быть различий в цвете одних и тех же объектов для левого и правого ракурсов. Однако вот что мы видим в реальных видео, взятых на YouTube (обратите внимание на однотонные области, например, на небо или на воду):

Ссылка на видео ^[32]

Искажения цвета могут возникать по многим причинам, например, из-за различной калибровки камер, нагрева их матриц или при засветке края объектива. Поэтому, даже при идентичных параметрах съемки для одинаковых камер, цвета могут заметно разойтись.

Наиболее удобно визуализировать этот артефакт с использованием «шахматки», когда правый ракурс приводится к левому с помощью компенсации движения, а затем выбираются блоки из левого и приведенного правого ракурсов в шахматном порядке.

Ниже пример, когда источники света попадают в кадр:

Ссылка на видео ^[33]

Мало того, что сами источники света сильно различаются на ракурсах, так они еще и бликами искажают цвета на всем изображении.

Более жесткий пример, когда солнце попадает в кадр:

Ссылка на видео ^[34]

По причине неудачной постановки камеры напротив солнца, возникает жуткий артефакт в виде красного блика на матрице. Искажения цвета достаточно редко встречаются в реальной жизни, а артефакты указанного выше типа не встречаются вообще, что в итоге приводит к накоплению усталости при просмотре. К сожалению, у наиболее чувствительной части зрителей усталость переходит в головную боль.

Различия по резкости

Еще одна проблема, возникающая при съемке стереовидео, — различия в резкости в левом и правом ракурсах. В реальной жизни данная проблема встречается довольно часто. Например, если вы просидите 10–12 часов за компьютером, напряженно всматриваясь в экран (согласитесь, такое бывает), то в конце дня правый и левый глаз могут заметно разойтись по фокусировке, и легкая близорукость/дальнозоркость до вечера обеспечена. При этом мозг ^[35] достаточно успешно компенсирует эту проблему. Условно говоря, мы получаем четкие детали изображения с правого или левого глаза для далеких/близких объектов. Т. е., говоря инженерным языком, проблема штатно решается встроенными средствами. А утром, как правило, зрение восстанавливается. И все бы хорошо, но в реальном стереовидео фокусировка может «скакать» от сцены к сцене. Получается, что «дальнозорким» становится то правый глаз, то левый, а иногда оба видят хорошо, что приводит к заметному дискомфорту при просмотре. Особенно для людей в возрасте, у которых глаза уже «стационарно» разошлись по резкости.

Примеры расхождений для VR180, где для лучшей наглядности представлены увеличенные фрагменты одной и той же области для двух ракурсов:

Ссылка на видео ^[34]

Вот другой фрагмент этого кадра:

Ссылка на видео ^[34]

Появление данного артефакта связано с расхождением фокусировки камер по техническим причинам. А из-за отсутствия профессиональной постобработки даже «вырвиглазные» сцены попадают на YouTube.

Ссылка на видео ^[33]

Почти все надписи на увеличенном изображении различаются по резкости. Обратите внимание на надпись «12 CH», которая будет дискомфортно «стробить» при просмотре.

Сдвиг по времени

Как ни странно, хотя ядра компьютеров давно и успешно синхронизируются на миллионные доли секунды, стереокамеры при съемке до сих пор расходятся во времени на сотые, а то и на десятые доли секунды. Один глаз видит события, которые еще не произошли для другого глаза! Нельзя даже придумать аналог для этой проблемы в реальном мире. И этот артефакт также был найден в VR180.

Обратите внимание на окно с неоновой вывеской в правой части кадра:

Ссылка на видео ^[36]

Данный сдвиг по времени был замечен случайно при анализе расхождения по цвету, которое тут тоже присутствует. Мерцающая вывеска бросается в глаза даже без использования специальных метрик, направленных на нахождение временного сдвига ^[29]. Просто-напросто левый кадр отстает от правого!

Вот еще пример из той же сцены. Посмотрите на стопы пешеходов:

Ссылка на видео ^[36]

Тут отчетливо видно, что на правом кадре нога передвинута дальше, чем на левом, будто бы один кадр отстает от другого на несколько мгновений, хотя они должны были быть сняты ровно в один и тот же момент. Мы проводили эксперимент, в рамках которого показали 302 зрителям короткие фрагменты стереофильмов с разными артефактами ^[37] и просили после каждого фрагмента со смартфона/ноутбука заполнять форму с указанием уровня болезненности. Сдвиг во времени показал себя как наиболее болезненный артефакт — это невозможная для головного мозга ^[35] ситуация и попытка ее «обработать» приводит к явному ощутимому дискомфорту. К сожалению, чаще всего распространен сдвиг менее, чем на 1 кадр, и его не так просто исправить.

Кстати, на примере выше невооруженным глазом виден еще и поворот кадра между ракурсами (особенно в левом нижнем углу), который также весьма дискомфортен, но исправляется намного проще. Впрочем, другие артефакты — это отдельная большая история, к которой мы еще, надеюсь, вернемся.

Google «накосячил»?

Вполне могло показаться, что данные артефакты присущи видео, полученным при любительской съемке, и при правильном использовании те же камеры смогут дать хорошее изображение. К сожалению, это не так. Вот рекламный видео-ролик формата VR180 ^[19], который расположен на официальной страничке по VR180 ^[18]. Казалось бы, он должен задавать эталон качества. Но если присмотреться…

Расхождения по цвету:

Абсолютно во всех точках есть искажение цвета. Как будто на одном из ракурсов ошибочно выставлен немного больший баланс белого.

А здесь уже большая часть кадра без искажений. Но правый нижний угол все равно заметно расходится по цвету, что вызывает характерное визуальное «стробление» при просмотре.

Примечательно, что искажение цвета на дороге тоже было замечено без специальных средств для анализа стерео. Его обнаружили просто при покадровом просмотре видео (похоже на обработку видео с разными параметрами).

Различия в резкости:

Здесь расхождение заметнее всего на полу и на швах дивана. Наибольшее различие в резкости — именно на границах объектов.

---

Заключение

Что мы имеем в итоге?

VR, в т. ч. 360-видео, активно распространяется. Технология привлекает пользователей и выглядит очень перспективной. Но техническое качество текущей реализации вызывает дискомфорт от просмотра. В итоге какое-то количество людей, заинтересованных в том, чтобы попробовать новый формат, получает головную боль, а при неудачной съемке (как правило, при резком движении камеры) — вдобавок головокружение и тошноту, что приводит к разочарованию в формате.

Что с этим можно сделать?

В данный момент многими (в том числе и нами) разрабатываются инструменты по контролю качества ^[38], а также по исправлению проблем стерео.

Вот, например, примеры исправления цвета:

Слева — исходные ракурсы, справа — скорректированные по цвету с помощью нашего алгоритма. Засвеченный ракурс целиком исправлен.

Цвет на потолке пришел в норму.

Больше примеров автоматического исправления цвета смотрите в отдельной статье, посвященной искажению цвета в стерео ^[28].

Всего на данный момент детектируется порядка 20 типов артефактов снятого и сконвертированного стереовидео, большинство из которых актуальны и для VR180. В дальнейшем планируется расширение методов контроля и улучшения качества VR видео:

• адаптация текущих методов контроля качества под VR
• дополнение и реализация методов исправления артефактов
• составление автоматических отчетов по видео с предсказанием болезненности, вызванной просмотром, дабы предостеречь пользователей и отрейтинговать контент производителей, мотивировав их внимательнее относиться к качеству

Каковы перспективы формата в целом?

Очевидно, что текущие проблемы — проблемы младенчества технологии и они будут активно решаться. Можно ожидать, что:

• производители камер в комплекте с камерой будут поставлять софт, решающий часть базовых проблем
• со временем (при наличии спроса) появится профессиональный софт для исправления артефактов
• весьма вероятно, что на YouTube будет реализовано исправление части артефактов автоматически при загрузке VR180 видео, примерно так же, как сейчас автоматически исправляется дрожание и интерлейсинг старых добрых 2D видео

Из забавного: сейчас возникла мода на смартфоны с 3-4 камерами с задней стороны, которые обеспечивают кардинальное повышение качества фотографий.

Источник: Samsung Galaxy A7 ^[39] (2018) & Samsung Galaxy A9 ^[40] (2018)

Логично ожидать, что при росте популярности VR180 его поддержка «из коробки» будет встроена во все основные модели смартфонов.

Да, скорее всего угол зрения будет не 180°, а меньше.
Да, скорее всего качество будет хуже, чем у специализированных камер.
Да, съемка стереовидео потребует сжатия больших потоков информации (на что сегодняшние смартфоны все еще слабо рассчитаны).
Да, нужно будет ставить две широкоугольных камеры на бо́льшем расстоянии.
Но технически сегодня нет серьезных препятствий для реализации поддержки VR180 во флагманских моделях. Вопрос только в росте популярности формата, чтобы спрос стал массовым, создав стимул к этому.

И понятно, что, когда съемку VR180 начнут поддерживать топовые смартфоны, количество соответствующих роликов на YouTube начнет расти лавинообразно.

Также на выставках можно видеть автостереоскопические дисплеи смартфонов и планшетов, которые с повышением разрешения показывают все более и более интересное качество. По крайней мере, его не сравнить с тем, что можно было массово наблюдать в 2010–2011 годах ^[41] во время прошлой волны. Во время написания этой статьи был анонсирован RED Hydrogen One ^[42] — первый СЕРИЙНЫЙ смартфон с 3D экраном нового поколения, так что появилась  возможность купить то, что профессионалы видели на выставках. Процесс идет и, поскольку растет разрешение экранов, заведомо будет идти все быстрее. Основное препятствие — это недостаток контента.

Очевидно, что эта проблема «курицы и яйца» скоро будет решена.

---

Общие выводы:

VR180 обладает следующими существенными плюсами:

• Заметно выше погружение в 3D для VR180 по сравнению с 360-видео
• Отсутствуют артефакты стичинга (склейки) видео с нескольких камер
• Камеры для съемки VR180 достаточно дешевы и будут дешеветь
• Съемка VR180 заметно ближе к съемке обычной камерой и намного проще для непрофессионалов, т. е. огромной массе любителей будет относительно просто снимать свое видео в формате VR180
• Можно ожидать поддержки VR180 в смартфонах через какое-то время
• Можно ожидать появления дешевых качественных автостереоскопических дисплеев смартфонов, которые позволят просматривать VR180 без очков и шлемов (на данный момент такие решения уже можно увидеть на выставках, и от массового выпуска их отделяет отсутствие контента)

Минусы VR180:

• Дешевые камеры сейчас снимают плохое стерео, которое вызывает дискомфорт при просмотре
• На данный момент отсутствуют доступные программы постобработки полученных видео VR180 и исправления артефактов. Проблемы можно решить с помощью профессиональных программ для исправления снятого стерео, но у них низкая доступность, высокая сложность использования, и массово они не применяются…

Итого:

• Будущее VR180 очень сильно зависит от того, насколько оно будет болезненным при просмотре, поскольку, как показал опыт, головная боль от стерео может «убить» весьма многообещающие проекты
• При увеличении популярности VR180 многие «детские проблемы», в том числе связанные со стерео, можно будет относительно легко решить даже без участия пользователей, просто на сервисе при заливке видео. Алгоритмически это уже возможно
• Популярность формата упирается в проблему «курицы и яйца»: должно появиться достаточно устройств для съемки и просмотра. При этом в отличие от 360-видео VR180 технически скоро можно будет легко снимать на любом смартфоне. И если Google Pixel 5 XL будет поддерживать VR180 «из коробки» — это будет закономерно
• Как следствие: в перспективе 10 лет VR180 обречен на популярность!

Всем поменьше головной боли!

Ваши Константин Кожемяков и Дмитрий Ватолин

P.S. Благодарности

Хотелось бы сердечно поблагодарить:

• наших коллег из видеогруппы, благодаря которым представленные выше алгоритмы были созданы, а результаты посчитаны,
• компанию Google за артефакты рекламного ролика VR180, а также за то, что она продвигает новые форматы несмотря ни на что,
• Лабораторию Компьютерной Графики ВМК МГУ им. М.В.Ломоносова за вычислительные мощности и не только,
• Виталия Людвиченко за разработанный алгоритм исправления цвета в стереовидео,
• и, наконец, Александра Плошкина, Сергея Лаврушкина, Егора Склярова, Айдара Хатиуллина, Ивана Молодецких и Евгения Ляпустина за большое количество дельных замечаний и правок, сделавших этот текст намного лучше!

Смотрите также:

• Почему от 3D болит голова / Часть 1: Недостатки оборудования ^[23]
• Почему от 3D болит голова / Часть 2: Дискомфорт из-за качества видео ^[24]
• Почему от 3D болит голова / Часть 3: Перепутанные ракурсы ^[25]
• Почему от 3D болит голова / Часть 4: Параллакс ^[26]
• Почему от 3D болит голова / Часть 5: Геометрические искажения в стерео ^[27]
• Почему от 3D болит голова / Часть 6: Искажения цвета ^[28]
• Почему от 3D болит голова / Часть 7: Сдвиг во времени между ракурсами ^[29]

Автор: Dmitriy Vatolin

Источник ^[43]