S3D: No pain IS gain

Когда-то давно в далекой галактике Geektimes был опубликован цикл статей о том, почему 3D-фильмы так сложно снимать без головной боли у зрителей. Как это часто бывает, цикл безвременно оборвался из-за недостатка времени у автора. При том, что тонны материалов остались лежать (иногда даже аккуратно подобранные).

В декабре этого года исполнится 10 лет волне съемок 3D-фильмов, поднятой триумфальным успехом фильма «Аватар»‎, ^[1] впервые в истории собравшего более $2 миллиардов в прокате. С тех пор, по мнению журналистов, «3D умер»‎. По факту это, конечно, не так. По сравнению с ситуацией 13-летней давности количество фильмов, выпускаемых в 3D, выросло на порядок, а количество залов, где можно показывать 3D, выросло в 400 раз (!) ^[2] и продолжает быстро расти с CAGR ^[3] порядка 12–14%. Всем бы технологиям такую «смерть»‎. Тем не менее проблемы у 3D-фильмов, очевидно, есть. И мы уже много лет занимаемся их анализом и исправлением.

Хотелось бы понять, что с этими фильмами происходит. Почему «3D мертв»‎, а кинотеатры с 3D активно строят? 

Один уважаемый российский стереограф неоднократно публично называл нас патологоанатомами за то, как мы детально разбирали проблемы фильмов. Звучит обидно, особенно учитывая, что у нас активно разрабатываются и средства «реанимации»‎. С другой стороны еще Авиценна, помнится, говаривал пациентам: «Существуют я, ты и болезнь. Чью сторону ты примешь, тот и победит»‎. Поэтому не будем идти против мудрости веков. Если пациент сказал в морг, значит в морг! Медицина тут бессильна.

А для тех, кто хочет жить, и строятся все эти новые 3D кинозалы. Поскольку область растет и будет расти еще сильнее. Вопреки прогнозам сначала раздувающих, а потом бичующих хайп журналистов. 

Предельно краткое содержание предыдущих серий

Как уже понял из названия проницательный читатель, это 8-я часть цикла. Ранее речь шла:

• Часть 1: Про недостатки оборудования ^[4], или в какой зал пойти. Если кратко — имейте ввиду, что владельцы залов ставят дешевое оборудование, поскольку пипл не различает залы и не готов платить больше за хорошее оборудование. TL;DR: ходить на 3D лучше всего в лазерный IMAX 3D, пусть в 2–3 раза реже. И эффект лучше, и здоровее будете, и залов качественных будет появляться больше.
• Часть 2: Дискомфорт из-за качества видео ^[5], или какие есть проблемы с контентом, и почему даже в лучшем зале не все и не всем хорошо.
• Часть 3: Перепутанные ракурсы ^[6], или про самую простую в исправлении, но очень сложную с точки зрения алгоритмов компьютерного зрения проблему стерео (как программисты программистам), ибо даже в «Аватаре»‎ одна такая сцена есть…
• Часть 4: Параллакс ^[7], или откуда вообще берется стереоэффект, и почему не безразлично, какого размера экран, на каких рядах лучше сидеть, что такое depth continuity и т.д.
• Часть 5: Геометрические искажения в стерео ^[8], или почему так сложно просто поставить рядом две камеры и хорошо снять (щас!))).
• Часть 6: Искажения цвета ^[9], или что получается, когда мы думали, что успешно решили проблему параллакса, а получили целый букет новых проблем.
• Часть 7: Сдвиг во времени между ракурсами ^[10], или о проблеме, о которой совсем не упоминают журналисты (и даже специалисты), а она есть, распространена и весьма болезненна.
• Про VR180 от Google ^[11] — бонусная часть, из которой ясно, что от стерео в VR голова тоже будет болеть, и работа над ошибками пока не удалась…

Материала лежит еще примерно на 7 частей, но времени в сутках мало, поэтому сколько получится.

А сегодня про резкость! 

В идеальном мире резкость объектов на правом и левом ракурсах стерео совпадает, но в реальности… 

Причины появления разницы по резкости

В пятой части ^[12] этого цикла было рассказано про геометрические искажения, и в том числе про разницу по масштабу, которая возникает из-за люфта объектива. Часто при наведении на резкость объектива с трасфокатором ^[13] «уходит»‎ не только «зум»‎, но и резкость. Причем, если разница по масштабу исправляется относительно легко, то разница по резкости исправляется уже нетривиально.

Ситуация усугубляется тем, что в кинематографе небольшая глубина резкости — очень часто используемый прием:

Пример, когда цветы сняты с разной глубиной резкости. Очевидно, что во втором случае внимание к цветкам привлекается намного сильнее
Источник: https://en.wikipedia.org/wiki/Depth_of_field ^[14] 

Размытый фон — это и привлечение внимания к «висящему на стене ружью»‎ (что важно для динамики фильма), и чисто художественный прием, который может кардинально улучшить эстетику сцены. Желающие глубже погрузиться в предмет могут посмотреть ГРИП ^[15] (Глубина Резко Изображаемого Пространства) или Боке ^[16].

Пример, когда с использованием глубины резкости мы выделили конкретного человека. Глаз на нем останавливается автоматически. При этом если бы весь кадр был резким, то мы, скорее всего, сначала посмотрели бы на ближайшего к нам спортсмена 
Источник: https://en.wikipedia.org/wiki/Depth_of_field ^[14] 

Когда мы смотрим обычное старое доброе ламповое двумерное кино, мы фокусируемся на экране и воспринимаем изображение просто как двумерную картинку, которая может быть где-то нерезкой. В случае стерео возможен интересный эффект — человек видит трехмерную сцену и пытается «перевести глаза»‎ на размытый объект фона. При этом, условно, мозг ^[17] ожидает, что этот объект станет резким (по крайней мере, в обычном мире всегда раньше так происходило), а на 3D-фильме фон остается размытым. И часть людей испытывает от этого дискомфорт. Можно, конечно, сказать — «Смотрите 3D-фильмы чаще, и это пройдет»‎ (и это на самом деле так!). Но суровая реальность заключается в том, что, скорее всего, произойдет обратное: если дискомфорт велик, человек больше на 3D не пойдет и так и не натренирует эту способность — смотреть плохое 3D. 

Именно поэтому 3D обычно снимают с бОльшей глубиной резкости и меньшим размытием фона в целом. То же самое привлечение внимания к определенному предмету в сцене в 3D достигается не за счет разницы в резкости, а за счет того, что сцена «правильно»‎ построена в трехмерном пространстве, то есть тот же самый эффект привлечения внимания достигается другим способом. Правда, это требует хорошего и все еще редкого понимания трехмерной компоновки сцены еще на этапе сценария и раскадровок.

Но это полбеды. Серьезная проблема заключается в том, что прокат в 2D пока доминирует, а снимать две версии картины — с привлечением внимания при помощи резкости и с привлечением внимания при помощи глубины — слишком дорого и сложно. Пленоптические камеры, которые могли бы позволить это сделать «за один дубль»‎, пока слишком громоздки ^[18]. В результате сегодня в хороших фильмах используются одновременно оба приема, то есть при съемке используются и размытие сцены по резкости (но меньше, чем в «обычном»‎ 2D), и привлечение внимания по глубине. Это, безусловно, усложняет производство, начиная с подготовки раскадровок (в которых теперь нужно думать «трехмерно»‎) и заканчивая непосредственно съемками. Кстати, именно по этой причине очень часто неудачны в плане комфортного восприятия стерео первые фильмы, снятые операторами в 3D (их было много в 2010–2013). Только получив отзывы и опыт, люди начинают учиться адекватно работать с объемом. Причем учатся с разной эффективностью, к сожалению.

Перейдем к конкретным примерам и начнем с далекого 1954 года, когда эта проблема была запредельно частой, а исправить ситуацию на цифровом постпродакшн возможности не было. Чтобы было хорошо видно разницу по резкости, приведены фрагменты правого и левого ракурса в тех местах, где разница наиболее заметна:

Традиционно в углу слева — название фильма, timestamp и значение метрики; в углу справа показано, из какой части кадра вырезан данный фрагмент 
Источник: примеры из фильмов и примеры обработки здесь и далее — материалы автора

Разницу по резкости можно легко получить и на современных камерах просто из-за люфта объектива при наведении на резкость. Если учесть, что при съемке регулярно приходится наводить камеру на резкость, понятно, откуда появляются такие кадры. Причем в худшем случае картина будет такой:

На левом ракурсе резким является объект позади, а на правом ракурсе — объект на переднем плане
Источник: рисованные примеры здесь и далее — материалы автора

Как это выглядит на реальных примерах, можно понять по этому кадру:

У вас должна быть включена анимация в браузере, чтобы увидеть этот пример

Присмотритесь внимательно к волосам девушки и к пиджаку ближайшего к нам актера: хорошо видно, что их резкость меняется в противофазе с главным героем в этой сцене, т.е. на правом ракурсе сильнее размыт пожилой господин и фон, а на левом — актеры, стоящие ближе к нам. Беда-беда.

Подготовленный читатель может вежливо заметить, что подобная ситуация — это довольно часто встречающееся отклонение в зрении, например, когда один глаз уходит, условно, в близорукость, а другой нет (а то и в дальнозоркость). И данная проблема, действительно, довольно хорошо компенсируется, в результате чего для находящихся далеко объектов детали, условно, берутся с одного глаза, а для близких — с другого, и мы успешно видим резкую картинку. Это безусловно так. Достаточно несколько часов не вставая просидеть перед компьютером за каким-нибудь шутером за написанием научной статьи, как глаза действительно «садятся»‎. Причем садятся часто неравномерно, то есть один глаз сильнее другого. И дальше такая ситуация обычно на весь вечер, пока утром вы не проснетесь с восстановившимся зрением. Так в чем же проблема? Как говорят некоторые профессионалы — «‎мозг легко это компенсирует»‎! Проблема прежде всего в том, что если вы поднапрягли глаза и посадили зрение, то на весь вечер у вас изменение «резкости»‎ будет постоянным во времени и все время «в одну сторону»‎ между глазами. А в реальных фильмах, к сожалению, у вас сцены с разницей по резкости меняются хаотично. Условно — то все хорошо, хорошо, хорошо, потом размыло правый ракурс, потом опять хорошо, потом левый и т.д. Это нетипичный режим коррекции разницы по резкости для нашего бедного мозга ^[17], в таком режиме его в реальной жизни работать никогда не тренировали. Как следствие, через какое-то время наш многострадальный 3D-зритель получает головную боль.

Причем здесь встречается интересный эффект. С возрастом, бинокулярная зрительная система человека «привыкает»‎ корректировать разницу по резкости в какую-то одну сторону. И, когда резкость начинает изменяться в разные стороны — система начинает «бунтовать»‎. В итоге, когда бабушка идет с внуками на 3D-фильм, внуки в восторге, а бабушка, поджав губы, молчит и дает себе зарок больше на такое не ходить. И так происходит довольно регулярно.

Выводы: 

• До тех пор, пока фильмы будут выходить в одной версии для 2D и 3D (а это еще довольно долго будет так), в них будет использоваться небольшая глубина резкости. А это значит, что периодически будет встречаться проблема, когда камеры разошлись по резкости. По крайней мере, если фильм в стерео снимали, а не конвертировали. 
• Забегая вперед, заметим, что проблему разницы по резкости можно исправить, но исправить хорошо — не так просто, как кажется.

Примеры кадров с большой разницей

Примеры ниже были отобраны автоматически из 105 фильмов при помощи VQMT3D — инструмента для анализа стереовидео.

Фильм ужасов «Пираньи 3D»‎, различается резкость объектов как переднего плана, так и фона; характерно, что проблема прямо по центру кадра в зоне высокого внимания 

Серьезная разница по резкости по всему кадру во втором фильме серии «Пираньи 3DD»‎

Вообще, для фильмов ужасов характерно большее количество неаккуратных сцен, которые будут вызывать головную боль. Как говорится, будет не только страшно, но и больно. Очередной фильм ужасов:

Заметная разница по резкости у актера на переднем плане в фильме ужасов «Челюсти 3D»‎

Катастрофическая разница по резкости объекта переднего плана в фильме «Тварь из Чёрной Лагуны»‎ (и опять фильм ужасов)

Интересно, что подобные примеры встречаются и в фильмах, которые не снимались, а конвертировались в 3D. Т.е. разница по резкости возникает из-за ошибки монтажа. В частности, ниже motion blur наложен на один ракурс и не наложен на второй. Фильм «Щелкунчик»‎ не является фильмом ужасов, но… в плане технического качества стерео он, к сожалению, ужасен. 

Большая разница по резкости в отечественном «Щелкунчике»‎. Интересно, что это конвертация... 

Испортить можно даже павильонную съемку, ниже пример из 3D-мультфильма «Коралина в Стране Кошмаров» (не то, чтобы мультик был кошмарным, но в отдельных местах…):

Хорошо видно, что создатели промахнулись выставляя параметры камеры в кукольном мультфильме (ГРИП правого и левого ракурса не совпадают)

Интересно, что даже в высокобюджетных фильмах бывают проблемные сцены. К счастью — довольно редко. Ниже — пример из Хоббита:

Ощутимая разница по резкости в центре кадра на объекте, на который точно будут смотреть зрители

Ну и скорее в качестве анонса. У конвертации 2D в 3D в 99% случаев резкость объектов совпадает, однако на границах объектов она может заметно отличаться. Называется этот эффект — стробящие границы, они весьма дискомфортны и научить непрофессионала «видеть» их можно легко (т.е. вы будете понимать, почему у вас возникает дискомфорт, когда вы смотрите на отдельные объекты в стерео). Ниже пара примеров из весьма качественного отконвертированного фильма «Титаник»:

Проблема на границе близко к центру кадра, будет легкий дискомфорт

А здесь не просто по центру кадра, но близко к области внимания (лицу главной героини, см. полный кадр в углу), причем не только отличается резкость, но и видны следы маски и неаккуратно восстановлен фон, т.е. стробление границы будет сильным

Впрочем, подробнее про проблемы конвертации будет в отдельной части.

Выводы: 

• Уже не в первый раз в рейтинге худших кадров и худших фильмов явно заметное место занимают ужастики. Связано это с тем, что они зачастую снимаются с весьма ограниченными бюджетами. Эту тенденцию стоит иметь в виду при планировании посещения кинотеатров.
• При желании можно накосячить даже в рендеринге 3D мультфильмов и высокобюджетной конвертации.
• Даже высокобюджетные фильмы не застрахованы от проблем.

Тенденции в разнице по резкости

Как обычно, посмотрим, что творится в фильмах по годам. Ниже на графике проанализированы снятые фильмы с 1954 года. Красный цвет означает худшие 30% фильмов на этот момент времени, зеленый — 30% лучших фильмов.

Зависимость разницы по резкости от года съемки (чем выше, тем лучше)
Источник: графики измерений здесь и далее — материалы автора

Хорошо видно: до «Аватара»‎ (выделен пунктиром) большинство фильмов было хуже него по этому параметру, однако позднее качество подавляющего большинства фильмов стало заметно лучше. Что радует. Рассмотрим зависимость разницы от бюджета:

Зависимость разницы по резкости от бюджета (чем выше, тем лучше)

Видно, что «Аватар»‎ является худшим высокобюджетным фильмом, т.е. остальные высокобюджетные фильмы (выпущенные после) были лучше по качеству. Другая хорошая новость — что появились весьма низкобюджетные фильмы, у которых минимальная разница по резкости на уровне лучших дорогих фильмов. Это стало возможно благодаря совершенствованию камер и упрощению анализа этой проблемы как во время съемок, так и на этапе пост-обработки.
 

Если посмотреть, что творится в целом по фильмам, то видно, что примерно половина фильмов хуже «Аватара»‎. В некоторых случаях — значительно хуже…

Выводы: 

• Главная хорошая новость заключается в том, что постепенно совершенствуются камеры, совершенствуются программы постпродакшн и, как следствие — появляется возможность даже с низким бюджетом снять качественное кино.
• Конвертация выше не приведена, поскольку ситуация в ней (как и в 3D мультипликации), как правило, идеальна.

Исправление

Часто в сцене с большим диапазоном глубин у нас отдельные объекты на левом ракурсе резкие, на правом — нерезкие, и наоборот:

При исправлении у нас появляется несколько вариантов, например, приведение одного ракурса по резкости ко второму:

Причем на практике приводить объекты по резкости к правому ракурсу или к левому — не все равно. Если «восстановление»‎ размытия обычно проходит гладко, то восстановление резкости может породить артефакты (в первую очередь потому, что, когда один из объектов размыт, сложность точного сопоставления объектов возрастает). 

Кроме того, мы можем, например, приводить оба ракурса к резкому или, наоборот, — к размытому, итого получается 4 стратегии исправления. Причем возможны также произвольные комбинации этих стратегий.

Интересно, что с технической точки зрения алгоритму (и применяющему его человеку) «выгодно»‎ привести оба ракурса к размытому. Это и проще (часто «в один клик»‎), и с минимальной вероятностью порождает артефакты. А с точки зрения увеличения визуального комфорта стерео — «‎выгоднее»‎ оба ракурса сделать более резкими (что, как правило, дороже по количеству дополнительной работы, поскольку в один клик обычно уже не делается). А у оператора может быть желание выбрать приведение к правому или левому ракурсу. В общем — выбор богат, и, чем больше у студии бюджет/квалификация, тем более качественный для зрителя результат мы получаем.

Рассмотрим, как это выглядит, на примере одного из фильмов Международного московского стерео-кинофестиваля ^[19] (который в 2019 году пройдет уже в 10-й раз):

Хорошо видно, что из-за ошибки при съемке (от которой никто не застрахован) глубина резко изображаемого пространства на правом ракурсе получилась больше, чем на левом

Видно, что нос человека имеет одинаковую резкость между ракурсами, а вот виски, уши, рубашка, пиджак — уже заметно расходятся по резкости (также ракурсы расходятся по цвету). Соответственно, мы можем исправить все в сложную сторону увеличения резкости, а можем одинаково размыть (все примеры восстановления ниже наши):

Пример исправления разницы по цвету, резкости и геометрии брутальной щетины Николаса Кейджа в «Drive Angry»:

Исправление резкости:

Слева ракурс повышен по резкости до правого, а справа исправлены цвета и небольшой вертикальный сдвиг под левый ракурс

Хорошо видно, что после исправления резкости, цвета и вертикального сдвига ракурсы стали намного более похожи и дискомфорт этой сцены будет ощутимо ниже.

Еще один пример исправления в резкую сторону из «Drive Angry»:

На этом примере даже без сильного приближения хорошо видна серьезная разница по резкости, исправленная в сторону увеличения резкости

И последний пример из «Resident Evil», в котором также исправлена разница по резкости и цвету:

Смотреть на плечо и лицо девушки и на гравий справа от колена, обратите внимание, что блик на волосах не тронут (и это правильно, хотя и нетривиально) 

Выводы:

• Возможны 4 стратегии исправления:
  • приведение к правому,
  • приведение к левому,
  • приведение всех объектов к резкому,
  • приведение всех объектов к размытому

  и произвольные комбинации всех приведенных стратегий. В конкретных сценах сложность исправления разных стратегий по времени и стоимости может отличаться на два порядка, от вариантов «в один клик»‎, до нескольких дней работы профессионала.

• При исправлении съемки, к сожалению или к счастью, нужно править сразу несколько проблем, чтобы результат воспринимался хорошо.

Перспективы 3D-кино

А теперь отвлечемся от резкости и, как было обещано в самом начале, расскажем самое интересное — про перспективы 3D-кино. Что, собственно, изменилось за годы, прошедшие с момента многократно описанной даже самыми ленивыми журналистами «смерти 3D»‎.

Кардинальное увеличение числа залов

Как уже было указано выше, число кинозалов, где можно посмотреть 3D, с 2006 по 2018 выросло в 400 раз (кстати, про CAGR ^[3] в начале была шутка для понимающих, процесс, конечно, линейный):

Источник: Number of 3D cinema screens worldwide from 2006 to 2018 ^[2]

И если в 2006 году на практике фильм можно было посмотреть только в крупных городах Европы и США, где располагалась львиная доля жалких 258 3D-кинозалов, то сегодня, в 2019, доступность залов выросла на два порядка. Кроме того, если в Китае, например, 3D-залов фактически не было, то сегодня это один из мировых лидеров, т.е. 3D-фильмы как индустрия появились в Азии. 

Выводы: 

• Такой рост числа залов и расширение географии — это очень существенно, поскольку по факту решение делать или не делать фильм в 3D зависит от сборов. Возможность их увеличить на 2 порядка — это ОЧЕНЬ существенно. 
• Важно, что количество 3D-залов продолжает устойчиво расти примерно пропорционально выпуску новых лазерных проекторов, сразу работающих в 2D и в 3D.

Появление лазерной проекции

Так сложилось, что мы какое-то время назад «поработали киномеханиками»‎, обслуживая профессиональные ламповые проекторы Digital Projection ^[20], установленные в МГУ. И пришлось плотно столкнуться с рынком ламп, когда производители проекторов зарабатывают на лампах, примерно как производители принтеров на картриджах. Лампы положено менять часто, и оригинальные лампы стоят ОЧЕНЬ дорого (как вам лампа за полмиллиона рублей? ^[21]). Эта ситуация породила выпуск китайцами неоригинальных ламп по цене в 6–10 раз ниже ^[22], но с более низкими и менее стабильными от партии к партии характеристиками. Описание приключений с ними достойно отдельной саги, пришлось познакомиться с профессиональными форумами и т.п. Угадайте, какие лампы стоят с огромной вероятностью в кинотеатре рядом с вашим домом? Конечно, оригинальные китайские. 

Для зрителя это означает существенно более темный экран, что на восприятии 3D сказывается крайне печально. Помнится, авторы «Сталинграда»‎ (если не ошибаюсь, единственного IMAX 3D-фильма, произведенного в России) жаловались, что в поисках зала для премьерного показа обошли множество лучших кинотеатров, и везде (везде!) изображение было темным.

Ситуация резко поменялась в лучшую сторону с появлением лазерных проекторов, изображение которых намного ярче, и (что важно!) деградация яркости происходит намного медленнее. Более того, один из лидеров рынка кинопроекторов Christie Digital Systems ^[23] констатирует, что прямо сейчас выходит уже второе поколение лазерных проекторов (заметим, что их 10–18 тысяч в год вполне соответствуют приросту 3D кинозалов в мире с учетом обновления устаревшего оборудования у части 3D кинозалов):

Источник: Christie Taking RGB Laser Projection to Mainstream Cinemas ^[24]

Соответственно, текущие Laser Phosphor ^[25] проекторы (LP или LaPh) будут очень скоро заменены на RGB Laser проекторы, которые по ряду показателей, в том числе по яркости, значительно лучше. Чтобы никого не обижать, сошлемся на FAQ конкурентов Christie — Barco — по сравнению этих двух лазерных технологий ^[26]. Заметим, что только в Китае появилось уже более десятка производителей лазерных кинопроекторов и конкуренция на этом рынке, с точки зрения потребителя, вырисовывается очень интересная. Впрочем, это отдельная большая многообещающая история. 

Выводы:

• Производители проекторов для кинотеатров дружно снижают производство ламповых моделей и переходят на лазерные проекторы (уже второго поколения).
• При этом у нас, на родине слонов, люди не готовы платить больше за качество. В итоге, в Москве (в отличие от Пекина) почти нет лазерных залов. Был бы рад ошибиться, но что-то типа 4 зала всего… К счастью, совокупная стоимость владения ^[27] лазерных проекторов быстро падает. Она уже давно ниже «оригинальной лампы»‎ и такими темпами скоро станет ниже «китайской лампы»‎. Поэтому новые залы начнут ставить-таки с лазерными проекторами. 
• А чтобы ставили не с самыми дешевыми, нужно разбираться, рассказывать людям разницу и голосовать рублем. Люди! Вы достойны лучшего качества. Не ходите в ужасные залы с вырвиглазным оборудованием, выбирайте только лучшие залы, пусть реже! Пусть появится стимул заменить ужасное оборудование хотя бы на свежее китайское!

IMAX, который всегда с собой

Но и это еще не все хорошие новости. Недавно появились совершенно новые устройства, принципиально меняющие расклад. Это шлемы, предназначенные специально для просмотра кино, в том числе 3D-кино. Возможны они стали благодаря появлению новых микро-экранов (производства, в частности, Sony) с фантастическими характеристиками. По количеству точек на дюйм экрана для широкой публики лидерами являются гуру маркетинга — Apple с iPhone X. Однако у этих устройств плотность пикселей в 7 раз выше чем у iPhone X!

Источник: материалы по шлемам Goovis ^[28]

Основная разница — оптическая система сконструирована не как в VR шлемах, где важен большой угол обзора ^[29], а как будто экран висит перед вами (угол обзора меньше). Причем люди не понимают, что тут такого. А происходит невероятная вещь. Благодаря этому в прямом смысле слова маленькому чуду появилась возможность впервые массово смотреть дома 3D-кино с параллаксом большого экрана! Приведем нашу старую картинку:

Источник: этот рисунок и следующий график — материалы автора 

Суть простая — параллакс 1% при ширине экрана 6,5 метров — это сдвиг объектов на 6,5 сантиметров (расстояние между глазами) и вуаля — луна висит для нас в бесконечности и 3D-сцена завораживает глубиной. А если у нас 3D-телевизор с шириной экрана 60 см, 1% того же контента — это 6 мм. Рисуем пропорцию. Грустим. Ибо луна висит максимум в десятке сантиметров за экраном (и то, если расположиться от экрана подальше, подробно вопрос был разобран в разделе про параллакс ^[30]). Ни о какой «бесконечности»‎ речи быть не может, ибо 6 мм в 6 см не превратить, визуально воспринимаемая глубина мала и 3D кино выглядит «плоским» (ибо с вылетами из экрана на зрителя — та же беда, они уменьшаются пусть не в бесконечное количество раз, но в разы)‎. Все плоско и уныло! 

Можно ли сделать параллакс и видимую глубину фильма больше? 

Ответ — да, можно, но делать это никто не будет. По нашим измерениям (см. график выше), видимая глубина, скорее, падает, и в среднем она заметно меньше, даже чем у «Аватара»‎. Вам не расскажут про это в интервью, но киноиндустрия живет в первую очередь на сборы кинотеатров, и своими руками пилить сук, на котором сидят (ибо торренты работают как часы), выпуская версии под просмотр с экрана телевизора, они не будут. Так что, если хотите 3D-эффект, чтобы прям «Вау!»‎ — добро пожаловать в лазерный IMAX (это, к сожалению, не реклама, это минимальное требование). Поднимать параллакс алгоритмически тоже можно. Но это тема отдельной печальной истории.

Впрочем, долой грусть и печаль, так было вчера! А сегодня появились шлемы, которые позволяют смотреть дома «как в кино»‎, в том числе по 3D-эффекту и в FullHD. Благодаря замечательному энтузиасту Владимиру (@ED-209 ^[31]) у нас с коллегами была возможность две модели таких шлемов протестировать. Очень надеюсь, что мы напишем про эти устройства большую статью, ибо они того достойны. Особенно они должны понравиться тем, кто «ненавидит 3D-очки»‎:

Источник: GOOVIS Pro Mobile 3D Cinema ^[32]; видно, что экраны настроены несимметрично по расстоянию от переносицы и выставлены разные диоптрии

У девайсов есть редкая (для VR шлемов) возможность настраивать диоптрии под каждый глаз. Как следствие, про «наши 3D-очки можно комфортно надевать поверх ваших очков»‎ можно забыть как про страшный сон. А еще можно гибко настраивать расстояние между переносицей и каждым (!) глазом, т.е. даже редким обладателям сломанных носов и несимметричной переносицы (на удобстве которых в VR шлемах обычно экономят) можно настроить под себя. Более того, знакомый человек с несильным косоглазием, смог впервые в жизни увидеть объемное стерео-кино благодаря этому шлему и его гибким настройками (в 3D-кинотеатре он объем не видит). В итоге, смотреть будет удобно всем, они даже тихий кулер предусмотрели, чтобы экраны не запотевали за 2 часа фильма. Прямо праздник какой-то, хочется команде разработчиков руку пожать каждому. Заслужили.

Ну и огромный (огромнейший!) плюс — 2 независимых экрана, т.е. не нужно применять специальные технологии (портящие жизнь и 3D-кинотеатрам, и 3D-телевизорам), чтобы сначала показывать на экране 2 ракурса одновременно, а потом мучительно и с артефактами их обратно разделять между глазами. 

В итоге получаем:

• Отсутствует проблема кросстолка ^[30] как класс… Ибо даже в IMAX белые космонавты на фоне черного неба в «Гравитации ^[33]» были ужасны! Особенно, если сидеть не по центру зала (это важная проблема, во многом определяющая большую цену на билеты в центре зала). Тут ее нет!
• Нет вертикального параллакса при наклоне головы. Неграмотные зрительницы любят наклонить голову в очках на плечо (молодого человека), а потом жаловаться на головную боль! Тут можно смотреть, хоть лежа на диване.
• Нет мерцания. Совсем! Как в лучших залах IMAX. Для проверки — когда придете в кинозал в следующий раз — обернитесь. Если вы видите 2 луча проекторов над головой — у вас не будет мерцания. Залов без мерцания меньше 1% от всех 3D-залов в России. И за уменьшение головной боли при этом стоит платить.
• Нет бликов. Помню, в одном IMAX зале в Москве мучился, поскольку над экраном очень грамотно расположили покрытые лаком панели на потолке и они жутко стробили в глазах. Отраженный свет поляризован (привет физике), а разделяется по ракурсам в IMAX изображение благодаря поляризации. В итоге мерцание потолка становится дискомфортным. Тут этого опять нет!

Естественно, проблемы у устройств тоже есть. Основная — пиксели этого чуда очень малы и им не хватает глубины цвета ^[34]. Было даже подозрение, что там 7 бит, но вскрытие (включавшее нетривиальное получение закрытой технической документации от производителя) показало, что честные 8 бит есть, но экран так контрастен, что их временами заметно не хватает. Надеюсь, удастся про эти приключения и тесты, а также предтечи этих шлемов от Sony подробно рассказать.

Выводы:

• Благодаря появлению сверхмалых FullHD экранов, впервые в истории появилась техническая возможность дома (в поезде, в самолете...) смотреть 3D-фильмы, сделанные с параллаксом под большой экран, с нормальным 3D-эффектом (видимой глубиной). 
• Также впервые в массовых серийных устройствах появилась возможность смотреть 3D в FullHD, не разделяя ракурсы тем или иным (обычно недостаточно эффективным) способом. Что избавляет от массы неприятных побочных эффектов. И это — хорошо увлажненная тяжелым трудовым потом инженеров благодатная почва для новой революции, о которой пока знают только редкие специалисты и энтузиасты.
• И наконец, очевидно, что сейчас мы наблюдаем раннее младенчество технологии киношлемов. Через короткое время, когда тиражи станут больше, ее качество вырастет, появятся (очень надеюсь) многочисленные конкуренты, а цена устройств упадет в разы. И вот тогда-то и начнется самое интересное. 

Появление нового софта и алгоритмов

Когда Кэмерон делал «Аватар»,‎ софта для для нормальной работы со стерео практически не было. Взлет Nuke ^[35] был неудивителен, там «нативно»‎, а не безобразными костылями, как у [вырезано цензурой], поддерживается не только стерео, но и многоракурсное видео. И даже пленоптическое, если на то пошло. Это сильно, и еще совсем недавно такой легкой возможности работать с новыми форматами не было в принципе. 

Аналогичная ситуация с развитием алгоритмов. За последние 10 лет алгоритмы сопоставления ракурсов ^[36], построения оптического потока ^[37], обработки матированием полупрозрачной границы ^[38] объектов, автозаполнения областей ^[39] были существенно менее практичны, менее удобны, менее быстры. Банально CUDA ^[40] стартовала всего 12 лет назад, а OpenCL ^[41] — всего 10 лет назад. Более того — производительность GPU продолжает расти на фоне замедления роста производительности CPU. NVIDIA обещала разницу на три порядка к 2025 году:

Источник: What is CUDA? Parallel programming for GPUs ^[42]

Также изменения, которые произошли с алгоритмами обработки видео за 10 лет — тектонические, поскольку с GPGPU ^[43] стали доступны не просто другие алгоритмы, а другие классы алгоритмов. Было бы здорово про это написать, ибо это прямая область работы автора.

Отдельный мощный тренд — нейросети:

Источник: Top 10 Hot Artificial Intelligence (AI) Technologies ^[44]

Их важно не переоценить, особенно в краткосрочной перспективе, но в долгосрочной — это очередная революция. На схеме выше приведен только анализ видео и изображений, но современная обработка (video processing, включая stereo video processing), по сути, построена на основе анализа, так что на нее эти тренды также серьезно положительно влияют. 

Выводы:

• Принципиальное увеличение быстродействия GPU открыло жизнь семействам алгоритмов нового уровня, которые ранее можно было изучать исключительно теоретически. 
• Более того — кино позволяет использовать алгоритмы в 2000 раз медленнее реального времени. У каждой студии есть либо свои, либо арендованные render farms, и сегодня вычислительная сложность перестала быть серьезной проблемой. В итоге буквально за 10 лет принципиально изменились возможности студий по обработке видео.
• В следующие 10 лет можно прогнозировать не менее революционные изменения благодаря нейросетям. А уж если когда взлетят нейроакселеторы ^[45]…

3D-съемка будущего

Красочно и детально описанные в предыдущих статьях сложности съемки 3D оказались настолько велики, что 3D практически перестали СНИМАТЬ. Фактически львиная доля современных 3D-фильмов сконвертирована. Там тоже не все идеально с точки зрения качества и болезненности, но ситуация кардинально лучше, что, заметим, было видно на многочисленных приводившихся в прошлых частях графиках, где отконвертированные фильмы почти всегда (ибо испортить можно все) болтались в районе идеала. 

Основная причина массового использования конвертации — большее визуальное качество, более низкая и предсказуемая цена и меньший процент зрителей, испытывающих головную боль. В этом плане у съемки не было никаких шансов. Только медленная мучительная смерть.

Тем не менее, у конвертации тоже все далеко не волшебно даже в блокбастерах (автор очень надеется примеры опубликовать), и самое главное — глубина там не настоящая, а та, которую посчитали наилучшей (во всех смыслах, включая себестоимость) в студии. 

Вопрос — можно ли именно СНЯТЬ 3D так, чтобы не было всех изложенных ранее (и еще доброго десятка более скучных, но от этого не менее болезненных) проблем? 

Ответ — да! Но пока это слишком сложно. 

Решение — в развитии так называемых пленоптических камер, про которые был отдельный большой и детальный пост ^[46]. Сейчас оно упирается в наличие компактных сенсоров высокого разрешения с маленькой кромкой (которые можно ставить вплотную друг к другу) и малым тепловыделением. Учитывая текущую фантастическую скорость совершенствования сенсоров, ждать придется не так уж долго.

Выводы: 

• Да, пленоптика, скорее всего, взлетит только после распространения многоракурсных дисплеев, поскольку она позволяет генерировать качественный контент для них, как мало какая технология, и произойдет это не завтра. Но послезавтра — точно произойдет!
• Забавно, что взлет так называемого разреженного светового поля с большой вероятностью пойдет с телефонов/планшетов. И только потом даст возможность снимать кино. Впрочем, и GPU развивались изначально для геймеров, а сегодня на них автопилоты машин и промышленных роботов делают. Дадим истории время прокрутить жернова.

Вместо заключения

Господа! Некоторые несознательные журналисты граждане периодически оглашают окрестности криками «3D-кино умерло!!!»‎ ^[47]. Не пугайтесь. Это от неграмотности и неинформированности. 

Как говорилось пару веков назад (по другому поводу): «3D-кино умерло! Да здравствует 3D-кино!»‎ Сейчас для этой фразы время еще не пришло, но очень многое для этого сделано и продолжает очень активно делаться. И те же товарищи, кажется, даже искренне прокричат обратное. В США это было уже 6 волн 3D-кино за 100 лет.

Например, Кэмерон уже снял Аватар 2 и 3 ^[48] и судя по многочисленным переносам даты релиза (сейчас это 21 декабря 2021) что-то подсказывает, что он нацелился минимум на 3 миллиарда сборов со 2 и 3 частей. Сейчас за год открывается 3D-залов больше, чем было всего на момент релиза первого Аватара (и еще +2,5 года — это много). При этом техническое качество изображения новых залов кардинально выше технологий 10-летней давности, особенно у лазерной проекции второго поколения, которую, вангую, начнут активно рекламировать года через 1.5.

Карфаген должен быть разру… Всё видео до конца века станет трехмерным!

Если времени хватит — напишу про конвертацию.

Stay tuned! 

Читайте также:

• Почему от 3D болит голова / Часть 1: Недостатки оборудования ^[4]
• Почему от 3D болит голова / Часть 2: Дискомфорт из-за качества видео ^[49]
• Почему от 3D болит голова / Часть 3: Перепутанные ракурсы ^[50]
• Почему от 3D болит голова / Часть 4: Параллакс ^[30]
• Почему от 3D болит голова / Часть 5: Геометрические искажения в стерео ^[51]
• Почему от 3D болит голова / Часть 6: Искажения цвета ^[52]
• Почему от 3D болит голова / Часть 7: Сдвиг во времени между ракурсами ^[53]
• Будущее VR видео — VR180 от Google ^[11]
• Вычисляемое видео в 755 мегапикселей: пленоптика вчера, сегодня и завтра ^[46]

Благодарности

Хотелось бы сердечно поблагодарить:

• моих коллег Александра Белоуса (чьи примеры использованы выше), Юрия Гитмана (помогавшего сделать алгоритм лучше), Александра Воронова, Дениса Сумина, Алексея Федорова, Виталия Людвиченко и Александра Бокова, а также других членов видеогруппы, благодаря которым представленные выше алгоритмы были созданы, а результаты посчитаны,
• вице-президента по технологиям и Senior Scientist компании RealD Джона Карафина за веру в наши силы и воодушевляющую поддержку,
• компании Intel, Cisco, Verizon и YUVsoft за серьезную поддержку проекта и то, что им не безразлично качество стереофильмов,
• Лабораторию Компьютерной Графики ВМК МГУ им М.В.Ломоносова за вычислительные мощности и не только,
• В особенности Кирилла Малышева, а также Константина Кожемякова, Станислава Грохольского, Алексея Соловьева, Сергея Лаврушкина, Ивана Молодецких, Дмитрия Коновальчука, Андрея Москаленко, Егора Склярова, Александра Яковенко, Евгения Купцова, Евгения Ляпустина, Романа Казанцева и Николая Оплачко за большое количество дельных замечаний и правок, сделавших этот текст лучше,
• Энтузиасту и фанату кино-шлемов Владимиру (@ED-209 ^[31]) за то, что прислал из другой страны два удивительных девайса на тестирование,
• ИППИ РАН и доктора биологических наук, профессора Галину Ивановну Рожкову с коллегами — за профессионализм в области исследований бинокулярного зрения, сотрудничество и реальную помощь,
• и наконец, всех организаторов Международного московского 3D-стерео кинофестиваля и лично Олега Николаевича Раева, за то, что они делают для того, чтобы выросло качество стереофильмов в России.

Автор: Dmitriy Vatolin

Источник ^[54]