Виртуальная реальность: видео 360 и бинауральный звук

в 12:00, , рубрики: CardBoard, Oculus Rift, бинауральный звук, видео 360, Видео-техника, гаджеты, дополненная реальность, звук, итмо, Стереоизображения, метки: ,

Мы написали интересный доклад по технологиям виртуальной реальности для конференции EVA Florence 2015 (Флоренция, Италия). Статья нигде не публиковалась и, поскольку тема интересная и не слишком освещенная на Geektimes, решили разместить её здесь. Приводим адаптированный русский вариант статьи, в случае необходимости, любые дополнения, ссылки, примечания добавим.

Виртуальная реальность: видео 360 и бинауральный звук - 1
Видео 360 + бинауральный звук

Введение

По мере эволюции компьютерной игровой индустрии и технологий виртуального представления объектов (3D-моделирование, фотопанорамы) одновременно совершенствовались устройства для индивидуального и коллективного погружения в среды виртуальной реальности. Подобные устройства и системы, за счет эффекта присутствия, позволяют человеку оказаться внутри виртуального мира: компьютерной игры, виртуального музея, виртуальной экскурсии и т.д.

В 2013 году появился прототип шлема виртуальной реальности нового поколения – Oculus Rift (Рис. 1.) от компании Oculus http://www.oculus.com, собравший более $90 млн. на краудфандинговых площадках в США, а также от различных инвесторов. Отличительной особенностью шлема Oculus Rift является линзовый способ построения изображения – зритель, надевший шлем, смотрит на стерео-изображение не напрямую, а через специальные асферические линзы. С помощью линз удалось существенно расширить угол обзора, сделав его близким к биологическому зрению человека (110° против 45-50° в обычных очках), благодаря чему шлем обеспечивает необыкновенно глубокое погружение в виртуальную реальность. Данная особенность определила дальнейшую судьбу очков – проект стал одним из самых динамично развивающихся в индустрии, по всему миру стали создаваться экспериментальные приложения для Oculus Rift, а в 2014 году произошла одна из рекордных сделок в индустрии – Facebook осуществил покупку компании Oculus за $2 млрд.

Виртуальная реальность: видео 360 и бинауральный звук - 2
Рис. 1. Шлем виртуальной реальности Oculus Rift DK2 и пользователь, 2014 г.

Конец 2014 года был ознаменован появлением целого ряда различных шлемов (или, точнее сказать, — гарнитур) виртуальной реальности, построенных по аналогичному принципу и предназначенных для использования вместе со смартфоном. В гонку по созданию таких продуктов включились крупные компании — Samsung (Samsung Gear VR), Google (Google Cardboard), HTC (HTC Vive), также возникло множество стартапов по изготовлению шлемов – Homido (Франция), Fibrum (Россия), ColorCross (Китай) и другие (Рис. 2.).

Принципиальным отличием этих гаджетов от Oculus Rift являлось то, что перечисленные шлемы использовали в качестве экрана смартфон, вставляющийся внутрь шлема. Таким образом, отпала необходимость в использовании компьютера и соединительных проводов для подключения Oculus Rift, а стоимость шлема упала до $30.

Виртуальная реальность: видео 360 и бинауральный звук - 3
Рис. 2. Гарнитуры виртуальной реальности

В настоящий момент (май 2015 г.) гарнитуры виртуальной реальности поддерживаются больши'м количеством компьютерных игр (Half-Life 2, Team Fortress 2, Mirror’s Edge, War Thunder,EVE Valkyrie (ex. EVR) от CCP, DCS: World, Ил-2 Штурмовик «Битва за Сталинград», Euro Truck Simulator 2, Minecraft, Live For Speed) и несколькими игровыми движками (CryEngine, Unreal Engine (версии 3 и 4), Unity, Unigine, Source, CopperCube, полный список. Виртуальную реальность можно просматривать и без шлема — вращая смартфон, но при этом существенно уменьшается эффект присутствия.

Появился и активно распространяется новый формат развлечений — аттракцион «виртуальная реальность», где клиент за небольшую плату может оказаться в 3D-мире. Один из таких аттракционов был собран и в Центре дизайна и мультимедиа ИТМО и неизменно пользуется успехом у зрителей (Рис. 3.).

Виртуальная реальность: видео 360 и бинауральный звук - 4
Рис. 3. Губернатор Санкт-Петербурга Г.С. Полтавченко знакомится с аттракционом «Виртуальная реальность» (Санкт-Петербург, Россия, осень 2014 г.)

Использование гарнитур виртуальной реальности в образовательных и научно-исследовательских целях позволяет представлять объекты культуры (архитектурные объекты или музейные экспонаты) с новой степенью детализации и возможностями для просмотра пользователем.

Использование технологии видео 360° для культуры и искусства

С появлением гарнитур виртуальной реальности стало особенно актуальным направление фото и видео панорам, а также использование технологии Видео 360° в различных сферах – от музеев и интерактивных видео-экскурсий до съемки музыкальных и театрализованных представлений. В частности, концерт, записанный в таком формате, производит неизгладимое впечатление – зритель, надев шлем виртуальной реальности, оказывается прямо на сцене среди любимых музыкантов или актеров.

Центр дизайна и мультимедиа ИТМО одним из первых в России начал эксперименты по разработке технологии Видео 360 для шлемов виртуальной реальности. Один из первых экспериментов, проведенных совместно с Центром 3D-технологий СПбГУТ – съемка спектакля «Выбор» (театр «АХЕ», Санкт-Петербург, Россия, лето 2014 г.), адаптированная для воспроизведения в Oculus Rift DK1 (Рис. 4.).

Виртуальная реальность: видео 360 и бинауральный звук - 5
Рис. 4. Спектакль «Выбор», в режиме стерео-пары (театр «АХЕ», Санкт-Петербург, Россия, лето 2014 г.)

Особенностью данной экспериментальной съемки являлось то, что съемка была произведена на обычную 3D-камеру — при просмотре через шлем виртуальной реальности пользователь видел стерео-эффект (для каждого глаза создавалась своя картинка), однако позиционирование по положению головы отсутствовало.

Большим успехом в разработке технологии Видео 360 стала съемка концерта Пола Маккартни, проведенная американской компанией Jaunt в августе 2014 г.

Виртуальная реальность: видео 360 и бинауральный звук - 6
Рис. 5. Концерт Пола Маккартни, в формате 3D видео 360° («Live and Let Die», live at Candlestick park, San Francisco, США, 14 авг. 2014 г.)

В продолжение экспериментов по съемке культурно-массовых мероприятий с возможностью просмотра в шлеме виртуальной реальности, сотрудниками Центра дизайна и мультимедиа ИТМО было разработано специализированное оборудование для записи видео 360° для различных сценариев – статические сцены (камера стоит неподвижно в одной точке), динамические сцены (камера движется по выбранной траектории, управляемая дистанционно), различные способы крепления (катер, квадракоптер, шлем и др.).

Устройства для съемки видео 360°

Создание контента в формате видео 360° к настоящему моменту не является тривиальной задачей, несмотря на то, что разработано специализированное оборудование (видео-камеры 360°) и программное обеспечение для последующей обработки материала.

Постепенное распространение технологии можно объяснить целым рядом сложностей: большой объем обрабатываемых материалов, частично ручной процесс обработки, дороговизна оборудования, и, самое главное, — отсутствие удобного средства просмотра. Действительно, до появления гарнитур виртуальной реальности единственным способом просмотра видео 360° был специализированный плеер, в котором пользователь имеет возможность крутить мышкой видео «вокруг себя».

С появлением гарнитур виртуальной реальности ситуация изменилась – пользователь оказывается «внутри» видео и ощущает практически полную степень погружения в виртуальное пространство. В большом количестве появились различные творческие группы и стартапы, реализующие собственные технологические решения для съемки видео 360°, отличающиеся заметным разнообразием и характеристиками (Рис. 6-7).

Виртуальная реальность: видео 360 и бинауральный звук - 7
Рис. 6. Различные компоновки камер для съемки фото и видео 360°

Особенно необычно выглядят решения, позволяющие снимать видео 360° в 3D формате (для каждого глаза создается своя видео-сфера, затем они совмещаются в специализированном плеере для воспроизведения). 3D видео 360° дает зрителю ощущение пространства более сильное, чем в обычном «моно» варианте, однако требует существенно больше ресурсов – как для обработки материалов, так и для решения различных технических задач. В частности, отдельной является проблема верхних камер и их размещения (таким образом, чтобы при любом повороте головы наверх зритель видел правильную картинку) (Рис. 7).

Виртуальная реальность: видео 360 и бинауральный звук - 8
Рис. 7. Различные компоновки камер для съемки фото и видео 360,
включая стерео-компоновку для 3D видео 360 (на примере камер 360 Heros)

Бинауральный звук

Особой задачей при создании контента для виртуальной реальности, будь то 3D-моделирование или «Видео 360°» является запись и воспроизведение объемного звука – ведь пользователь, находясь в виртуальной реальности, должен слышать разный звук в зависимости от положения головы!

В компьютерных игровых движках эта проблема решена с помощью специальных программных средств, задающих расположение источников звука в виртуальном пространстве. Однако с появлением формата «Видео 360°» и возможности записи в этом формате музыкальных концертов, возникла необходимость записывать звук предельно точно – так, как его слышит человек, стоящий в определенной точке.

Для этой цели исследователи используют т.н. бинауральный звук – он записывается на специальные микрофоны, по форме повторяющие ушную раковину человека.

Виртуальная реальность: видео 360 и бинауральный звук - 9
Рис. 8. Устройства для записи бинаурального звука от компании 3Dio

Одна из самых известных работ, снятых при помощи технологии бинаурального звука – концерт группы Beck:

Виртуальная реальность: видео 360 и бинауральный звук - 10
Рис. 9. Beck, «Hello again» («Sound and Vision», 2013 г.)

Виртуальная реальность: видео 360 и бинауральный звук - 11
Рис. 10. Beck, «Hello again» («Sound and Vision», 2013 г.)

Хостинг видео 360°

В связи с быстрым распространением технологии актуальным является вопрос организации хостинга для файлов в формате «Видео 360°». Важной составляющей такого хостинга является возможность не только воспроизвести видео с возможностью вращения мышкой, но и адаптация для гарнитур виртуальной реальности, как стационарных (Oculus Rift), так и мобильных.

В данный момент, полноценную поддержку «Видео 360°» осуществляют всего несколько сервисов – французский Kolor(на момент написания статьи куплен американской компанией GoPro), также частичную поддержку Видео 360 в 2015 году сделал Youtube (есть возможность вращения мышкой, но нет адаптации для гарнитур виртуальной реальности).

Борисов Николай Валентинович
Центр дизайна и мультимедиа, Университет ИТМО
Кафедра информационных систем в искусстве и гуманитарных науках, СПбГУ

Смолин Артем Александрович
Кафедра инженерной и компьютерной графики, Центр дизайна и мультимедиа, Университет ИТМО
Кафедра информационных систем в искусстве и гуманитарных науках, СПбГУ

Столяров Денис Андреевич
Центр дизайна и мультимедиа, Университет ИТМО
Кафедра математической лингвистики, СПбГУ

Автор: Denis_Stolyarov

Источник

Поделиться новостью

* - обязательные к заполнению поля