- PVSM.RU - https://www.pvsm.ru -
Мы написали интересный доклад по технологиям виртуальной реальности для конференции EVA Florence 2015 [1] (Флоренция, Италия). Статья нигде не публиковалась и, поскольку тема интересная и не слишком освещенная на Geektimes, решили разместить её здесь. Приводим адаптированный русский вариант статьи, в случае необходимости, любые дополнения, ссылки, примечания добавим.
Видео 360 + бинауральный звук
По мере эволюции компьютерной игровой индустрии и технологий виртуального представления объектов (3D-моделирование, фотопанорамы) одновременно совершенствовались устройства для индивидуального и коллективного погружения в среды виртуальной реальности. Подобные устройства и системы, за счет эффекта присутствия, позволяют человеку оказаться внутри виртуального мира: компьютерной игры, виртуального музея, виртуальной экскурсии и т.д.
В 2013 году появился прототип шлема виртуальной реальности нового поколения – Oculus Rift (Рис. 1.) от компании Oculus http://www.oculus.com [2], собравший более $90 млн. на краудфандинговых площадках в США, а также от различных инвесторов. Отличительной особенностью шлема Oculus Rift является линзовый способ построения изображения – зритель, надевший шлем, смотрит на стерео-изображение не напрямую, а через специальные асферические линзы. С помощью линз удалось существенно расширить угол обзора, сделав его близким к биологическому зрению человека (110° против 45-50° в обычных очках), благодаря чему шлем обеспечивает необыкновенно глубокое погружение в виртуальную реальность. Данная особенность определила дальнейшую судьбу очков – проект стал одним из самых динамично развивающихся в индустрии, по всему миру стали создаваться экспериментальные приложения для Oculus Rift, а в 2014 году произошла одна из рекордных сделок в индустрии – Facebook осуществил покупку компании Oculus за $2 млрд.
Рис. 1. Шлем виртуальной реальности Oculus Rift DK2 и пользователь, 2014 г.
Конец 2014 года был ознаменован появлением целого ряда различных шлемов (или, точнее сказать, — гарнитур) виртуальной реальности, построенных по аналогичному принципу и предназначенных для использования вместе со смартфоном. В гонку по созданию таких продуктов включились крупные компании — Samsung (Samsung Gear VR [3]), Google (Google Cardboard [4]), HTC (HTC Vive [5]), также возникло множество стартапов по изготовлению шлемов – Homido [6] (Франция), Fibrum [7] (Россия), ColorCross [8] (Китай) и другие (Рис. 2.).
Принципиальным отличием этих гаджетов от Oculus Rift являлось то, что перечисленные шлемы использовали в качестве экрана смартфон, вставляющийся внутрь шлема. Таким образом, отпала необходимость в использовании компьютера и соединительных проводов для подключения Oculus Rift, а стоимость шлема упала до $30.
Рис. 2. Гарнитуры виртуальной реальности
В настоящий момент (май 2015 г.) гарнитуры виртуальной реальности поддерживаются больши'м количеством компьютерных игр (Half-Life 2, Team Fortress 2, Mirror’s Edge, War Thunder,EVE Valkyrie (ex. EVR) от CCP, DCS: World, Ил-2 Штурмовик «Битва за Сталинград», Euro Truck Simulator 2, Minecraft, Live For Speed) и несколькими игровыми движками (CryEngine, Unreal Engine (версии 3 и 4), Unity, Unigine, Source, CopperCube, полный список [9]. Виртуальную реальность можно просматривать и без шлема — вращая смартфон, но при этом существенно уменьшается эффект присутствия.
Появился и активно распространяется новый формат развлечений — аттракцион «виртуальная реальность», где клиент за небольшую плату может оказаться в 3D-мире. Один из таких аттракционов был собран и в Центре дизайна и мультимедиа ИТМО [10] и неизменно пользуется успехом у зрителей (Рис. 3.).
Рис. 3. Губернатор Санкт-Петербурга Г.С. Полтавченко знакомится с аттракционом «Виртуальная реальность» (Санкт-Петербург, Россия, осень 2014 г.)
Использование гарнитур виртуальной реальности в образовательных и научно-исследовательских целях позволяет представлять объекты культуры (архитектурные объекты или музейные экспонаты) с новой степенью детализации и возможностями для просмотра пользователем.
С появлением гарнитур виртуальной реальности стало особенно актуальным направление фото и видео панорам, а также использование технологии Видео 360° в различных сферах – от музеев и интерактивных видео-экскурсий до съемки музыкальных и театрализованных представлений. В частности, концерт, записанный в таком формате, производит неизгладимое впечатление – зритель, надев шлем виртуальной реальности, оказывается прямо на сцене среди любимых музыкантов или актеров.
Центр дизайна и мультимедиа ИТМО одним из первых в России начал эксперименты по разработке технологии Видео 360 для шлемов виртуальной реальности. Один из первых экспериментов, проведенных совместно с Центром 3D-технологий СПбГУТ [11] – съемка спектакля «Выбор» (театр «АХЕ» [12], Санкт-Петербург, Россия, лето 2014 г.), адаптированная для воспроизведения в Oculus Rift DK1 (Рис. 4.).
Рис. 4. Спектакль «Выбор», в режиме стерео-пары (театр «АХЕ», Санкт-Петербург, Россия, лето 2014 г.)
Особенностью данной экспериментальной съемки являлось то, что съемка была произведена на обычную 3D-камеру — при просмотре через шлем виртуальной реальности пользователь видел стерео-эффект (для каждого глаза создавалась своя картинка), однако позиционирование по положению головы отсутствовало.
Большим успехом в разработке технологии Видео 360 стала съемка концерта Пола Маккартни, проведенная американской компанией Jaunt [13] в августе 2014 г.
Рис. 5. Концерт Пола Маккартни, в формате 3D видео 360° («Live and Let Die», live at Candlestick park, San Francisco, США, 14 авг. 2014 г.)
В продолжение экспериментов по съемке культурно-массовых мероприятий с возможностью просмотра в шлеме виртуальной реальности, сотрудниками Центра дизайна и мультимедиа ИТМО было разработано специализированное оборудование для записи видео 360° для различных сценариев – статические сцены (камера стоит неподвижно в одной точке), динамические сцены (камера движется по выбранной траектории, управляемая дистанционно), различные способы крепления (катер, квадракоптер, шлем и др.).
Создание контента в формате видео 360° к настоящему моменту не является тривиальной задачей, несмотря на то, что разработано специализированное оборудование (видео-камеры 360°) и программное обеспечение для последующей обработки материала.
Постепенное распространение технологии можно объяснить целым рядом сложностей: большой объем обрабатываемых материалов, частично ручной процесс обработки, дороговизна оборудования, и, самое главное, — отсутствие удобного средства просмотра. Действительно, до появления гарнитур виртуальной реальности единственным способом просмотра видео 360° был специализированный плеер, в котором пользователь имеет возможность крутить мышкой видео «вокруг себя».
С появлением гарнитур виртуальной реальности ситуация изменилась – пользователь оказывается «внутри» видео и ощущает практически полную степень погружения в виртуальное пространство. В большом количестве появились различные творческие группы и стартапы, реализующие собственные технологические решения для съемки видео 360°, отличающиеся заметным разнообразием и характеристиками (Рис. 6-7).
Рис. 6. Различные компоновки камер для съемки фото и видео 360°
Особенно необычно выглядят решения, позволяющие снимать видео 360° в 3D формате (для каждого глаза создается своя видео-сфера, затем они совмещаются в специализированном плеере для воспроизведения). 3D видео 360° дает зрителю ощущение пространства более сильное, чем в обычном «моно» варианте, однако требует существенно больше ресурсов – как для обработки материалов, так и для решения различных технических задач. В частности, отдельной является проблема верхних камер и их размещения (таким образом, чтобы при любом повороте головы наверх зритель видел правильную картинку) (Рис. 7).
Рис. 7. Различные компоновки камер для съемки фото и видео 360,
включая стерео-компоновку для 3D видео 360 (на примере камер 360 Heros [14])
Особой задачей при создании контента для виртуальной реальности, будь то 3D-моделирование или «Видео 360°» является запись и воспроизведение объемного звука – ведь пользователь, находясь в виртуальной реальности, должен слышать разный звук в зависимости от положения головы!
В компьютерных игровых движках эта проблема решена с помощью специальных программных средств, задающих расположение источников звука в виртуальном пространстве. Однако с появлением формата «Видео 360°» и возможности записи в этом формате музыкальных концертов, возникла необходимость записывать звук предельно точно – так, как его слышит человек, стоящий в определенной точке.
Для этой цели исследователи используют т.н. бинауральный звук [15] – он записывается на специальные микрофоны, по форме повторяющие ушную раковину человека.
Рис. 8. Устройства для записи бинаурального звука от компании 3Dio [16]
Одна из самых известных работ, снятых при помощи технологии бинаурального звука – концерт группы Beck:
Рис. 9. Beck, «Hello again» («Sound and Vision», 2013 г.)
Рис. 10. Beck, «Hello again» («Sound and Vision», 2013 г.)
В связи с быстрым распространением технологии актуальным является вопрос организации
В данный момент, полноценную поддержку «Видео 360°» осуществляют всего несколько сервисов – французский Kolor [18](на момент написания статьи куплен американской компанией GoPro [19]), также частичную поддержку Видео 360 в 2015 году сделал Youtube (есть возможность вращения мышкой, но нет адаптации для гарнитур виртуальной реальности).
Борисов Николай Валентинович
Центр дизайна и мультимедиа, Университет ИТМО
Кафедра информационных систем в искусстве и гуманитарных науках, СПбГУ
Смолин Артем Александрович
Кафедра инженерной и компьютерной графики, Центр дизайна и мультимедиа, Университет ИТМО
Кафедра информационных систем в искусстве и гуманитарных науках, СПбГУ
Столяров Денис Андреевич
Центр дизайна и мультимедиа, Университет ИТМО
Кафедра математической лингвистики, СПбГУ
Автор: Denis_Stolyarov
Источник [20]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/gadzhety/90516
Ссылки в тексте:
[1] EVA Florence 2015: http://www.eva-conferences.com
[2] http://www.oculus.com: https://www.oculus.com/
[3] Samsung Gear VR: http://www.samsung.com/global/microsite/gearvr/gearvr_features.html
[4] Google Cardboard: https://www.google.com/get/cardboard/
[5] HTC Vive: http://www.htcvr.com/
[6] Homido: http://www.homido.com/
[7] Fibrum: http://fibrum.com
[8] ColorCross: http://colorcross.ru
[9] полный список: https://ru.wikipedia.org/wiki/Oculus_Rift
[10] Центре дизайна и мультимедиа ИТМО: http://сdm.ifmo.ru
[11] Центром 3D-технологий СПбГУТ: http://www.sut.ru/teaching/nauchno-obrazovatelnye-tsentry/noc-vimt
[12] «АХЕ»: http://www.akhe.ru
[13] Jaunt: http://www.jauntvr.com
[14] 360 Heros: http://www.360heros.com
[15] бинауральный звук: https://en.wikipedia.org/wiki/Binaural_recording
[16] 3Dio: http://3diosound.com
[17] хостинга: https://www.reg.ru/?rlink=reflink-717
[18] Kolor: http://www.kolor.com
[19] GoPro: http://gopro.com
[20] Источник: http://geektimes.ru/post/250496/
Нажмите здесь для печати.