«Черт возьми, надо мной пролетел гигантский жук»: релиз SDK для объемного звука

Компания Google представила ^[1] SDK Resonance Audio — инструментарий для звукового оформления игр, 360-градусных видео, VR и AR приложений.

Это далеко не первая разработка компании в этой сфере. В январе 2016 года вышел ^[2] Google Cardboard SDK с объемным звуком. Его доработанная версия вошла ^[3] в VR-платформу Daydream 2.0, которая в данный момент открыта ^[4] для сторонних разработчиков.

Новинка под названием «Resonance Audio» объединяет наработки Google в этой области и позволяет реализовывать их на множестве платформ, в том числе мобильных.

Ниже расскажем про особенности Resonance Audio.

^[5]
Фото ^[6] Jennifer Boyer CC BY ^[7]

Что это дает

• Эффект полноценного присутствия. Угол обзора человеческого зрения в среднем составляет 160-200 градусов, но с помощью возможностей слуха человек может сформировать для себя полный образ пространства. Синхронизировав виртуальное зрение и виртуальный звук, можно будет добиться большего эффекта присутствия в виртуальной реальности.

• Экономное использование CPU. Здесь работает технология Ambisonics ^[8] — 3D-версия Mid-Side ^[9] записи. Если говорить простыми словами, она позволяет экономить вычислительные ресурсы в процессе «сведения» сотен виртуальных источников звука. Помимо этого, для Unity предусмотрена возможность предварительных вычислений эффекта реверберации в зависимости от акустических свойств виртуального окружения.

• Кроссплатформенность. Resonance Audio работает на операционных системах Android, iOS, Windows, MacOS, Linux; на движках Unity и Unreal Engine; с аудиобиблиотекой FMOD ^[10]; пакетом программ Wwise ^[11]; цифровыми звуковыми рабочими станциями ^[12]. Также Google предоставляет API для C/C++, Java и Objective-C.

• Формирование сложных звуковых сред. С помощью SDK можно работать с рядом параметров, влияющих на пространственное восприятие звуков. Например, задавать направление распространения звуковой волны. Разработчики приводят ^[1] ситуацию с источником звука в виде виртуальной гитары: она будет звучать громче, если ваш игровой персонаж будет стоять перед ней и тише, если за ней.

Помимо этого SDK предусматривает различное восприятие звука в зависимости от окружающих условий (например, в открытом и замкнутом пространстве). За счет использования данных возможностей разработчики смогут создавать более реалистичные сцены.

Как работает Resonance Audio

Технология позволяет задать положение источника звука вместе с характером его распространения и имитирует ^[13] взаимодействие звуковых волн с виртуальными предметами. Для этого Resonance Audio вводит три вида составляющих общего восприятия того или иного звукового воздействия.

• Прямой звук — идет от источника к слушателю напрямую без взаимодействия с препятствиями. Он обладает наибольшей интенсивностью по сравнению с другими составляющими и затихает по мере отдаления от источника.

• Первичные отражения от поверхностей — имеют меньшую интенсивность, которая зависит в том числе и от свойств поверхности. Они позволяют оценить размер и форму виртуального пространства.

• Далее следуют вторичные и последующие отражения, которые прибывают с возрастающей плотностью и накладываются ^[14] на прямой звук. По ним строится более полная картина окружающего пространства.

Как подчеркивает ^[15] Крис Хэгстром (Chris Hegstrom), саунд-дизайнер Microsoft HoloLens, звуковую информацию человеческий мозг ^[16] обрабатывает быстрее, чем зрительную. Инстинкт самосохранения приучил человека определять дистанцию до источника звука, и на этом принципе построен процесс формирования эффекта присутствия, за который во многом отвечает как раз аудиосоставляющая:

Эффект присутствия — это разница между «Вау, в этой игре очень крутая анимация огромного жука» и «Черт возьми, надо мной пролетел гигантский жук!»

С помощью возможностей Resonance Audio человек, погруженный в виртуальный мир, формирует своеобразную «карту» пространства, в котором он находится. И приблизительное местоположение объектов, которые он не может увидеть, человек определяет как раз с помощью слуха.

Что еще нужно знать

Значимость работы над технологиями объемного звука подтверждают эксперименты, один из которых провела ^[17] компания G’Audio Lab. Людям предоставили две демонстрационные версии игры — одну с объемным звуком, а другую с обычным. После завершения игрового процесса, респонденты открыто говорили о том, что даже и не думали, что звук может внести такую большую разницу в ощущения от игрового процесса.

Джоел Сусал (Joel Susal), глава подразделения Dolby, которое занимается виртуальной и дополненной реальностью, напоминает ^[18], что именно реалистичные звуковые эффекты вроде резкого скрипа двери или звука приближающихся шагов заставляют нас инстинктивно повернуть голову, чтобы увидеть источник звука и разобраться в том, что все-таки происходит. Технология объемного звука позволит обогатить игровой процесс VR-игр и расширить область взаимодействия с игровой средой.

Объемный звук можно использовать не только в играх и фильмах, но и в музыкальных клипах ^[19], во время прямых VR-трансляций концертов и спортивных матчей, чтобы человек, находясь дома, чувствовал себя частью события. Объемный звук поможет ощутить то, что не так-то легко почувствовать даже в реальном мире — например, не просто пойти на концерт, а побыть прямо на сцене, рядом с любимым исполнителем.

Другие материалы из нашего «Мира Hi-Fi»:

• «Дождь, лязг доспехов и жидкий металл»: как создается звук для кино ^[20]
• «Идите на звук» — об играх, в которые хочется играть только ради аудио ^[21]
• Аудиотриггеры: как человеческая психика реагирует на разные звуки ^[22]

Автор: Audioman

Источник ^[23]