Гарнитура Apple Vision Pro получила 12 камер, лидар, датчики глубины и шесть микрофонов

Вчера компания Apple наконец-то представила свою гарнитуру смешанной реальности Vision Pro ^[1]. Презентация устройства длилась весьма долго, и подробностей было немало. Сейчас появились те, которые изначально были упущены. 

^[2]

К примеру, гарнитура оснащена в общей сложности 12 камерами, четырьмя датчиками глубины, одним лидаром и шестью микрофонами. Всё это нужно для смешивания виртуальной реальности с окружающим миром. 

Шесть из двенадцати камер находятся под передним стеклом. Две из этих шести захватывают цветное изображение с высоким разрешением, чтобы обеспечить то самое смешение реальностей, передавая «более одного миллиарда цветовых пикселей в секунду». 

Две камеры отслеживают лицо и мимику, внутренние инфракрасные камеры следят за глазами. 

Датчики глубины, кроме прочего, нужны для отслеживания рук пользователя. Напомним, гарнитура Apple не предусматривает контроллеров для работы: управление производится посредством жестов, взгляда и голосовых команд. 

Лидар, само собой, нужен для ориентации устройства в пространстве. Apple утверждает, что Vision Pro отлично понимает окружающую обстановку. Настолько хорошо, что виртуальные объекты при проецировании их на реальные отбрасывают правильные виртуальные тени. 

Дабы снизить нагрузку на CPU и GPU, гарнитура использует технологию Dynamically Foveated Rendering, которая подразумевает вывод изображения на дисплеи в полном разрешении только в той области, на которую в данный момент времени падает взгляд пользователя. Остальные области выводятся с пониженным разрешением. Такое же решение используется в PS VR 2. 

^[2]

Процессор Apple R1 в гарнитуре отвечает как раз за обработку данных с камер, микрофонов и датчиков. В том числе такое решение позволяет снизить задержку вывода изображения до 12 мс. 

Apple не раскрыла точное значение разрешения для экранов, но говорила о 23 млн пикселей. При соотношении сторон 1:1 либо 9:10, которое часто встречается в гарнитурах, это означает разрешение около 3400 х 3400 либо 3200 х 3600 пикселей соответственно. 

Источник ^[3]