Головная гарнитура Helios использует технологию Intel RealSense для помощи людям с нарушениями зрения

Цель проекта HELIOS — расширение и дополнение возможностей человеческого восприятия за счет современных технологий зрения. В исследовании, опубликованном Всемирной организацией здравоохранения, говорится о том, что около 285 миллионов человек в мире страдают нарушениями зрения: насчитывается 39 миллионов слепых и 246 миллионов человек с ослабленным зрением. Мы считаем, что очень важно повысить мобильность, безопасность и возможности доступа к знаниям для людей с нарушениями зрения.

Мы используем компьютерное зрение, искусственный интеллект и технологию Intel RealSense, чтобы создать современные решения, способные помочь людям с нарушениями зрения в решении целого ряда повседневных проблем. Наш подход состоит в разработке интеллектуальной головной гарнитуры, помогающей людям с частичной или полной потерей зрения.

Модели и возможности головных гарнитур HELIOS

Головные гарнитуры HELIOS предоставляют ряд специальных возможностей для людей с нарушениями зрения, помогая им проще и увереннее выполнять различные действия и задачи.

▍HELIOS Touch

Гарнитура HELIOS Touch предназначена для людей с тяжелым нарушением зрения или с полной слепотой. В этом решении применяется интерфейс HTI для передачи пользователю визуальных данных посредством тактильных сигналов. За счет этого реализуются возможности ориентации в ближайшем пространстве и уклонения от препятствий.

Трехмерная модель HELIOS Touch

▍HELIOS Light

Гарнитура HELIOS Light помогает людям с ослабленным зрением. С помощью технологий дополненной и виртуальной реальности гарнитура расширяет возможности визуального восприятия пользователей. Потоки цветного изображения и данных глубины, полученных от Intel RealSense, формируют адаптируемые визуальные подсказки, помогающие при выполнении разнообразных повседневных задач.

Трехмерная модель HELIOS Light

Основное назначение HELIOS — предоставить пользователю более полную информацию об окружающем пространстве, что существенно повышает свободу движения и безопасность пользователя.

Еще одна важная функция — возможность чтения текста без использования шрифта Брайля. Гарнитура HELIOS может читать содержимое книг, журналов и других печатных материалов, например меню в ресторанах.

Кроме того, HELIOS предоставляет новый уровень контекста для личного взаимодействия за счет распознавания лиц друзей и социальных сигналов.

Описание оборудования

▍Технология Intel RealSense

Камеры Intel RealSense обеспечивают съемку в цвете и измерение расстояния. Благодаря этому система HELIOS получает высококачественные данные глубины и цветное изображение. Благодаря своей функциональности, производительности и компактности эти компоненты идеально подходят для интеграции в систему HELIOS.

Камера Intel RealSense R200. Дополнительные сведения см. в этой статье ^[1]

Razer Stargazer ^[2] — версия камеры Intel RealSense SR300 стороннего производителя

▍Тактильный интерфейс HTI*

HTI — аппаратный компонент HELIOS Touch, разработанный нашей командой. Он предназначен для преобразования визуальных данных в тактильные сигналы, обеспечивая дополнительный уровень информации, которая подается точно и ненавязчиво.

Тестовая плата HTI

▍Виртуальная реальность и открытый исходный код

Razer OSVR Hacker Development Kit — платформа виртуальной и дополненной реальности с широкими возможностями настройки. Это идеальный готовый компонент для HELIOS Light благодаря использованию открытого исходного кода, возможностям расширения и удачной конструкции оборудования.

Razer OSVR HDK

▍Intel NUC

Последнее поколение компактных ПК Intel — мощная платформа для выполнения программных компонентов HELIOS в реальном времени с высокой производительностью, низким расходом электроэнергии и высокой мобильностью.

Intel NUC

Программное обеспечение. Intel RealSense SDK

Пакет Intel RealSense SDK — основной программный компонент системы HELIOS. Этот пакет без дополнительной настройки обеспечивает доступ к цветному изображению с высокой кадровой скоростью, к потокам изображения глубины и инфракрасного изображения, поддерживает широкий набор алгоритмов компьютерного зрения для таких задач, как отслеживание человека, распознавание лиц, создание трехмерных карт. SDK поставляется с огромным набором образцов проектов, для него подготовлена обширная документация.

В следующем примере кода показаны основные компоненты для разработки модуля преобразования текста в речь с помощью RealSense и UWP (универсальной платформы Windows):

public async void StartRealSenseStreaming()

{

    Status streamingStatus;



    // Set RealSense sample reader and bind SetOcrFrame event

    SampleReader sampleReader = SampleReader.Activate(senseManager);

    sampleReader.SampleArrived += SetOcrFrame;



    // Set RGB stream profile and device info filter

    Dictionary<StreamType, PerceptionVideoProfile> profiles = new Dictionary<StreamType, PerceptionVideoProfile>();

    profiles[StreamType.STREAM_TYPE_COLOR] = ColorProfile;

    sampleReader.EnableStreams(profiles);

    readers.Add(sampleReader);

    if (currentRealSenseDevice != null)

        senseManager.CaptureManager.FilterByDeviceInfo(currentRealSenseDevice.DeviceInfo);



    // Set streaming status message

    if ((streamingStatus = await senseManager.InitAsync()) == Intel.RealSense.Status.STATUS_NO_ERROR)

    {

        if ((streamingStatus = senseManager.StreamFrames()) == Intel.RealSense.Status.STATUS_NO_ERROR)

        {

            StatusMessage = "Streaming started";

        }

        else

        {

            StatusMessage = "Failed to stream: " + streamingStatus.ToString();

        }

    }

    else

    {

        StatusMessage = "Initialization failed: " + streamingStatus.ToString();

    }



    IsStreaming = true;

}



private void SetOcrFrame(Object module, SampleArrivedEventArgs args)

{

    // Setting current frame for OCR processing

    Sample sample = args.Sample;

    if (sample == null) return;



    var localOcrFrame = sample.Color;

    if (localOcrFrame == null) return;



    lock (sample)

    {

        ocrFrame = localOcrFrame.SoftwareBitmap;

    }

}
private async void TextToSpeech()

{

    // setup OCR engine for English

    OcrEngine ocrEngine = OcrEngine.TryCreateFromLanguage(new Language("en"));



    // recognize text from the RealSense OcrFrame

    var ocrResult = await ocrEngine.RecognizeAsync(RealSense.OcrFrame);



    if (!String.IsNullOrEmpty(ocrResult.Text))

    {

        // setup speech synthesizer

        var voice = SpeechSynthesizer.AllVoices;

        using (SpeechSynthesizer speechSynthesizer = new SpeechSynthesizer())

        {

            speechSynthesizer.Voice = voice.First(v => v.Gender == 0);

            var voiceStream = await speechSynthesizer.SynthesizeTextToStreamAsync(ocrResult.Text);



            // setup playback of voice synthesis

            PlaybackVoice(voiceStream);

        }

    }

}

Тестирование и проверка

Михай Леовенау (Mihai Leoveanu) обладает врожденным тяжелым нарушением зрения, но это не помешало ему стать выдающимся человеком.

Он убежденный оптимист и один из лучших учеников в своем выпускном классе. В настоящее время он работает над дипломным проектом, посвященным оснащению исторической достопримечательности — королевского двора Тырговиште — для повышения удобства в отношении специальных возможностей. Благодаря предполагаемым улучшениям туристы с нарушениями зрения смогут получить более полную информацию об этом историческом месте.
Михай стал первым испытателем нашей головной гарнитуры.

Михай тестирует HELIOS в действии

Михай читает с помощью HELIOS

В процессе экспериментов Михай предоставил отзывы обо всех использованных им возможностях системы HELIOS. Он естественным образом воспринял новые источники информации и уже через несколько минут смог успешно пользоваться головной гарнитурой для получения более точной информации об окружающем пространстве.

Заключение

Результаты разработки и тестирования весьма обнадеживающие. Для пользователей значительно упрощаются такие задачи, как восприятие окружающего мира и чтение без использования шрифта Брайля. При дальнейшем развитии система HELIOS станет незаменимым и очень полезным помощником для людей с нарушениями зрения.

Автор: Intel

Источник ^[3]