В этом году произошло знаменательное событие: бельгийский технологический центр Imec, институт научно-промышленных исследований университета Осаки и компания Datwyler представили прототип крайне любопытного устройства. Гаджет в виде шлема снимает ЭЭГ и анализирует полученный сигнал, “понимая”, какая музыка нам нравится. Кроме того, устройство может анализировать когнитивные процессы, измерять эмоциональный фон и самостоятельно генерировать музыку для того, чтобы этот фон улучшить.
Авторитетное интернет-издание phys.org назвала устройство “крупным прорывом”. Мне понравилась идея, заложенная в принцип действия устройства: использовать сравнительный анализ ЭЭГ для определения эмоциональной реакции, в т. ч. на музыкальные произведения. Я решил подробнее узнать о девайсе и принципе его работы.
Первая демонстрация
Прототип гарнитуры был впервые представлен на Международной выставке потребительской электроники (CES 2018) в Лас-Вегасе в январе 2018 года. По отзывам посетителей, имевших возможность протестировать шлем на себе, шайтан-устройство действительно оценивало их музыкальные вкусы. Более того, алгоритм, работающий с устройством, генерировал музыкальные сигналы, поднимающие настроение.
По заявлениям разработчиков, устройство также может определять и фиксировать эмоции в реальном времени, например, в процессе игры или просмотра кино. Отчеты присутствовавших на выставке зафиксировали множество восторгов по поводу новинки и её возможностей. Исследователи охотно рассказывали посетителям о том, как работает это девайс.
Принцип действия
Сам шлем создан для того, что удобно разместить т.н. сухие электроды ЭЭГ, выполненные в виде металлических шипов с тупым концом. Ранее самыми большими проблемами вне клинического использования ЭЭГ считались возможность быстрого сухого размещения электродов и длительного использования устройства. Конструктивные особенности шлема, сухие электроды от Datwyler и емкий аккумулятор помогли с решением этих проблем. Также шлем оснащен 3,5-мм разъемом для наушников и bluetooth для потоковой передачи звука.
С помощью электродов аппарат может точно снимать фронтальные сигналы ЭЭГ, которые дают сведения об эмоциональных реакциях. Затем программное обеспечение обрабатывает сигналы и определяет эмоциональную реакцию, например, на музыку. Алгоритм не только анализирует эмоциональное состояние при воспроизведении музыки, но также фиксирует результаты в личном профиле пользователя. Затем
множество сигналов конкретного пользователя обрабатываются ИИ, снабженным функцией самообучения. При запуске режима коррекции алгоритм генерирует музыкальное произведение, исходя из предпочтений пользователя в режиме реального времени.
Кто и чем занимался
Известно, что алгоритмами машинного обучения и искусственным интеллектом системы занимался центр инноваций университета Осаки, где специалистом удалось объединить персонализированную классификацию эмоций, комплексную оценку музыкальных вкусов пользователя и формирования музыкального контента на этой основе. Профессор Масаюки Нумао из Института научно-промышленных исследований (ISIR), Университета Осаки отметил:
«Наш опыт в области машинного обучения и индивидуальной классификации эмоций помог нам создать уникальную систему ЭЭГ, которая связывает музыку с эмоциональными изменениями… Мы объединили распознавание эмоций на основе моделей с методами сочинения музыки в реальном времени».
Imec в свою очередь гордится разработкой шлема, который на данный момент является, пожалуй, наиболее универсальным форм-фактором для ЭЭГ-электродов. В частности, Крис Ван Хоф, старший директор Imec по разработке медицинских решений подчеркивает:
«Значительный опыт Imec в этой области является результатом почти десятилетия работы по созданию схем и компактных систем для носящего мониторинг ЭЭГ».
Ван Хоф также отмечает вклад коллег из Университета Осаки и Datwyler и уточняет, что главной заслугой Imec является универсальность конструкции шлема. По мнению ученого, интерфейс можно использовать как для клинических исследований, так и в качестве ежедневного гаджета, который не требует много времени для установки электродов и способен работать достаточно длительное время.
Datwyler занимались непосредственно сухими электродами. Представитель компании Ронни Врижанс отметил, что разработка прототипа нового устройства совместно с Imec помогла создать сухие электроды с более высокой стабильностью сигнала, что само по себе уже большое достижение
Немного об ЭЭГ и отечественных исследованиях
Для тех, кто не совсем в курсе, ЭЭГ или электроэнцефалограмма — это регистрация биоэлектрической активности головного для исследования его функционального состояния. Зачастую ЭЭГ применяют в диагностических (медицинских) и исследовательских целях. Регистрация электрической активности происходит неинвазивно, с помощью прикрепленных к голове электродов электроэнцефалографа. Сигналы от электродов усиливаются, после чего сигнал обрабатывается АЦП и записывается в цифровой форме.
На ЭЭГ определяется ритмичность электрической активности . В зависимости от состояния и факторов, влияющих на человека, каждый из 10 исследуемых ритмов (α, β, γ, δ, θ, κ, λ, μ, σ, τ) может меняться.
Проведение экспериментов по психоакустике продемонстрировали стойкую взаимосвязь психических явлений с изменениями ЭЭГ. Прослушивание музыки и получение удовольствия от музыкальных произведений не стали исключением.
Так в достаточно емкой статье об экспериментах “ЭЭГ-корреляты реагирования на музыку разных стилей” русские исследователи Надежда Кайгородова, Михаил Яценко, Николай Афанасьев подробно описывают взаимосвязь эмоций, полученных при прослушивании музыки различных стилей с записями электроэнцефалограмм во время прослушивания. Вполне вероятно, что это отечественное исследование в числе прочих легло в основу японско-бельгийской разработки.
Дальнейшее исследование результатов ЭЭГ, записанных при прослушивании музыки, навели исследователей на мысль об объединении электроэнцефалографа и звуковоспроизводящего устройства, которое могло бы быть использовано для коррекции стрессовых состояний.
Методы, по принципу близкие к ЭЭГ-гарнитуре от Imec, были описаны в 2014-м году в работе “Сочетание технологии ЭЭГ-биоуправления с музыкальной терапией для эффективной коррекции стресс-вызванных расстройств” (Федотчев А. И., Сан Чжун О., Семикин Г. И.). Работа продемонстрировала относительную эффективность метода в отношении расстройств, вызванных стрессом, и хорошие показатели похожего устройства во время эмоциональной коррекции.
Итог
Ежегодно появляются всё новые устройства на основе нейроинтерфейсов, в основу которых часто положен принцип ЭЭГ. Как видно, ничего теоретически нового в этом шлеме не предложили. Заслуга его создателей в другом: они впервые реализовали на практике универсальное носимое ЭЭГ устройство с функционалом по коррекции эмоций при помощи музыки. Объединение форм-фактора и функционала, теоретической базы и технологий в очередной раз привело к реализации смелой идеи, которая может легко масштабироваться. Буду признателен за ваши мнения о новинке и том, как ещё можно использовать этот гаджет.
Джинса
В нашем каталоге пока нет гаджетов с нейроинтерфейсами, но много другой электроники способной поднимать настроение высокой верностью воспроизведения звука, например акустические системы, наушники и усилители
Автор: Sound_cULT
