В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер

в 14:23, , рубрики: Блог компании Хакспейс Neuron, взлом мозга, интерфейсы, мгу, обработка сигнала, реверс-инжиниринг

В научно-исследовательском комплексе психофизиологии факультета психологии МГУ находится, пожалуй, один из самых точных и скоростных энцефалографов в мире. Специально для научных исследований может использоваться одновременно до 258 каналов в пассивном режиме, позволяющих синхронно регистрировать и анализировать электроэнцефалограмму (ЭЭГ) в режиме реального времени.

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 1
(подключаем Катю к матрице ЭЭГ 32 канала с активными электродами)

Как «пакмэны жрут несуществующий квадрат», какая часть мозга генерирует иллюзии, какого цвета цифры, как психофизиологи обрабатывают многомерные сигналы и может ли это привести к реверс-инжинирингу мозга.

Под катом поверхностное описание аппарата, немного про обработку сигнала и про те исследования, которые проводят молодые ученые психо- нейрофизиологи и какие вызовы есть для программистов, которые хотят изучать мозг и/или работать в проекте по изучению мозга.

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 2
Удобно расположитесь в кресле, откиньтесь на спинку и сделайте глубокий вдох

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 3
ЭЭГ-шлем с системой ActiChamp от Brainproducts™ оснащен активными биосенсорами (до 128 каналов), которые улавливают мельчайшие изменения электрических сигналов от мозга человека с экстремально высокими скоростями дискретизации – до 100 КГц!

256 каналов

image

image
256 каналов

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 6
Активные, в противоположность пассивным, электроды оснащены встроенными в них микрочипами – предусилителями, которые оцифровывают аналоговый сигнал и передают его с наименьшими искажениями.

Электроды устанавливаются над всеми важными для анализа областями мозга и синхронно передают сигнал на блоки усилителей либо с помощью шлейфа, либо по wi-fi – по 32 канала на блок с пропускной полосой в 1000 Гц и частотой дискретизации до 5000 Гц в противоположность 500 Гц некоторых медицинских ЭЭГ, не говоря о нейрогарнитурах).
В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 7
Wi-fi модуль

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 8

После того, как сигналы поступают на блоки усилителей (уровень шума ≤ 2 μVpp), их путь не оканчивается. Дальше они передаются по двойному оптоволоконному кабелю на USB-адаптер, в который также поступают и внешние сигналы (триггеры) для синхронизации с внешними устройствами, например EyeTracker’ом (о нем в след. раз). USB-адаптер служит коннектором с ПК.

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 9
Основная задача всех элементов-посредников в минимизации искажений и задержек в сигнале, мощность которого измеряется лишь десятками микровольт

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 10

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 11
Дополнительные блоки для регистрации т.н. периферических показателей, которые отражают вегетативные процессы, такие как: кардиоритм, тонус сосудов, дыхание, температура, движения, активность мышц и т.п., всего до 128 каналов дополнительно.

Датчики
В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 12
Сопротивление кожи, термодатчик, акселерометр, пульсометр оптический

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 13
Вот на ком делают измерения, когда нет студентов

Софт и обработка сигнала

Софт для обработки и анализа ЭЭГ обладает широким функционалом с возможностью интегрировать данные МРТ для локализации электрических сигналов учитывая индивидуальную конституцию мозга конкретного человека. Собственно система сама располагает модулем, который называется «томографией низкого разрешения» (LORETA) (*речь идет не о технической реализации – магнитная или позитронно эмиссионная, а о принципе визуализации и картирования мозга).

Одна из основных проблем для точности – это артефакты. Под этим термином понимаются искажения сигнала внешними или внутренними факторами, будь то движения глаз или наводка в 100 Гц от ламп дневного света.

Несмотря на кажущееся совершенство технологии регистрации ЭЭГ, недостатки все же присутствуют. Пожалуй, основной из них — необходимость использования электропроводной пасты или геля для снижения сопротивления между скальпом и электродами. Технология в целом также не является самодостаточной, и тенденция последнего времени сходится к комбинации различных методов. Уже сейчас используются электроды, которые работают в магнитном поле томографа (порядка 10 Тесла).

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 14
Пунктир — это внешний стимул. Фагмент ЭЭГ-сигнала (слева), попытки локализовать источник в трехмерном пространстве (посередине) и в проекции на скальп (справа)

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 15
Фрагмент записанной ЭЭГ

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 16
Вот такими кривульками наш мозг видит мир. Ну а если серьезно, то это ПСС (потенциалы, связанные с событиями), которые отражают чистый (специально записанный и отфильтрованный) отклик групп нейронов на тот или иной стимул. Тут они всем скопом по всем отведениям. Потенциальная и пока (а может и вообще) неразрешимая задача состоит в обратном: восстановить, что же видел/слышал/представлял/трогал человек в этот момент?

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 17
Снизу — ПСС, но не всем скопом, а по тому, как они были зарегистрированы в разных отведениях.

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 18
Карта подэлектродной локализации активности, посекундно — от картинки к картинке

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 19
3d-вид

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 20
Фурье-преобразование сигнала, зарегистрированного под разными электродами.

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 21
Непрерывное вейвлет-преобразование ЭЭГ. (Первое правило психофизиологов — никому не говорить про вейвлет. Шутка.) Вейвлет нам нужен для того, чтобы посмотреть частотную составляющую ЭЭГ (разные ритмы состоят из разных частот и отражают разные состояния человека) и рассмотреть это все во временной перспективе.

Люди

Внимание

Вячеслав Лебедев, сотрудник и аспирант кафедры психофизиологии МГУ им. М.В. Ломоносова, со-основатель проекта NeuroFuture, психофизиолог:
«Суть моей научной работы — исследование роли внимания в процессах кросс-модальной интеграции.
Расшифровка: Информация, поступающая из внешней среды, как правило, состоит из сигналов разных модальностей (слуховой, зрительной и т.д.). Обработка этой мультисенсорной информации требует синхронной совместной работы структур мозга, задействованных в обрабтке сигналов определенной модальности. Современные исследования на уровне отдельных нейронов показывают существование нейронов в различных областях и уровнях головного мозга, функцией которых является обработка именно мультисенсорной информации. Но открытым остается вопрос системного объединения этих разноуровневых структур в процессе обработки потока мультисенсорной информации, а также о роли произвольного (инициируемого самим человеком) и непроизвольного (вызванного внешними событиями) внимания в этом процессе. ЭЭГ — один из самых информативных методов исследования этого процесса в динамике.»

image
(Найдите собачку)

Иллюзии

Илья Захаров, аспирант кафедры психофизиологии МГУ им. М.В. Ломоносова, со-основатель проекта NeuroFuture, психофизиолог:
«Психофизиология пытается связать идеальное (психологию и „душу“, если она есть) и материальное (то, что можно исследовать естественно-научными методами). Получается с переменным успехом, но это интересно

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 23
Есть такие штуки — иллюзии. Что же происходит в мозге, когда мы их видим? Существует ли универсальный паттерн мозговой активности, одинаковый для всех людей, характерный только для тех моментов, когда мы видим зрительную иллюзию? А что делать, если мы смотрим на любимого человека и у нас вдруг возникает этот паттерн?

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 24
Посредством записи различных паттернов на ЭЭГ можно объективно зарегистрировать у человека восприятие нового для него типа иллюзии (например, нового варианта иллюзии субъективного контура). Для этого используется метод связанных с событием потенциалов: выделение из общего сигнала ЭЭГ того компонента, который появляется при предъявлении иллюзии.

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 25
Черный график — просто стимул, красный — иллюзия, пунктир — момент предъявления стимула
Справа — ответ мозга на предъявление классического типа иллюзий по сравнению со стимулом, когда мозгу ничего не надо достраивать
Слева — ответ на предъявление нового типа, опять же, по сравнению с тем, когда не надо достраивать

Мы видим, что в одном и том же месте (компонент N170) амплитуда сигнала в ответ на иллюзию больше. Этот ответ — объективная мера нашего восприятия иллюзии. Если мы видим и прямые, и волнистые иллюзорные контуры на одинаковом психофизиологическом уровне, вероятно, в обоих случаях мы используем одинаковые механизмы формирования образа.»

Программирование и обработка многомерных сигналов

Костя Славнов, программист
— Какой внутренний мотив сподвиг математика пойти работать над нейросайнс-проектом?
— Интерес. Мне всегда было интересно узнать, как работает мозг человека. К тому моменту я уже достаточно много знал о возможностях метода анализа данных применительно к мозгу. Все они основываются на обработке многомерных сигналов. А у меня была именно такая тематика курсовой работы.
Как всегда большую роль сыграла случайность. я прочитал статью об Илье и решил написать ему про себя: что я — математик-программист, интересна эта тема. А ребятам как раз не хватало человека с моими навыками. И я быстро включился в работу.

Синестезия

Мария Степаненко, студентка кафедры психофизиологии МГУ им. М.В. Ломоносова, психофизиолог, исследователь синестезии

«Синестезия — это, грубо говоря, связь различных модальностей. Проявляется она в виде переживания ощущений в одной модальности во время предъявления стимулов в другой.

В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер - 26
Можете ли вы быстро найти „цветной“ треугольник?

Вообще, синестезия — безумно интересное, но и очень малоизученное явление. Существует невероятное множество различных ее видов: некоторые синестеты „видят“ цвета определенных букв/дней недели/месяцев, кто-то из них „чувствует“ запахи при произнесении определенных слов, кто-то „ощущает“ текстуру голоса/запаха, „чувствует“ вкус имен, „слышит“ движение и так далее. Более того, у большинства синестетов проявляется связь не двух, но множества модальностей, и, таким образом, проявляются различные виды синестезии.

Существует достаточно много гипотез относительно того, каким образом возникают синестетические ощущения. В моем исследовании ставится вопрос о том, на каком уровне происходит данный процесс: только ли это перцептивные ощущения, обработка которых происходит на низших уровнях, или же это высокоуровневый, когнитивный процесс.
Акцент ставится на аудиовизуальной синестезии, а именно — на связи тонов и тембров с различными цветами. В качестве испытуемых выступают как синестеты, так и люди, не обладающие синестетическими ощущениями. В ходе эксперимента (а именно — в момент предъявления звуковых стимулов) производится запись ЭЭГ, и впоследствии — анализ данных путем сравнения ПСС, зарегистрированных у синестетов и несинестетов.

К слову об испытуемых: если вас интересует данная тема, или вдруг у вас есть знакомые синестеты, или, внезапно, вы сами обнаружили у себя наличие подходящего для данного исследования вида аудиовизуальной синестезии — смело обращайтесь ко мне, я буду рада видеть вас в числе своих испытуемых!»

Выступление на TED нейроученого

image
Тест на синестезию «цвет цифры» (Слева — то, как видит картинку обычный человек; справа — видение синестета: треугольник из двоек сразу выделяется другим цветом, вследствие чего синестет без труда и довольно быстро может указать на все двойки на картинке)

Обработка данных

Андрей Учаев, студент кафедры психофизиологии МГУ им. М.В. Ломоносова, психофизиолог:
«Моя позиция по получению экспериментальных данных была хорошо отражена в словах героя одной игры: „… мы просто бросаем наукой в стенку и смотрим, что прилипнет..“ Это говорит о том, что в исследовании я стараюсь получить максимум данных, которые вообще можно выжать из электрофизиологического сигнала.

image
Сейчас я зациклен скорее на следующем: на отработке различных методов обработки сигнала независимо от поставленной задачи. Помощь программистов тут огромна. Встречаются различные проблемы: бывает, что не все методы обработки представлены в одной программе, или же нет доступа ко всему функционалу — приходится изворачиваться, и не всегда это удается.

image
И есть еще одна немаловажная проблема — экономия времени. Довольно часто бывает необходимо обработать данные десяти человек, используя 10-15 различных преобразований. Тут бы не помешало написание скриптов, которые позволят автоматизировать задачу. Нажал на кнопку и пошел домой — а утром все уже обработано.»

Заключение

«Нейронаукам нужны программисты». Так говорят и русские коллеги, а зарубежные нейроученые даже обращаются к хакерам. Потому что очень скоро нам, не дай бог возможно, потребуются не только инструменты обеспечения приватности сообщений от технического перехвата, но и мыслей.

Как писал Азимов, что «для человечества осталось две загадки — глубины космоса и тайна мозга», радует, что Хабр очень приветствует космонавтику, надеюсь, что то же самое произойдет и с изучением мозга.

Автор: MagisterLudi

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js