Декодирование изображений из мозга человека

Сегодня в журнале Science публикована научная работа ^[1] (pdf ^[2]) с описанием нового метода автоматической реконструкции изображений из мозга ^[3] человека. Авторы научной работы считают, что их метод более точный, чем предыдущие работы в этой области: хорошо распознаются символы алфавита и простые контрастные фигуры.

Пока что декодер распознаёт только картинки, которые реально видит человек в данный момент, но в будущем он должен работать и на воображаемых изображениях. В этом случае станет возможным, например, набирать текст с закрытыми глазами.

Распознавание изображений осуществляется вероятностным методом, с помощью байесового классификатора. При этом декодер изображений не нуждается в тренировке.

Для снятия сигнала используется метод функциональной магнитно-резонансной томографии (fMRI) — разновидность магнитно-резонансной томографии, которая проводится с целью измерения изменения в токе крови. Между нейронной активностью и изменением кровотока происходит небольшая задержка, что хорошо видно на демонстрационном видео.

Испытать программу распознавания изображений может каждый желающий: она выложена на Github ^[4].

Данные магнитно-резонансного сканирования и конвертер можно взять здесь ^[5].

Результат работы декодера показан на скриншотах.

Автор: alizar

Источник ^[6]