- PVSM.RU - https://www.pvsm.ru -
Возможно ли собрать данные по движениям глаз всех посетителей планетария, не имея в распоряжении специальной аппаратуры? Как изучить зрительное внимание во время активных действий нескольких человек, не конструируя сложную систему с очками-айтрекерами? Как достичь исключительной точности и записать движения глаз с частотой 8000 Гц? В нашей статье попытаемся ответить на эти вопросы.
В настоящее время хорошо известны айтрекеры, в основу которых положен метод видеорегистрации движений глаз: это и трекеры известных брендов вроде EyeLink [1], Tobii [2], а также разнообразные хенд-мейд решения и разработки на базе вебкамеры (об этом мы писали в предыдущей статье [3], посвященной айтрекингу). Однако есть еще немало интересных и необычных подходов для изучения зрительного внимания человека.
В 2016 году вышла работа Wang et al., представляющая новую систему отслеживания движений глаз на базе метода инфракрасной термографии. Efron et al., (1989) показали, что край роговицы на 0,45° теплее ee центра, подобное открытие и легло в основу разработки теплового айтрекинга.
Wang et al., 2016 для валидизации своей системы зарегистрировали одновременно движения глаз методами видеоокулографии (Eye Link, 500 Гц) и термографии (60 Гц) у десяти испытуемых. Медианная ошибка проверки составила 1,4° по сравнению с EyeLink, что показывает хороший потенциал указанного метода для его дальнейшего применения.
Любопытно, что термография успешно применяется также для распознавания эмоционального состояния человека (например, см. Park et al., 2013) и частоты дыхания (например, см. Al-Khalidi et al., 2011). Таким образом, тепловой айтрекинг становится перспективной методикой для получения мультимодальных данных.
Исследование зрительного внимания большого количества людей в один момент времени — задача очень заманчивая. Однако ее осуществление, на первый взгляд, кажется непростым и дорогостоящим процессом (как минимум, уже на этапе закупки, отладки или создания оборудования с его последующей синхронизацией).
Shillcock, Wase (2015) предложили оригинальную методику для регистрации зрительного внимания толпы людей, для реализации которой потребуется только коробка ручек, пачка бумаги и собственный стимульный материал. Эксперимент успешно воспроизвели Bielecki et al. (2017) при исследовании зрительного внимания посетителей планетария с применением 16-метрового полусферического экрана.
Суть методики заключается в том, что презентация периодически, на краткий промежуток времени, прерывается слайдом с сеткой, в каждой из ячеек которой находится буква или какой-нибудь другой символ. Задача испытуемых – записать символ, который они только что увидели. Таким образом удается получить тепловые карты зрительного внимания всей аудитории в целом, что позволяет проанализировать его распределение у участников лекции не только в зависимости от ее содержания, но и от расположения отдельного участника в зале.
Конечно, данная методика не применима для «полевых» экспериментов, когда отсутствует стимульный материал в виде видео или изображений. Однако и для естественных условий эксперимента тоже нашлись свои хитрые решения.
Изучение глазодвигательного поведения в максимально естественных, повседневных, бытовых условиях — мечта многих исследователей зрительного внимания. Если с задачей регистрации движений глаз в случае активных действий относительно неплохо могут справиться очки-айтрекеры (например, вот Роналдо пинает мячик [4] в очках-трекере), то для качественного изучения глазодвигательного поведения во время социальных взаимодействий такой экспериментальный дизайн не подходит, так как зрительный контакт, мимика всего лица – важные элементы невербальной коммуникации. На сегодняшний день доступных софтовых айтрекеров, которые бы получали траекторию взора приблизительно такую же, как и при использовании айтрекеров-приборов, пока не существует (а вот наша команда как раз в процессе разработки и тестирования первого софтового айтрекера EyeCatcher, способного заменить полноценный лабораторный трекер).
Проект G3E [5] сфокусирован на извлечении данных зрительного внимания человека из видео, но его инициаторы ушли от идеи получения траекторий взора в виде изменения координат положения зрачка и сосредоточили свое внимание на получении направления взгляда в контексте задачи определения того, смотрит ли испытуемый на собеседника или нет. Эта система разработана на базе алгоритмов предсказания положения взора в зависимости от положения головы (Ba, Odobez, 2006) и gaze appearance model (данная модель включает в себя связанные в пары изображения с положением глаза в орбите и соответствующим ему направлением взгляда) (Mora, Odobez, 2013). Кроме того, для улучшения функциональных параметров системы были использованы данные размеченного аннотаторами видео (Siegfried R., Odobez, 2017).
Аннотирование видео нашло свое применение не только как эффективный инструмент для повышения качества работы алгоритмов, но и как самостоятельная методика изучения движений глаз.
Так в исследовании зрительного внимания и стратегий поведения в течение карточной игры Campos et al., 2015 записали каждого из двух игроков на камеры. После чего видео было размечено двумя аннотаторами в программе ELAN по трем категориям: look-at-game, look-at-other и look-elsewhere, согласованность аннотаторов посчитали при помощи Cohen’s kappa и сопоставили получившиеся результаты со стратегиями поведения (кооперация, конкуренция и избегание игры). Получилось, что при мотивации к кооперации время, уделяемое на просмотр лица собеседника, ощутимо больше, равно как и взаимные зрительные контакты. При мотивации к конкуренции, напротив, наблюдаются короткие, но частые взгляды на лицо собеседника, вычленяется тенденция к избеганию зрительного контакта.
Jarik, Kingstone, 2015 в исследовании динамики взаимного зрительного контакта после игры в условиях кооперации и конкуренции тоже обращались к методу аннотирования видеозаписи (в этом исследовании, как и в предыдущем, участвовали два аннотатора). Здесь же у испытуемых после кооперативной игры длительность зрительных контактов была меньше, чаще прерывалась по сравнению с другой группой участников эксперимента.
В плане альтернатив методу видеоокулографии следует еще упомянуть контактные методы (с них-то весь айтрекинг и начинался!). По истории айтрекинга можно написать отдельную статью (жутковатые присоски, прикрепляемые к глазному яблоку, или, положим, описание механических регистраторов размером с целый стол, требуют обстоятельного текста с пояснениями), поэтому остановимся только на современном этапе развития этой группы методов. Среди активно используемых в наши дни контактных методов регистрации движения глаз стоит выделить электромагнитные айтрекеры и метод ЭОГ.
Ярким примером электромагнитных трекеров являются швейцарские айтрекеры Primelec [6], которые умеют регистрировать движения глаз с чрезвычайно большой точностью – 0,0002° и частотой дискретизации 8000 Гц. Принцип их работы построен на индукции электрического тока, вызываемой при движении металлического контура в магнитном поле. Подвижный элемент представляет собой кольцо с двумя расположенными внутри контурами индуктивности, которое надевается на глаз испытуемому, словно контактная линза (как сообщают очевидцы, процедура установки этой волшебной «линзы» не из приятных). С помощью таких приборов получается изучать различные особенности микродвижений глаз, в том числе и их изменения у космонавтов в невесомости.
Электроокулограмма (ЭОГ) — это метод регистрации электрической активности, возникающей при движении глаз. Поскольку роговица глаза имеет положительный заряд относительно сетчатки, это создает постоянный (корнеоретинальный) потенциал. При изменении положения глаза происходит корректировка этого потенциала. ЭОГ регистрируется электродами, которые устанавливаются около носового и височного угла глазной щели (для регистрации горизонтальных саккад [7]), а также над бровью и под глазом — для регистрации вертикальных саккад. Этот метод до сих пор широко применяется в медицинской практике, порой в сочетании с методом ЭЭГ [8].
Рабочая группа Neurodata Lab по айтрекингу и зрительной сенсорной системе продолжает свою работу.
Автор материала:
Мария Константинова, научный сотрудник в Neurodata Lab [9], биолог, физиолог, специалист по зрительной сенсорной системе, окулографии и окуломоторике.
Автор: IgorLevin
Источник [10]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/algoritmy/270825
Ссылки в тексте:
[1] EyeLink: http://www.sr-research.com/
[2] Tobii: https://www.tobii.com/
[3] статье: https://habrahabr.ru/company/neurodatalab/blog/339424/
[4] пинает мячик: https://www.youtube.com/watch?v=2NcUkvIX6no&t=176s
[5] G3E: https://www.idiap.ch/project/g3e
[6] Primelec: http://www.primelec.ch/products.htm
[7] саккад: https://ru.wikipedia.org/wiki/%D0%A1%D0%B0%D0%BA%D0%BA%D0%B0%D0%B4%D0%B0
[8] ЭЭГ: https://ru.wikipedia.org/wiki/%D0%AD%D0%BB%D0%B5%D0%BA%D1%82%D1%80%D0%BE%D1%8D%D0%BD%D1%86%D0%B5%D1%84%D0%B0%D0%BB%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D1%8F
[9] Neurodata Lab: http://www.neurodatalab.com/
[10] Источник: https://habrahabr.ru/post/344782/?utm_campaign=344782
Нажмите здесь для печати.