Нейротеатр: технологии Университета ИТМО помогают создавать «искусство новых медиа»

Нейротехнологии — обычно предмет медицинских или военных разработок. В крайнем случае — основа нового высокотехнологичного стартапа. Однако в Университете ИТМО считают, что нейротехнологии вполне могут служить не только науке, но и искусству. Поэтому в прошлом месяце на фестивале Geek Picnic в Санкт-Петербурге состоялась премьера экспериментального проекта в жанре «нейротеатр». О том, что это такое и как работает NEU-theatre, расскажем ниже.

^[1]/ Фотография Университета ИТМО

Проект NEU-theatre

Нейротеатр — это, по сути, сплав искусства и технологий. На Geek Picnic этот жанр был представлен выступлением танцоров, использовавших нейроинтерфейсы. Они считывали эмоции артистов и передавали их внутреннее состояние с помощью музыки, света, цвета, проекции и ритма.

Танцоры на выступлении работали с так называемым синестетическим шаром — он позволял «отобразить» эмоции исполнителя. Кроме того, его можно было использовать, чтобы менять звуковое сопровождение перфоманса.

/ Фотография Университета ИТМО

Весь этот хайп вокруг нейроинтерфейсов хорош тем, что люди вспоминают о том, что у них есть мозг ^[2]. И что его возможности стоит использовать и развивать более активно

– Юрий Дидевич, медиахудожник, один из создателей NEU-theatre

По сути, нейротеатр — это пример того, как наш мозг ^[2] становится центром особого направления в искусстве. Оказывается, наши эмоции могут творить аудиовизуальную реальность, благодаря которой артист становится еще ближе к зрителю. Это уже даже не иммерсивный спектакль, когда можно оказаться участником представления — такой формат позволяет лучше понять, что творится у артиста в голове, — буквально.

Кто создавал

Создатели проекта NEU-theatre: российский медиахудожник, музыкант, лектор Института Art&Science Университета ИТМО Юрий Дидевич, Высшая школа светового дизайна Университета ИТМО и танцевальный коллектив Stage DFT.

Юрий Дидевич много лет занимается вопросами интеграции компьютерных технологий и искусства. В 2014 году его спектакль «Нейроинтегрум» был поставлен на Новой сцене Александринского театра в Санкт-Петербурге. Нейротеатр NEU-theatre — еще один проект Юрия, объединяющий искусство и ИТ.

/ Фотография Университета ИТМО

Высшая школа ^[3] светового дизайна Университета ИТМО — это и образовательный, и экспериментально-практический проект, объединяющий обучение, науку и искусство. В Высшей школе светового дизайна проводятся исследования городской среды, работает проектная лаборатория, направление Light & Art занимается созданием световых инсталляций и световым сопровождением фестивалей. Кроме того, там можно получить образование ^[4] по профилю «Световой дизайн» — в школе открыты магистратура и аспирантура, курсы повышения квалификации и летняя школа.

Такое сочетание науки и искусства организаторы нейротеатра считают максимально перспективным:

Было бы здорово, чтобы ученые, в том числе, российские, перестали относиться к искусству как к чему-то ущербному. Это очень хорошее сочетание — ученого и его научного подхода и художников, людей, воспринимающих мир несколько иначе. Это может привести к очень интересным результатам

– Юрий Дидевич

Как это работает

На первый взгляд может показаться, что нейротеатр — это просто мультимедийный перфоманс с музыкой, светом, цветом и танцорами. На самом деле артисты, занятые в представлении, действительно передают аудитории свое состояние — нейроинтерфейс анализирует их мозговую активность и «выдает» определенную аудиовизуальную картинку.

/ Фотография Университета ИТМО

Программа анализа мозговой активности — разработка авторов NEU-theatre (проект практически полностью основывается на собственных разработках его создателей). В основе такого анализа лежит изучение биоэлектрогенеза и работа по фиксации и расшифровке нервных импульсов, которые генерирует мозг ^[2] человека.

При таком подходе в равной степени важными становятся и искусство, и технология (ПО), и конкретный инструментарий — интерфейсы, с которыми работают художники и артисты. Кстати, Юрий Дидевич отметил, что он и его коллеги ожидают появления более доступных устройств и интерфейсов для фиксации и распознавания эмоций — спроектированных специально для артистов.

Принцип работы нейротеатрального инструментария и вообще нейротеатра не нов — первые попытки зафиксировать состояние человека на сцене появились еще в начале ХХ века (тогда для этого использовались даже гальванометры). Впоследствии интерес к этому жанру то угасал, но снова возвращался — не в последнюю очередь благодаря новостям о достижениях ученых. Можно сказать, что сейчас нейротеатр переживает свое второе рождение — и дает артистам уже совершенно новые технологические возможности.

О чем еще мы рассказываем на Хабре:

• Как складывается карьера после Университета ИТМО ^[5]
• Как Университет ИТМО помогает организаторам Кубка конфедераций и ЧМ-2018 ^[6]
• Как семантические технологии улучшают онлайн-образование ^[7]
• Скорочтение: работает или нет? Часть 1 ^[8], Часть 2 ^[9], Часть 3 ^[10]

Автор: itmo

Источник ^[11]