Раз уж идеология нейросетей в IT строилась с оглядкой на реальный прототип, о нем тоже иногда полезно вспомнить. Предлагаем посмотреть или почитать лекцию Ильи Захарова, выпускника кафедры психофизиологии факультета психологии МГУ. Илья объясняет, как можно анализировать сети в мозге ^[1], какие данные для этого нужны, какие подводные камни могут возникать при анализе, а главное — что нового позволили узнать подобные исследования.

Под катом — расшифровка и большинство слайдов.

---

То, о чем я буду рассказывать, меня скорее интересует с содержательной, а не с технической точки зрения и не в смысле деталей, которые касаются анализа данных. Я буду больше говорить о том, что нужно содержательно учитывать, когда вы обращаетесь к электроэнцефалографическим (ЭЭГ-) данным, но постараюсь по максимуму ответить и на более технические вопросы.

Я буду стремиться рассказать о таком большом и очень продуктивном, перспективном направлении в изучении мозга ^[1], как анализ нейросетей в нем. Процессы анализируются с точки зрения того, что в мозге ^[1] происходит и как происходящее связано с характеристиками наших психических процессов.

Некоторые вводные слова, чтобы у нас был общий контекст. Принципиальная сложность мозга ^[1] заключена в связях внутри него. Вы знаете, что внутри мозга ^[1] огромное количество нервных клеток — навскидку их примерно 86 млрд. Каждая контактирует примерно с 1 тыс. других нервных клеток. Получается значительная сеть из связей. Попытка понять, что происходит в этой сети хотя бы на глобальном уровне, — тренд последних 15 лет, то, чем активно занимаются исследователи.

Картинки справа — вы их часто видите где-то в интернете — не очень точные. Если бы нейроны были расположены настолько разрежено, как на картинках справа, наш мозг ^[1] раздулся бы как минимум до размеров слона, если не больше. Все упаковано очень плотно, потому что поместить 86 в некоторой степени связей в мозге ^[1] — огромная задача.

Какие успехи есть сейчас у людей, которые стараются изучать мозг ^[1] на таком целостном уровне, пытаясь понять, что, как и с какими процессами связано? Например, идет активное развитие с появляющимся инструментарием. Есть, наконец, нейробиологические теории интеллекта — их суть в том, что более умными из нас с вами оказываются те люди, у которых нервные связи работают эффективнее, по связям которых лучше течет информация.

Или наблюдаются некоторые различия в типах связей внутри мозга ^[1] между людьми с разными типами заболеваний. Например, благодаря различиям в том, как происходит активация сетей в мозге ^[1], можно отличать болезнь Альцгеймера от деменций с тельцами Леви.

Любопытно, что недавно появилась статья, показавшая, что паттерн работы мозга ^[1] с точки зрения того, как организована сеть, — это в некотором смысле настолько же уникальная штука, как отпечатки пальцев. И потенциально можно определить человека не только при помощи отпечатков, но и — с точностью выше 99% — при помощи записей его мозга ^[1].

Люди с разными моральными качествами отличаются друг от друга по тому, как у них в мозге ^[1] работают сети. Люди по-разному реагируют на конфликты.

Анализ неких сетевых характеристик мозга ^[1] становится невероятно общей областью для исследователей, что позволяет легко научиться классифицировать людей. Возможно, классификация никогда не шла успешнее, чем сейчас. Из сетей в мозге ^[1] действительно можно вытащить много параметров. Это еще называется связностью в мозге ^[1] — как калька с английского connectivity. Связность в мозге ^[1] можно изучать на очень разных уровнях.

Сначала связи возникают в нервных клетках. Нервные клетки генерируют потенциалы действий. Потенциал действий — электрический заряд, который возникает в нервной клетке и благодаря которому из нее выделяется нейромедиатор. Он попадает в другую клетку, в ней генерируется разряд и т. д. Базово все связано электрохимической цепью. Снизу вы видите, как возникают эти одиночные потенциалы и потенциалы действия. Регистрируя активность достаточно большого числа нервных клеток и отслеживая то, когда в клетках возникают потенциалы действия, можно предсказывать, когда они будут возникать в других клетках. Все это делается статистически, верхние точки на рисунке слева — активность наличия потенциала действия в одном из нейронов какого-то из участков мозга ^[1]. Из таких одиночных нейронов возникают уже более синхронизованная активность. Как раз она и объединяет описанную работу.

Это не как такты в компьютере, но в некотором смысле речь идет о синхронизованной активности, которая точно существует в мозге ^[1] и помогает ему обрабатывать информацию.

Обработка на уровне отдельных нервных клеток — безумно интересная вещь, но я в ней совершенно не разбираюсь. Это довольно большой отдельный мир, я буду говорить не о нем.

Другой существующий уровень. Наверняка вы видели такие картинки, или это предпоследний альбом группы Muse, где из разных областей мозга ^[1] тянутся друг к другу различные ниточки. Перед вами попытка сначала оценить связи в мозге ^[1] не на уровне нервных клеток и даже не только на уровне крупной анатомии, больших отделов мозга ^[1], — но и на уровне того, какие пучки волокон в какие места идут и как по этим пучкам передается информация в локальных областях.

Исследователи делают всё перечисленное с помощью МРТ — и делают уже довольно долго. Уже есть некоторая любопытная информация, как мозг ^[1] работает. Например, мы знаем, что существуют очень богатые связями хабы в мозге ^[1]. Это называется организацией сетей по типу rich club. Есть некоторые узлы, крупные красные точки, через которые проходит вся информация.

Людей с разными патологиями и тому подобным чаще всего характеризует именно распределение данных узлов или набор каких-то изменений. Я буду говорить, опять же, о другом, но перед вами еще один из уровней того, как это можно изучать.

Крайне интересной мне кажется другая область. Она обладает плюсами подхода, связанного с регистрацией отдельных нейронов или больших групп нейронов, а также плюсами крупного подхода, когда мы смотрим на весь мозг ^[1] сразу. Но при этом она лишена минусов указанных подходов.

В чем минусы первого случая, когда мы работаем только с нейронами? Основной минус — мы не можем посмотреть нейроны сразу во всем мозге ^[1]. Мы не можем вскрыть череп у человека и поставить электроды на всех нейронах. Тут мы в наших исследованиях очень сильно ограничены областью, которую мы уже взялись изучать.

Одновременно такой подход позволяет смотреть на очень быстрые и детальные процессы, связанные с обработкой информации в мозге ^[1] на очень тонком уровне. Минус второго подхода, когда мы смотрим на анатомические сети в мозге ^[1], состоит в том, что особенности метода позволяют нам смотреть только на изменения, происходящие в масштабе 2-3 секунд, а не на быстрые изменения. 2-3 секунды — ужасно много для мозга ^[1], учитывая, что частота потенциала действия может составлять сотни и даже тысячи герц.

Я буду рассказывать, как сети в мозге ^[1] изучают на электрофизиологическом уровне. Речь идет о чем-то среднем между изучением отдельных нейронов. Скорость процессов, на которые мы можем смотреть, тоже очень велика. В зависимости от того, насколько муторно вы подходите к эксперименту, она составляет от 0,001 Гц и примерно до 100 Гц. Это действительно быстрые процессы в мозге ^[1]. И одновремено указанная активность связана со всем мозгом ^[1] целиком.

Как все устроено? В первую очередь работают методы электроэнцефалограммы (ЭЭГ) и магнитоэнцефалограммы — к ней всё описанное тоже применимо. Наверняка в поликлинике кому-то делали ЭЭГ. Вам на голову ставят какое-то количество электродов. Сейчас в нейронаучных исследованиях ставят 64 или 128 электродов, довольно крупно покрывая вашу голову точками, отдельными отведениями, с которых регистрируется некоторая суммарная электрическая активность. Мы не знаем детально, откуда она берется. У нас есть модели, но мы не можем воссоздать рождение этой активности на уровне нервных клеток. Однако мы точно знаем, что она связана с какими-то функциональными процессами в мозге ^[1].

С каждой точки мы регистрируем некую колебательную активность. Вы наверняка слышали про мозговые ритмы — они как раз и являются составными частями указанной активности. Ритмы — это просто отдельно взятые частотные диапазоны общего колебательного процесса. На основании частотных характеристик выделяют альфа-, бета-, тета-ритм.

Мы говорим про анализ сетей в мозге ^[1], и нужно понять, связана ли колебательная активность хотя бы между двумя точками на голове. Чтобы понять, связаны ли в мозге ^[1] какие-то области, мы берем некоторое количество электродов, одновременно регистрирующих активность в мозге ^[1], и пытаемся понять, насколько активность в разных отведениях связана между собой в общем виде. В итоге — пытаемся на основе информации о парах электродов построить что-то типа сети. Нам нужна такая же сеть, какую строят с помощью МРТ.

Тот факт, что электроды будут между собой коррелировать, связан с передачей информации. Почему мы так думаем? Это кажется логичным, но когда речь заходит о мозге ^[1], все подобные мелочи лучше проверять. Теоретические модели, не подтвержденные никакими экспериментами, часто оказываются недостаточно точными. Речь идет о хорошей тренировке для математика — но она не всегда имеет физиологический смысл. Чуть позже я скажу, какие тонкости могут иметь место с точки зрения физиологии или технических особенностей получения сигнала.

В данном случае мы из каких-то более детальных клеточных экспериментов знаем: если у нас в мозге ^[1] есть два участка и между ними есть анатомическая связь, то между ними течет информация и на самом деле сигналы, которые мы будем регистрировать в соседних точках, будут очень похожи.

Если мы перережем связи между этими двумя участками — мы идем по рисунку сверху вниз, вертикальные линии означают, что мы перерезали связи, — то они сначала ухудшатся. А если мы вообще отодвинем волокна друг от друга — связи пропадут. Мы потеряли ритмическую колебательную активность в мозге ^[1]. И только когда мы всё, пусть и не целиком, восстановим, позволим хоть какой-то информации течь между клетками — тогда восстановится и синхронизованная активность.

Мы небезосновательно считаем, что синхронизация между двумя точками — действительно показатель связи между двумя областями в мозге ^[1], показатель того, насколько активно между ними идет процесс передачи информации.

При этом нужно учитывать, что даже на таком уровне возникают некие физиологические детали. Я расскажу про некоторые типы измерений, но сразу предупрежу: они принципиально делятся на два больших класса. Первый класс — non-directed-измерения, которые не делают никаких предположений относительно направленности связей между двумя точками. В данном случае мы совершенно не рассматривали, откуда и куда течет информация. В мозге ^[1] есть такие связи, о которых мы знаем, что они существуют и в одну, и в другую сторону — просто есть некоторая постоянная цепь передачи информации, и всё. Для такого типа связей мы можем использовать методы, никаким образом не зависящие от направления связей.

Одновременно мы знаем, что вообще — и это достаточно логично — мозг ^[1] устроен иерархически. Значит, есть некоторый поток информации. Возьмем, как минимум, зрение: есть информация от глаза через зрительный нерв в первичную зрительную кору, оттуда во вторичную зрительную кору и т. д. Вообще-то, в общем виде говорить, что связи в мозге ^[1] просто текут между собой в разные стороны — не совсем правильно. Следовательно, крайне важным оказывается следующее: должны существовать методы, которые позволяют нам оценивать направления связей.

На картинке видно, что есть примеры, где связи расположены в одну и в разные стороны. Перед вами мозг ^[1] мышки и некоторые основные области обработки информации. У нас в этом смысле все области, которые есть у мышки, тоже есть в мозге ^[1], и связь между ними передается примерно так же.

Оценивать можно в основном две характеристики электроэнцефалографического сигнала. В первую очередь мы оцениваем, насколько существует общий колебательный процесс. И тут, учитывая, что речь идет о колебательном процессе, крайне важным оказывается оценить то, насколько в нем совпадают фазы сигнала.

Простое совпадение фаз для нас — как раз крайне важный показатель. В данном случае можно оценивать фазы…

Если кто-то интересуется деталями, хочет подробнее посмотреть — в конце будет список литературы. Там есть очень внятный обзор — очень внятный для человека даже без какого-то предварительного опыта.

У нас может быть некоторое количество вариантов происходящего с фазами в мозге ^[1]. Понятно, что могут совпадать фазы между сигналами и что тогда у нас будет один паттерн. Связи могут иметь какую-то временную задержку — тогда у нас возникнет другой паттерн. И, наконец, связи могут быть обратны друг другу. Тогда в итоге будем получать, что никакой зависимости нет. Понятно, что такого не бывает. Нуля никогда не бывает, так же как и единицы никогда не бывает, но тем не менее.

Базово фазовую синхронизацию оценивают с помощью разложения сигнала на комплексные числа и выделения действительной и мнимой части. В первую очередь оценивают как раз мнимую часть. В этом я разбираюсь довольно плохо, это далеко от того, что делаю как раз. Так что тут я скорее адресую вас к ссылкам.

Другая важная вещь, которую можно делать, — оценивать не столько фазовые характеристики сигнала, сколько амплитудные или частотные характеристики безотносительно фазы.

Тут в первую очередь существует метод анализа когерентности. По сути, речь идет просто о подсчете корреляций между парой электродов с некоторой небольшой поправкой. Ну и еще нужно принимать во внимание довольно серьезные фазовые изменения в разных частотных диапазонах, возникающие за счет того, что у нас длина волны получается разной. С учетом указанных изменений образуются некоторые усложнения процедуры phase locking value, когда мы еще нормализуем частотные спектры на длину волны.

Здесь мы — и в случае оценки фазовой синхронизации, и в случае оценки когерентности — получаем сигналы, которые на самом деле не чувствительны к направлению передачи информации. Мы просто оцениваем то, что сигналы между собой взаимосвязаны.

Понятно, что данные методы были разработаны еще в 60-70-х годах и что сейчас существуют некоторые чуть более усложненные характеристики. Например, если имеется большое количество сигнала, мы можем не просто брать фазу, а смотреть распределение фаз одного и другого сигнала и оценивать сходство между ними. Речь идет о важном сравнении, которое помогает нам производить более точную оценку, но все равно не решает проблемы направленности связей.

Другой большой тип — методы, основанные на изначальных предположениях о том, что сигнал течет из одной стороны в другую. В первую очередь к таким относится метод granger causality. Указанные методы были разработаны для экономики, но они активно применяются и в нейронауке. Мы пытаемся на основании активности в одном месте предсказать, что будет происходить в другом электроде, узнать, насколько велика предсказательная сила, чтобы это понять. И можно делать некоторый временной сдвиг, смотреть, насколько происходящее в одном месте приводит к происходящему где-то еще.

Я больше хотел рассказать, что еще нужно учитывать, когда мы анализируем вещи подобного рода. Когда мы говорим о связи между точками, нужно принимать во внимание, что эта связь имеет некоторые технические характеристики и некоторые особенности того, как информация от точек поступает к нам. Например, крайне важным оказывается помнить, что когда мы смотрим на какую-то электрическую активность, речь всегда идет о разности потенциалов. А если имеется разность потенциалов, то одна точка уже есть. Одновременно есть и другая точка на голове, которая называется референтной. Относительно нее мы смотрим разность сигнала. В этом смысле, взяв некоторую общую точку для всех имеющихся в мозге ^[1] сигналов, мы поймем, что искусственно увеличиваем сходство просто за счет технических характеристик. У нас уже есть нечто общее, где действительно нет нулевой активности, и мы это используем для получения разности потенциалов. Я описал первую проблему. Ее можно решать, детально анализируя и постоянно выбирая разные точки для референса и подсчета активностей.

Другая проблема связана вот с чем: когда мы видим связь между двумя точками, мы не знаем, что это, может быть, результат связи их обоих с третьей точкой.

В первую очередь дело в том, что мы смотрим активность на поверхности черепа, хотя источник активности в мозге ^[1] — некий электрический диполь, распространяющееся поле, приходящее в разные участки головы. Существуют методы, позволяющие из активности, которую мы видим на скальпе, получать активность источников в мозге ^[1]. И тогда нужно пытаться понять связь не между точками на голове, а между источниками в мозге ^[1].

Указанные методы подсчета активностей — при которых мы правильно учитываем, что активности идут из каких-то общих источников, учитываем технические характеристики сигнала — вполне понятны. Описано, о чем нужно думать. Принимая во внимание теоретические вещи, касающиеся того, куда должен или не должен течь сигнал, мы приходим к задаче, которая может оказаться гораздо ближе всем вам. Или не всем, но, говоря об этом в Яндексе, я думаю, что здесь больше специалистов именно в данном вопросе.

На самом деле мы в итоге получаем некоторую сеть, граф связей между парой точек. Плюс мы можем количественно оценить силу этих связей с помощью уже описанных мной методов. Речь идет об области, которая исследована еще недостаточно активно. Можно в нее гораздо сильнее вложиться и придумать, что интересного сделать, когда мы уже получили некоторое количество связей между точками. И тут начинается все самое интересное. Эта область совершенно открыта для вас.

Вот список литературы.

Если что, можно мне написать ^[2], я всё перечисленное вышлю. Если у вас есть какой-то интерес к данной области, мы в лаборатории всегда открыты к сотрудничеству. Спасибо.

Автор: Яндекс

Источник ^[3]