Рубрика «нейрон»

Сравнение мозга с нейронной сетью - 1

Можно встретить много критических замечаний о том, что биологический мозг или биологические нейронные сети работают совершенно не так как ныне популярные компьютерные нейронные сети. К подобным замечаниям прибегают различные специалисты, как со стороны биологов, нейрофизиологов так и со стороны специалистов по компьютерным наукам и машинному обучению, но при этом очень мало конкретных замечаний и предложений. В этой статье мы попытаемся провести анализ этой проблемы и выявить частные различия между работой биологической и компьютерной нейронной сетью, и предложить пути улучшения компьютерных нейронных сетей которые приблизят их работу к биологическому аналогу.
Читать полностью »

Серия «Белый шум рисует черный квадрат»

История цикла этих публикаций начинается с того, что в книге Г.Секей «Парадоксы в теории вероятностей и математической статистике» (стр.43), было обнаружено следующее утверждение:

Треугольник Паскаля vs цепочек типа «000…-111…» в бинарных рядах и нейронных сетях - 1
Рис. 1.

По анализу комментарий к первым публикациям (часть 1, часть 2) и последующими рассуждениями созрела идея представить эту теорему в более наглядном виде.

Большинству из участников сообщества знаком треугольник Паскаля, как следствие биноминального распределения вероятностей и многие сопутствующие законы. Для понимания механизма образования треугольника Паскаля развернем его детальнее, с развертыванием потоков его образования. В треугольнике Паскаля узлы формируются по соотношению 0 и 1, рисунок ниже.

Треугольник Паскаля vs цепочек типа «000…-111…» в бинарных рядах и нейронных сетях - 2
Рис. 2.

Для понимания теоремы Эрдёша-Реньи составим аналогичную модель, но узлы будут формироваться из значений, в которых присутствуют наибольшие цепочки, состоящие последовательно из одинаковых значений. Кластеризации будет проводиться по следующему правилу: цепочки 01/10, к кластеру «1»; цепочки 00/11, к кластеру «2»; цепочки 000/111, к кластеру «3» и т.д. При этом разобьём пирамиду на две симметричные составляющие рисунок 3.

Треугольник Паскаля vs цепочек типа «000…-111…» в бинарных рядах и нейронных сетях - 3
Рис. 3.

Первое что бросается в глаза это то, что все перемещения происходят из более низкого кластера в более высокий и наоборот быть не может. Это естественно, так как если цепочка размера j сложилась, то она уже не может исчезнуть.
Читать полностью »

Нейросеть нейросетей

В коре вашего мозга 17 млрд компьютеров - 1
Изображение brentsview под лицензией CC BY-NC 2.0

В мозг поступает информация из внешнего мира, его нейроны получают данные на входе, производят обработку и выдают некий результат. Это может быть мысль (хочу карри на ужин), действие (сделать карри), изменение настроения (ура, карри!). Что бы ни получилось на выходе, это «что-то» является преобразованием данных со входа (меню) в результат на выходе («куриный дхансак, пожалуйста»). И если представлять мозг как преобразователь с входом в выходом, то неизбежна аналогия с компьютером.

Для одних это просто полезный риторический приём, для других — серьёзная идея. Но мозг — это не компьютер. Компьютером является каждый нейрон. В коре головного мозга 17 миллиардов компьютеров.
Читать полностью »

Мозжечок и базальные ядра вместо хрустального шара: как мозг предсказывает будущее - 1

Сегодня мы с вами немного отойдем от рассмотрения исследований на базе нашей любимой физики/химии и переключим свое внимание на исследования человеческого организма. Точнее сказать на исследование мозга. Этот орган настолько сложен, что все предыдущие исследования давали один ответ и 10 новых вопросов, так сказать. Конкретнее говоря, сегодня мы рассмотрим исследование, намеренное ответить на вопрос — как мозг предсказывает будущее? И нет, мы не будем говорить о картах таро, кофейной гуще, астрологии и прочих ненаучных вещах. Мы будем говорить о том, как мозг человека, используя имеющиеся звания, выстраивание логических цепочек и анализ ситуации, способен предвидеть недалекое будущее. Исследователи уделили этому аспекту внимание не из праздного любопытства, а ради того, чтобы лучше понять процессы в мозге человека во время развития некоторых болезней, в том числе и болезни Паркинсона. Что именно узнали ученые, как они проводили эксперименты и что это может означать для медицины в будущем? Доклад поможет нам найти ответы на эти вопросы. Поехали.Читать полностью »

Теоретическая Нейробиология. Часть вторая. Сингулярность? - 1

В первой части мы пришли к тому, что мозг имеет наборы триггеров и сигнальную систему для передачи сигналов между удаленными наборами. При поступлении внешних раздражителей происходит активация набора соответствующего раздражителям, что приводит к производству соответствующего набора гормонов. Гормоны раздражают другие наборы триггеров, имеющих сходный набор гормонов для активации. Что порождает цепную реакцию. То есть наше сознание есть не что иное как поиск равновесия между двумя системами, системой триггеров и сигнальной системой. При этом есть внешние раздражители, которые выводят систему из равновесия. Можно предположить что такая система никогда не достигнет равновесия.

Попробуем рассмотреть это более детально.
Читать полностью »

Теоретическая Нейробиология. Часть первая. Основа - 1

Чарльз Дарвин представил нам отличную теорию о зарождении и развитии жизни на Земле. Правда, в ней еще очень много вопросов и спорных моментов. Но на данном этапе лучшего у нас пока нет. Самая большая проблема с теорией мистера Дарвина в том, что мы можем догадываться и строить предположения как и почему все произошло, но мы не можем проверить или опровергнуть эту теорию. Предлагаю использовать теорию эволюции как паттерн, чтобы представить, как развивалась нервная система и какие процессы привели к появлению сознания. Мы обсудим возможные перспективы такого подхода позже.
Закроем глаза и будем представлять.
Читать полностью »

image

Здравствуйте, уважаемое сообщество GeekTimes! После своего длительного молчания, я хочу представить свой новый проект. OPENTadpole – приложение, состоящее из полноценного редактора нервной системы головастика лягушки и физической эмуляции тела головастика и внешней среды. Возможность с нуля создать, настроить и отредактировать коннектом животного и немедленно увидеть, как Ваше творение отражается в его поведении.

Читать полностью »

imageПоэзия — та же добыча радия.
В грамм добыча, в годы труды.
Изводишь единого слова ради
Тысячи тонн словесной руды.
Но как испепеляюще слов этих жжение
Рядом с тлением слова-сырца.
Эти слова приводят в движение
Тысячи лет миллионов сердца.

Владимир Маяковский

Напомню, что наша ближайшая задача — показать алгоритм универсального обобщения. Такое обобщение должно удовлетворять всем требованиям, сформулированным ранее в десятой части. Кроме того, оно должно быть свободно от традиционных для многих методов машинного обучения недостатков (комбинаторный взрыв, переобучение, схождение к локальному минимуму, дилемма стабильности-пластичности и тому подобное). При этом механизм такого обобщения должен не противоречить нашим знаниям о работе реальных нейронов живого мозга.

Сделаем еще один шаг в сторону универсального обобщения. Опишем идею комбинаторного пространства и то, как это пространство помогает искать закономерности и тем самым решать задачу обучения с учителем.
Читать полностью »

Логика сознания. Часть 11. Естественное кодирование зрительной и звуковой информации - 1В предыдущей части были сформулированы требования к процедуре универсального обобщения. Одно из требований гласило, что результат обобщения должен не просто содержать набор понятий, кроме этого полученные понятия обязаны формировать некое пространство, в котором сохраняются представление о том, как полученные понятия соотносятся между собой.

Если рассматривать понятия как «точечные» объекты, то такую структуру можно отчасти описать матрицей взаимных расстояний и представить в виде взвешенного графа, где вершины — это понятия, а каждому ребру сопоставлено число, соответствующее расстоянию между понятиями, которые это ребро соединяет.

Ситуация несколько усложняется, когда понятия имеют природу множеств (рисунок ниже). Тогда возможны формулировки типа: «понятие C содержит понятия A и B», «понятия A и B различны», «понятия A и B имеют нечто общее». Если положить, что близость определяется в интервале от 0 до 1, то про рисунок слева можно сказать: «близость A и C равна 1, близость B и C равна 1, близость A и B равна 0).
Читать полностью »

Раз уж идеология нейросетей в IT строилась с оглядкой на реальный прототип, о нем тоже иногда полезно вспомнить. Предлагаем посмотреть или почитать лекцию Ильи Захарова, выпускника кафедры психофизиологии факультета психологии МГУ. Илья объясняет, как можно анализировать сети в мозге, какие данные для этого нужны, какие подводные камни могут возникать при анализе, а главное — что нового позволили узнать подобные исследования.

Под катом — расшифровка и большинство слайдов.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js