Рубрика «нейронные сети» - 34

Логика сознания. Часть 4. Секрет памяти мозга - 1 Когда с нами что-то происходит наш мозг фиксирует это, создавая воспоминания. Изменения, которые при этом происходят с мозгом, принято называть энграммами или следами памяти.

Вполне естественно, что понимание того, как выглядят следы памяти – основной вопрос изучения мозга. Без этого невозможно построить никакую биологически достоверную модель его работы. Понимание строения памяти непосредственно связано с пониманием того, как мозг кодирует информацию и как он ей оперирует. Все это, пока, — неразгаданная загадка.

Еще большую интригу в загадку памяти вносят исследования по локализации воспоминаний. Еще в первой половине двадцатого века Карл Лэшли поставил очень интересные опыты. Сначала он обучал крыс находить выход в лабиринте, а затем удалял им различные части мозга и снова запускал в тот же лабиринт. Так он пытался найти ту часть мозга, которая отвечает за память о полученном навыке. Но оказалось, что память каждый раз сохранялась, несмотря на временами значительные нарушения моторики. Крысы всегда помнили где искать выход и упорно стремились к нему.
Читать полностью »

В современном мире нейронные сети находят себе всё больше применений в различных областях науки и бизнеса. Причем чем сложнее задача, тем более сложной получается нейросеть.

Обучение сложных нейронных сетей иногда может занимать дни и недели только для одной конфигурации. А чтобы подобрать оптимальную конфигурацию для конкретной задачи, требуется запустить обучение несколько раз — это может занять месяцы вычислений даже на действительно мощной машине.

В какой-то момент, знакомясь с представленным в 2015 году методом Batch Normalization от компании Google мне, для решения задачи связанной с распознаванием лиц, удалось существенно улучшить скорость работы нейросети.

Batch Normalization для ускорения обучения нейронных сетей - 1

За подробностями прошу под кат.

Читать полностью »

Эксклюзивный взгляд на использование искусственного интеллекта и машинного обучения в компании Apple

iBrain уже здесь – и уже в вашем телефоне - 1

30 июля 2014 года Сирии [Siri] пересадили мозг.

За три года до того Apple стала первой из крупнейших технологических компаний, внедривших ИИ-ассистента в операционную систему. Сири стала адаптацией приобретённого компанией стороннего приложения. Заодно с приложением в 2010-м была приобретена и компания-разработчик. Самые первые отзывы о технологии были восторженными, но в следующие месяцы и годы пользователей начали раздражать её недоработки. Слишком часто она неправильно распознавала команды.

Поэтому Apple перевела систему распознавания голоса Сири на работу при помощи нейросети для пользователей из США в упомянутый июльский день (во всём остальном мире это случилось 15 августа 2014 года). Некоторые из предыдущих техник остались в строю – включая «скрытые модели Маркова» – но сейчас система основывается на таких техниках машинного обучения, как глубокие нейросети (DNN), свёрточные нейросети, долгая краткосрочная память, рекуррентные сети с шлюзами и n-граммы. После обновления Сири выглядела так же, но ей на помощь пришло глубокое обучение.

И как это часто бывает со скрытыми обновлениями, Apple не стала его афишировать. Если пользователи что и заметили, так это уменьшение количества ошибок. Apple заявляет, что результаты улучшения точности работы были поразительными.
Читать полностью »

Приглашаем на второй хакатон Neurohack - 1

9 сентября в Москве при поддержке Mail.Ru Group стартует Neurohack 2.0 — это 48-часовой марафон, в ходе которого вы сможете воплотить свои идеи, связанные с темой искусственного интеллекта и нейронных сетей. Хакатон проводится благодаря сообществу ведущих ученых России — Science Guide.
Читать полностью »

Логика сознания. Часть 3. Голографическая память в клеточном автомате - 1 Ранее мы описали клеточный автомат, в котором могут возникать волны, имеющие хитрый внутренний узор. Мы показали, что такие волны способны распространять информацию по поверхности автомата. Оказалось, что любое место автомата может быть, как приемником, так и источником волн. Чтобы принять волну в каком-либо месте, достаточно посмотреть, какой узор получается в нем в момент прохождения волны. Если этот узор запомнить и впоследствии воспроизвести в том же месте, то от этого узора распространится волна, повторяющая на своем пути узор исходной волны.

Все это сильно напоминает радиосвязь. В любом месте земли можно принять сообщение и запомнить. Потом из любого места его можно снова запустить в эфир. При этом широковещательная трансляция подразумевает не конкретного получателя, а доступность сигнала для всех.

Автомат, который мы описываем обладает памятью. Точнее, памятью обладают все его элементы. Память элемента специфична. Единственное, что видит элемент автомата – это узор, составленный из активности своих соседей. Единственное, как элемент может отреагировать на тот или иной узор – это либо самому стать активным, либо, наоборот, выключиться. Память элемента – это набор запомненных им узоров с указанием, как на них реагировать: включаться или выключаться.
Читать полностью »

Логика сознания. Часть 2. Дендритные волны - 1 В предыдущей части мы показали, что в клеточном автомате могут возникать волны, имеющие специфический внутренний узор. Такие волны могут запускаться из любого места клеточного автомата и распространяться по всему пространству клеток автомата, перенося информацию. Соблазнительно предположить, что реальный мозг может использовать схожие принципы. Чтобы понять возможность аналогии, немного разберемся с тем, как работают нейроны реального мозга.
Читать полностью »

Машины как дети: может ли ИИ научиться предсказывать последствия своих действий? - 1

Маленькие дети прекрасно понимают, что будет, если перевернуть стакан с соком. А вот машины нет. Несмотря на все многообразие современных алгоритмов компьютер не в состоянии предсказать последствия того либо иного своего действия. Конечно, если этот компьютер специально не обучить.

Группа исследователей из Института искусственного интеллекта Пола Аллена (Allen Institute for Artificial Intelligence, AI2) разработала программу, которая помогает слабой форме ИИ «понять», что произойдет при выполнении того либо иного действия. ПО «предсказывает» будущее, показывая, как может повести себя тот либо иной объект в определенных условиях. Это, говорят ученые, поможет ИИ делать меньше ошибок. Например, автономный автомобиль сможет «предсказать» последствия развития той либо иной ситуации на дороге.
Читать полностью »

Часть 2 — градиентный спуск начало

В предыдущей части я начал разбор алгоритма оптимизации под названием градиентный спуск. Предыдущая статья оборвалась на писании варианта алгоритма под названием пакетный градиентный спуск.

Существует и другая версия алгоритма — стохастический градиентный спуск. Стохастический = случайный.
Читать полностью »

Так как в заголовке был отмечен «для любопытных программистов», хочу сказать, что и моё любопытство привело к тому, что я, будучи разработчиком мобилных игр, написал такой пост. Я совершенно уверен, что найдутся программисты, которые когда-то думали об искусственных интелектах и это очень хороший шанс для них.
Читать полностью »

Логика сознания. Часть 1. Волны в клеточном автомате - 1 Начнем разговор о мозге с несколько отвлеченной темы. Поговорим о клеточных автоматах. Клеточный автомат – это дискретная модель, которая описывает регулярную решетку ячеек, возможные состояния ячеек и правила изменений этих состояний. Каждая из ячеек может принимать конечное множество состояний, например, 0 и 1. Для каждой из ячеек определяется окрестность, задающая ее соседей. Состояние соседей и собственное состояние ячейки определяют ее следующее состояние.
Наиболее известный клеточный автомат – это игра «Жизнь». Поле в игре «Жизнь» состоит из ячеек. Каждая ячейка имеет восемь соседей. Задается начальная комбинация. Затем начинается смена поколений. Если у занятой ячейки два или три занятых (живых) соседа, то ячейка продолжает жить. Если соседей меньше 2 или больше 3, то ячейка умирает. Когда у пустой ячейки оказывается ровно 3 соседа в ней зарождается жизнь. Задав произвольную начальную комбинацию можно пронаблюдать ее эволюцию.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js