Рубрика «нейросети» - 31

фМРТ позволила подсчитать количество «вычислительных ядер» мозгаЧеловеческий мозг состоит из 100 миллиардов нейронов, каждый из которых может иметь до 10 тысяч соединений со своими соседями. Всё это великолепие, которому завидуют работающие с информацией учёные, потребляет 20 ватт в пиковой нагрузке и умещается в крошечной черепной коробке.

Часто мозг описывают как высокопараллелизированный вычислительный механизм, что заставляет задуматься, насколько глубока параллелизация. В своей работе Харрис Георгиу из Афинского национального университета имени Каподистрии смог ответить на вопрос, сколько в нашем мозге «вычислительных ядер». Подсчёт производился во время выполнения простых тестов путём особого вида томографии. Это потенциально может означать маленький шажок к созданию искусственного интеллекта.

Для этих целей использовалась функциональная магнитно-резонансная томография. Подобное исследование включает изучение гемодинамеческих реакций, аппарат измеряет изменения уровней кислорода крови, проходящей через различные участки мозга. Предполагается, что более активные участки мозга потребляют больше кислорода, поэтому можно обнаружить работающие зоны.

Обычно мозг в анализе фМРТ делится на трёхмерные области, называемые вокселями, каждая из которых составляет порядка 5 мм³. Полная карта активности мозга в любой момент времени может быть записана с использованием трёхмерной модели из 60 × 60 × 30 вокселей. Измерения повторяются примерно раз в секунду, как правило, тест длится две—три минуты, а исследуемый мозг подвергается влиянию различных физических факторов. В результате получают около 30 миллионов значений.
Читать полностью »

Давным давно, в 2008 году, когда я работал над своей диссертацией меня заинтересовала тема применения сверточных нейронных сетей для задач распознавания изображений. На тот момент они еще не были так популярны как сейчас и попытка найти готовые библиотеки ни к чему не привела — нашлась только реализация на Lush (языке созданном автором сверточных сетей, Яном ЛеКуном). Тогда я подумал, что можно было бы их реализовать на Матлабе используя Neural Network Toolbox. Но столкнулся с невозможностью реализации разделяемых весов в рамках этого тулбокса. И тогда было принято решение написать собственную реализацию.
Читать полностью »

Уважаемое хабросообщество, решил поделиться с вами моими наработками в изучении нейросети Машины Больцмана, сделанными в студенческие года.

В России по данной теме было крайне мало информации. Даже руководитель нашей кафедры не мог мне помочь с материалом. Благо наш университет состоял в единой международной базе, и была возможность воспользоваться зарубежным опытом. В частности, большая часть была найдена в литературе оксфордского университета. По сути, данная статья является сборником информации из различных источников, переосмысленная и изложенная достаточно понятным языком, как мне кажется. Надеюсь кому-то будет интересно. Когда-то меня это заставляло не спать ночами.
Итак, приступим.
Читать полностью »

Прогресс в разработке нейросетей для машинного обученияВ пятничном номере NY Times опубликована статья о значительных успехах, который демонстрируют в последние годы разработчики алгоритмов для самообучаемых нейросетей. В глубоких структурах есть несколько скрытых слоёв, которые традиционно тяжело было обучать. Но всё изменилось с использованием стека из машин Больцмана (RBM) для предварительной тренировки. После этого можно удобно перенастраивать веса, применяя метод обратного распространения ошибки (backpropagation). Плюс появление быстрых GPU — всё это привело к существенному прогрессу, который мы наблюдаем в последние годы.

Сами разработчики не делают громких заявлений, чтобы не поднимать ажотаж вокруг нейросетей — такой, как в 1960-е годы поднялся вокруг кибернетики. Тем не менее, можно говорить о возрождении интереса к исследованиям в этой области.
Читать полностью »

Эта статья короткое ответвление от цикла статьей по биовычислениям:
От белков к РНК, Мат. критерии, Как уменьшить число поворотов цепи?, Как оценить ход сворачивания односпиральной РНК?

В этих статьях задача сворачивания РНК представлена в новом свете — как задача теории игр. Но традиционно эта задача сейчас решается с применением различных стахостических оптимизирующих методов. А к ним относятся методы основанные на методе Монте-Карло, метод отжига, генетические алгоритмы, искусственные нейронные сети, Q-обучение, и все те которые представляют задачу как энергетическую поверхность в которой ищут экстремумы.

Казалось бы сама физика велит использовать эти методы в таких задачах как сворачивание РНК/белков. Здесь мы посмотрим почему это сильно проблемно.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js