Привет, в прошлой статье я рассказал про алгоритм обратного распространения ошибки и привел реализацию, не зависящую от функции ошибки и от функции активации нейрона. Было показано несколько простых примеров подмены этих самых параметров: минимизация квадрата Евклидова расстояния и логарифмического правдоподобия для сигмоидной функции и гиперболического тангенса. Данный пост будет логическим продолжение прошлого, в котором я рассмотрю немного нестандартный пример, а именно функцию активации Softmax для минимизации перекрестной энтропии. Эта модель актуальна при задаче классификации, когда необходимо получить на выходе нейросети вероятности принадлежности входного образа одному из не пересекающихся классов. Очевидно, что суммарный выход сети по всем нейронам выходного слоя должен равняться единице (так же как и для выходных образов обучающей выборки). Однако не достаточно просто нормализировать выходы, а нужно заставить сеть моделировать вероятностное распределение, и обучать ее именно этому. Кстати, сейчас на coursera.org идёт курс по нейросетям, именно он помог углубиться в понимание софтмакса, иначе я продолжал бы использовать сторонние реализации.
Рубрика «нейронная сеть» - 5
Нейронная сеть с SoftMax слоем на c#
2012-10-19 в 12:57, admin, рубрики: .net, data mining, искусственный интеллект, нейронная сеть, обратное распространение ошибки, метки: .net, c++, искусственный интеллект, нейронная сеть, обратное распространение ошибкиКоличество рождает качество?
2012-06-28 в 10:36, admin, рубрики: Google, google x, будущее здесь, искусственный интеллект, искуственный интеллект, нейронная сеть, метки: Google, google x, искуственный интеллект, нейронная сеть 
Человеческая нервная система состоит из порядка ста миллиардов нервных клеток. На эти сто миллиардов возложена большая ответственность перед организмом. Можно сказать, мы до сих пор живем благодаря замечательному умению наших нейронов предсказывать будущее.
Одним из лучших человеческих способов предугадывать состояние окружающего пространства является моделирование мира с помощью разнообразных простых правил, которым мир, вроде бы, подчиняется. Например, такому: отпущенный камень летит вниз с ускорением. Или такому: существа, обладающие рядом свойств — четырьмя ногами, длинным хвостом, усами, ушами особой формы, и так далее, объединены общим родом кошачьих и сопутствующими этому роду признаками. Любовью к свежему мясу на обед, к примеру. Согласитесь, это очень важно и интересно, если вы хотите пережить встречу с особо крупными представителями такого рода существ.