Главная

Рубрика «nag»

Инженерные системы малого офиса и вопросы к ним для само (и не само) проверки

2017-07-28 в 19:09, admin, рубрики: nag, инженерная инфраструктура, инженерные решения, инженерные системы, кондиционер, кондиционирование, Читальный зал, электричество, метки: инженерные решения

Внезапно для многих, в конце июля в Москве наступило лето. Вообще для многих лето — почти как зима для коммунальных и дорожных служб, ни разу не было и вот опять.
Одновременно в комментариях к заметке написали про необходимость помнить и про инженерные системы.

Исправляюсь, и пишу про них.

tl/dr: всякие мелочи, которыми админ заниматься не должен, но порой приходится, особенно в малом офисе. Или в дата-центре.

Итак — инженерные системы малого офиса.
Читать полностью »

Методы оптимизации нейронных сетей

2017-01-04 в 11:18, admin, рубрики: adagrad, adam, adamax, momentum, nag, nesterov, rmsprop, Алгоритмы, математика, машинное обучение, метки: adagrad, adam, adamax, momentum, nag, nesterov, rmsprop

В подавляющем большинстве источников информации о нейронных сетях под «а теперь давайте обучим нашу сеть» понимается «скормим целевую функцию оптимизатору» лишь с минимальной настройкой скорости обучения. Иногда говорится, что обновлять веса сети можно не только стохастическим градиентным спуском, но безо всякого объяснения, чем же примечательны другие алгоритмы и что означают загадочные inline beta и inline gamma в их параметрах. Даже преподаватели на курсах машинного обучения зачастую не заостряют на этом внимание. Я бы хотел исправить недостаток информации в рунете о различных оптимизаторах, которые могут встретиться вам в современных пакетах машинного обучения. Надеюсь, моя статья будет полезна людям, которые хотят углубить своё понимание машинного обучения или даже изобрести что-то своё.