Всем привет! Меня зовут Радмир, я — начинающий исследователь в области NLP. В этой статье я расскажу о своей идее — LTanh: функция активации, стабилизирующая градиент Tanh.
Итак, наш план:
-
Разберем основную идею LTanh.
-
Разберем производную Tanh.
-
Разберем производную LTanh.
-
Посмотрим на отличия LTanh от Tanh.
-
Сравним лоб в лоб две производные.
Что ж, приступим.
Идея LTanh — зачем он нужен
Недавно я разбирал производные функций, в том числе и функции Tanh. Я заметил, что производная Tanh падает довольно быстро — Читать полностью »