В этой статье я расскажу, что такое inductive bias, зачем он нужен и где встречается в машинном обучении. Спойлер: везде. Любая нейросеть имеет inductive bias (даже та, что в человеческом мозге, хе-хе)
Также вы узнаете:
-
почему inductive bias — это очень хорошо
-
способы внедрить inductive bias в модели машинного обучения
-
какой inductive bias в сверточных нейросетях и как успех архитектуры Image Transformer связан с inductive bias
Ну что, поехали: