Всем привет! В этой статье я хотел бы попробовать осветить несколько взглядов на кросс-энтропию и попробовать сформировать некоторую интуицию с точки зрения теории информации.
Кросс-энтропия - одна из центральных метрик машинного обучения. Любая задача классификации так или иначе сводится к оптимизации модели через эту метрику. Однако новички нередко задаются вопросом, откуда берётся эта метрика и почему имеет такой вид, так как нередко вне профильных курсов она преподносится как данность.
Ричард Уэсли Хэмминг родился в Чикаго, штате Иллинойс, 11 февраля 1915 года. Его отец — Ричард Хэмминг голландец по происхождению, участвовал в Англо-Бурской войне, переехав в Америку, проработал ковбоем, на момент рождения сына уже занимал должность управляющего кредитами.
Детство прошло в Чикаго, здесь же он окончил среднюю техническую школу и университет им. Ричарда Крейна. Изначально Хэмминг мечтал изучать инженерное дело, но было время Великой депрессии — мировой экономический кризис, и средств на учебу в другом высшем учреждении просто не было, а в университете им. Ричарда Крейна такую дисциплину не преподавали. Выбрав факультет естественных наук, математику, в 1937 году получил степень бакалавра по данной дисциплине. Такой поворот событий сыграл судьбоносную роль в жизни Хэмминга, ведь будучи инженером ..." я был бы просто парнем, который чинит канализации, а так моя жизнь напрочь связана с будоражащей ум научно-исследовательской работой".
Читать полностью »
