Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все.
Рубрика «градиентный спуск»
Я удалил backpropagation из нейросети. Она обучилась методами XIX века
2026-04-21 в 8:00, admin, рубрики: backpropagation, momentum, selectel, sgd, градиентный спуск, история математики, метод Ланжевена, нейронные сети, оптимизация, случайный поискИгра в угадайку
2026-04-01 в 3:00, admin, рубрики: вредные советы, градиентный спуск, максимин, монте-карло, оптимальная игра, угадай число, эволюционные алгоритмы
Бинарная классификация: как работает логистическая регрессия
2026-02-09 в 10:32, admin, рубрики: gini coefficient, ml, roc auc, sgd, Бернулли, бинарная классификация, градиентный спуск, линейная регрессия, логистическая регрессия, сигмоидаНедавно мне предстояло написать реализацию LogisiticRegression для одного проекта в Школе 21, так что было необходимо разложить всё по полочкам и разобраться в бинарной классификации в целом. Хочу поделиться также этой информацией здесь, потому что не нашла статьи, которая была бы понятна и обширна лично в моём случае. Автор хочет отметить, что только начинает свой путь в машинном обучении. Если в статье найдутся неточности, то с радостью будет их заметить в комментариях
Сегодня я бы хотела рассмотреть следующие аспекты:
-
Сигмойдная функция
-
MLE и NLL
-
Распределение Бернулли
Математические основы рекуррентных нейросетей (детские вопросы и ответы, о которых не принято говорить)
2026-02-07 в 9:16, admin, рубрики: RNN, градиентный спуск, искусственный интеллект, нейросеть, обратное распространение ошибкиЗачем всё это?
Сейчас в сети можно встретить огромное количество разной литературы и курсов, которые предлагают разобраться в основах нейросетей, так зачем же нужна ещё одна подобная статья? И почему именно рекуррентные нейросети?
Применение вариационного исчисления к задаче выделения границ: вывод уравнения Эйлера-Лагранжа
2025-12-23 в 17:51, admin, рубрики: active contours, Matlab - реализация, snakes алгоритм, анализ границ, вариационное исчисление, градиентный спуск, сегментация изображений, уравнение Эйлера - Лангранжа, энергетический функционалАннотация
Представьте, что вам нужно обвести объект на картинке — не просто тыкая в пиксели, а проведя одну идеальную, плавную и уверенную линию. Та самая, которую набросал бы на бумаге художник. Как объяснить компьютеру, что значит «идеальная граница»? Как заставить его искать не среди груды точек, а в бесконечном море возможных кривых?
Градиентный спуск: как «слепой в лабиринте» находит выход в миллиардном пространстве — и почему это сердце любого ML
2025-10-28 в 13:33, admin, рубрики: adam, AI, deeplearning, градиентный спуск, ИИ, ИИ и машинное обучение, искусственный интеллект, нейросети, нейросеть, обучение
Введение в многокритериальную оптимизацию, или как потерять чуть меньше денег на крипте
2025-02-20 в 14:58, admin, рубрики: MOEAD, NSGA-II, генетические алгоритмы, градиентный спуск, инвестиции, инвестиции для новичков, криптовалюта, многокритериальная оптимизация, оптимизацияЛежит на струнах пыль
Ржавеет под окном
Разбитый телевизор
Ты сгладил все углы
И жизнь твоя сплошной
Проклятый компромисс
Ни вверх ни вниз
Так поёт группа Би-2 в песне "Компромисс" и с ними трудно не согласиться. Наша жизнь действительно состоит из сплошных проклятых компромиссов между несколькими решениями. Мы пытаемся найти максимально дешёвую, но качественную электронику, ищем экономичный, но быстрый автомобиль и красивого, но надёжного партнёра для отношений.
Каждая из этих повседневных задач заключается в поиске оптимума нескольких конфликтующих между собой функций. Это называется Читать полностью »
Супербыстрая оптимизация крыла с помощью градиентных методов
2024-08-20 в 7:01, admin, рубрики: python, градиентный спуск, Ланит, Математическая оптимизацияДаже небольшое преимущество продукта может принести существенную выгоду. Инженеры постоянно ищут новые способы оптимизации конструкций в существующих ограничениях, чтобы добиться лучших результатов. Так, Airbus в 2006 году анонсировал программу, которая позволила добиться прироста на ~4 процентаЧитать полностью »
Анимации градиентного спуска и ландшафта потерь нейронных сетей на Python
2021-01-10 в 10:13, admin, рубрики: machine learning, python, skillfactory, Блог компании SkillFactory, градиентный спуск, машинное обучение, нейронные сетиВо время изучения различных алгоритмов машинного обучения я наткнулся на ландшафт потерь нейронных сетей с их горными территориями, хребтами и долинами. Эти ландшафты потерь сильно отличались от выпуклых и гладких ландшафтов потерь, с которыми я столкнулся при использовании линейной и логистической регрессий. Здесь мы создадим ландшафты потерь нейронных сетей и анимированного градиентного спуска с помощью датасета MNIST.
Рисунок 1 — Ландшафт потерь свёрточной нейронной сети с 56 слоями (VGG-56, источник)
Читать полностью »