Привет! Каждый, кто обучал нейронные сети, знаком с механизмом Early Stopping. Этот механизм останавливает обучение, когда метрика перестаёт улучшаться, экономя время и предотвращая переобучение. Классическая реализация проста и понятна, если loss на валидации не улучшается в течение N эпох мы останавливаемся и сохраняем лучшую модель.
Проблема классического подхода: реакция на шум
Ландшафт функции потерь редко бывает идеально гладким. В процессе обучения loss может немного дрожать - незначительно расти на пару эпох, а затем находить новую, еще более глубокую долину.