TL;DR
Когда вы пишете loss.backward(), ваш autograd делает то, что 200 лет считалось математической ересью: оперирует бесконечно малыми как настоящими числами. В 1960 году Абрахам Робинсон формализовал эту «ересь» в виде нестандартного анализа. Forward-mode автодифференцирование, на котором держатся JAX, PyTorch и пол-индустрии — это его обрезанная версия. В этой статье разберём гиперреалы и монады, реализуем дуальные числа в коде.
Проблема, о которой не говорят
Откройте любой учебник термодинамики. Найдите там первое начало:
dU=δQ−δA
Один значок прямой, другой — кривой. Спросите автора учебника, чем δQЧитать полностью »