В процессе прохождения курса от MIT про нейросети наткнулась на интересную тему, представленную одним из лекторов. Он задался вопросом: «А может ли нейросеть выучить функцию Вейерштрасса (непрерывная функция на вещественной прямой, не имеющая производной ни в одной точке)?». Я решила проверить это на практике. Мною было принято решение не останавливаться на фракталах, а поискать другие функции, обладающие интересными для математика свойствами: лестница Кантора, функция Римана (Томаэ) и др. В данной статье представлена только функция Вейерштрасса.
Рубрика «pytorch»
NN vs фракталы: может ли нейросеть выучить красивые математические функции?
2026-08-19 в 10:32, admin, рубрики: pytorch, математика, нейросети, нейросети python, фракталыKazry — новая кусочно‑заданная активация
2026-08-05 в 13:14, admin, рубрики: AI, Kazry, pytorch, triton, казриПривет, в этой статье я хочу представить новую функцию активации для нейронных сетей под названием Kazry, которая по результатам тестов обогнала SiLU. Сразу перейдем к делу.
Индустрия повсеместно использует активации типа SiLU из‑за их бесконечной дифференцируемости, но за это приходится платить высокую цену, в виде производной, которая глушит сигнал. Взглянем на график одной из самых популярных активаций — SiLU:
Нейросетевой эквалайзер на PlutoSDR: от синтетики к железу
2026-06-17 в 12:36, admin, рубрики: pytorch, TensorFlow, БИХ, КИХ, ких-фильтр, РадиотехникаЗачем вообще трогать LMS
Любой реальный радиоканал «размазывает» символы во времени: соседние отсчёты накладываются друг на друга, и приёмник видит межсимвольную интерференцию (ISI). Классический способ с этим бороться — адаптивный фильтр LMS. Он прост, дёшев и хорошо работает, пока канал близок к линейному. Но это именно линейный фильтр: когда лучей несколько и у них разные фазы, одной линейной комбинацией отсчётов идеально восстановить символ уже не получается.
Я хотел повторить Growing Neural CA за вечер. Ушёл месяц
2026-05-26 в 14:34, admin, рубрики: claude code, genetic algorithms, ml engineering, neural cellular automata, neural networks, neuroevolution, optuna, pytorch, reproducibility, research22 эксперимента, 9 потолков, один champion и неприятная правда про дисциплину эксперимента
Месяц назад я прочитал на Хабре статью про нейронные клеточные автоматы. Маленькие нейросети управляют клетками на сетке, клетки сами собираются в букву T или крест, и всё это обучается без учителя через что-то вроде эволюции. Я подумал: круто, повторю за пару вечеров, посмотрю как себя ведёт.
Эта статья — про то, что было дальше. Спойлер: пара вечеров превратилась в месяц, я провёл 22 эксперимента, упёрся в потолок IoU 0.44 на простой букве T, и главное чему научился — это вообще не про нейросети.
Использование машинного обучения в работе с SolidWorks (1 часть)
2026-05-11 в 17:45, admin, рубрики: api, ml, python, pytorch, solidworksРабота инженера-конструктора, помимо творчества, порой заставляет заниматься рутинными задачами, которые отнимают драгоценные силы и время. Из-за выполнения "обезьяньей работы" невозможно полноценно заниматься конструированием. Столкнувшись с постоянным формированием необходимых архивов с деталями, я решил автоматизировать этот процесс и для себя, и для коллег, написав простенькую программку.
В этой статье поделюсь своим опытом и намеченными планами, поскольку работа над программой уже год как простаивает и требует продолжения (но не будем о грустном об этом).
Немного истории (или с чего всё началось)
Запрещённая математика в твоём autograd: бесконечно малые, дуальные числа и нестандартный анализ
2026-05-02 в 14:42, admin, рубрики: autograd, python, pytorch, бесконечно малые, градиенты, дифференцирование, дуальные числа, математика, машинное обучение, нестандартный анализTL;DR
Когда вы пишете loss.backward(), ваш autograd делает то, что 200 лет считалось математической ересью: оперирует бесконечно малыми как настоящими числами. В 1960 году Абрахам Робинсон формализовал эту «ересь» в виде нестандартного анализа. Forward-mode автодифференцирование, на котором держатся JAX, PyTorch и пол-индустрии — это его обрезанная версия. В этой статье разберём гиперреалы и монады, реализуем дуальные числа в коде.
Проблема, о которой не говорят
Откройте любой учебник термодинамики. Найдите там первое начало:
dU=δQ−δA
Один значок прямой, другой — кривой. Спросите автора учебника, чем δQЧитать полностью »
Почему Chrome весит 7 000 Марио или как сжать «Змейку» в 1 000 раз
2026-04-29 в 8:00, admin, рубрики: python, pytorch, selectel, Алгоритмы, геймдев, История ИТ, нейросети, оптимизация, процедурная генерация, сжатие данных
На вашем диске лежит семь одинаковых моделей птицы Додо. Не благодарите — это ARK заботливо положил их вам в каждое DLC.
Краткий справочник про внимания (self-attention, cross-attention, multi-head attention)
2026-04-08 в 4:15, admin, рубрики: attention, beginner, pytorch, self-attention, transformer, внимание, глубокое обучение, искуственный интелект, математика, машинное обучениеМеханизм внимания (Attention) - это метод в искусственном интеллекте, который позволяет нейросети динамически определять, какие части входных данных наиболее важны для текущей задачи. Он работает через вычисление весов важности для разных элементов входа: более важные элементы получают больший вес, а менее важные - меньший. Затем модель формирует взвешенную сумму представлений, создавая новый контекстный вектор.
Как я собрал русскоязычного ИИ-рентгенолога: скрещиваем ViT и ruGPT-3 в условиях Kaggle
2026-03-20 в 10:15, admin, рубрики: computer vision, hugging face, machine learning, python, pytorch, искусственный интеллект
Как я поймал Трансформер на читерстве: гроккинг, математика и Mechanistic Interpretability
2026-03-10 в 13:46, admin, рубрики: ai alignment, grokking, machine learning, pytorch, specification gaming, TransformersФеномен Grokking и Mechanistic Interpretability — главные тренды в исследованиях лабораторий уровня OpenAI и Anthropic. Я решил потрогать эти концепции своими руками на уровне тензоров. Цель казалась тривиальной: заставить кастомный микро-Трансформер (всего 1М параметров) выучить базовую арифметику с нуля. Однако вместо математического гения я получил ленивого мошенника. Эта статья — инженерный детектив о том, как нейросети пытаются нас обмануть (Specification Gaming), и как вскрытие Attention-матриц помогает поймать их за руку.