Главная

Рубрика «kan»

Две нейросети по 15 КБ: тернарный KAN и рассуждение без LLM

2026-06-16 в 12:33, admin, рубрики: edge ai, kan, QAT, tinyml, VSA, нейросети, тернарные веса

Июнь 2026. Две недели экспериментов, 90% точности многошагового рассуждения и 15‑килобайтная модель, которая бьёт FP32‑аналог. Без LLM. Без GPU. Без единого хардкод‑правила.

Ternary GraphKAN — первый тернарный KAN

Kolmogorov‑Arnold Networks (KAN) - альтернатива MLP, предложенная в 2024. Все существующие реализации используют FP32 или 4‑битные веса (QuantKAN, KANtize). До трёх бит никто не опускался.

Что сделано

Тернарные веса {-1, 0, +1} — 1.58 бита на параметр. 79 800 параметров упаковываются в 15.4 КБ. Это первый KAN с квантованием ниже 4 бит.

Модель	Веса	Размер	Читать полностью »

Правда ли KAN лучше MLP? Свойство разделения глубины между двумя архитектурами

2025-07-22 в 11:15, admin, рубрики: approximation, deep learning, kan, machine learning, math, MLP, neural networks, research, science

Введение

Прошлым летом в свет вышла новая архитектура нейронных сетей под названием Kolmogorov-Arnold Networks (KAN). Основная статья есть в открытом доступе на архиве по следующей ссылке. На момент выхода статьи эта новость произвела фурор в мире машинного обучение, так как KAN показывали существенный прирост в качестве аппроксимации различных сложных функций. На фото ниже видно, что ошибка новых сетей падает значительно быстрее при увеличении числа параметров.

Читать полностью »

KAN модель. Пробуем на задаче восстановления табличных данных

2024-11-26 в 11:26, admin, рубрики: kan, искусственный интеллект, итмо, машинное обучение, нейросети, теорема колмогорова арнольда

В этом году в научном сообществе прогремела статья MIT про архитектуру Колмогорова-Арнольда. С тех пор выходили различные теоретические разборы идеи. В ИТМО также попробовали применить модель KAN к своим вычислениям и пришли к довольно оптимистичным выводам, по крайней мере в ракурсе задач восстановления табличных данных. Архитектура KAN выглядит перспективной в задачах с большим количеством параметров. На фоне перцептрона KAN нужно меньше данных для обучения, а оптимизированные пакеты для расчета позволяют выполнять вычисления со скоростью, сравнимой с MLP. Рассказываем подробнее, что у нас получилось.