Рубрика «тернарные веса»
Тернарная нейронка на C#
2026-09-13 в 1:00, admin, рубрики: AI, C#, ml, ternary, train, windows, ИИ и машинное обучение, ии-модель, тернарные веса, трит
Две нейросети по 15 КБ: тернарный KAN и рассуждение без LLM
2026-06-16 в 12:33, admin, рубрики: edge ai, kan, QAT, tinyml, VSA, нейросети, тернарные весаИюнь 2026. Две недели экспериментов, 90% точности многошагового рассуждения и 15‑килобайтная модель, которая бьёт FP32‑аналог. Без LLM. Без GPU. Без единого хардкод‑правила.
Ternary GraphKAN — первый тернарный KAN
Kolmogorov‑Arnold Networks (KAN) - альтернатива MLP, предложенная в 2024. Все существующие реализации используют FP32 или 4‑битные веса (QuantKAN, KANtize). До трёх бит никто не опускался.
Что сделано
Тернарные веса {-1, 0, +1} — 1.58 бита на параметр. 79 800 параметров упаковываются в 15.4 КБ. Это первый KAN с квантованием ниже 4 бит.
|
Модель |
Веса |
Размер |
|---|