Уже прошло два года с тех пор, как мы предложили схему 4.6-битного квантования и рассказали про нее, в том числе и на Хабре: раз и два. Вспомним, что при 4.6-битном квантовании веса и входы слоя принимают такие целые значения, что их попарные произведения помещаются в знаковый 8-битный тип данных. Такая схема позволила нам вычислять нейронные сети на процессорах мобильных устройств быстрее, чем в 8-битном формате, и точнее, чем в 4-битном, потому что уровней квантования больше.
Рубрика «edge ai»
4.6-битные сети: от теории к практике. Причём здесь HardTanh?
2026-06-26 в 10:07, admin, рубрики: 4.6-битное квантование, edge ai, HardTanh, resnet, инференс, квантование, мобильный ии, нейронные сети, низкоразрядные вычисленияДве нейросети по 15 КБ: тернарный KAN и рассуждение без LLM
2026-06-16 в 12:33, admin, рубрики: edge ai, kan, QAT, tinyml, VSA, нейросети, тернарные весаИюнь 2026. Две недели экспериментов, 90% точности многошагового рассуждения и 15‑килобайтная модель, которая бьёт FP32‑аналог. Без LLM. Без GPU. Без единого хардкод‑правила.
Ternary GraphKAN — первый тернарный KAN
Kolmogorov‑Arnold Networks (KAN) - альтернатива MLP, предложенная в 2024. Все существующие реализации используют FP32 или 4‑битные веса (QuantKAN, KANtize). До трёх бит никто не опускался.
Что сделано
Тернарные веса {-1, 0, +1} — 1.58 бита на параметр. 79 800 параметров упаковываются в 15.4 КБ. Это первый KAN с квантованием ниже 4 бит.
|
Модель |
Веса |
Размер |
|---|
Смогут ли микроконтроллеры с NPU заменить облако для распознавания речи?
2026-04-11 в 20:48, admin, рубрики: edge ai, mcu, npu, stm32, stm32n6, tinyml, машинное обучение, микроконтроллеры, нейросети, распознавание речиЕсли вы пользуетесь голосовыми ассистентами — Алисой, Siri, Google Assistant — ваш голос каждый раз отправляется в облако. Там он распознаётся, и ответ приходит обратно. Работает неплохо, но нужен интернет, есть задержка, и по сути вы передаёте свой голос на чужие серверы. А что на самом устройстве? Здесь пока всё скромно: либо дешёвые чипы, которые знают десяток заученных команд типа «включи свет», либо мощные процессоры, которые быстро расходуют батарею и не подходят для компактных устройств.
Как я перестал писать код для микроконтроллеров вручную и подружил ESP32C6 с AI (Опыт создания платформы)
2026-02-21 в 5:24, admin, рубрики: AI, aiot, edge ai, esp32, IoT, tiny ml, ИИ, ии-агенты, программирование микроконтроллеров, электроника
Привет! Меня зовут Александр Воробьев. За моими плечами разработка более 100 электронных устройствЧитать полностью »
Нейросетевой прогноз погоды для edge-устройств
2026-02-11 в 5:16, admin, рубрики: edge ai, нейросеть локально, прогноз погодыВсем привет! Хочу рассказать не столько про свою модель, сколько про инженерные компромиссы, с которыми я столкнулся во время работы над проектом. Буду рад любой критике.
Речь пойдет о моем проекте edge-weather-forecast — лёгкой нейросетевой модели прогнозирования температуры, которую можно запускать прямо на метеостанции или на простом CPU-устройстве вроде Raspberry Pi.
Почему я вообще решил делать модель для edge-прогноза температуры
Что я вынес из Oxford Machine Learning Summer School 2025
2025-10-13 в 16:02, admin, рубрики: computer vision, diffusion models, edge ai, generative AI, llm, multimodal llm, oxford, машинное обучение
Вдохновлено обзором про похожую школу — EEML.
Почему крупный бизнес бежит от ChatGPT на «железки» за $150
2025-06-02 в 9:07, admin, рубрики: AI, chatgpt, edge ai, jetson, jetson tx1, Rockchip, ии чат-бот, ИИ-инжиниринг, ии-модельChatGPT стоит дорого, требует постоянного интернета и может внезапно отключиться. Альтернативой становятся компактные Edge-устройства, способные работать автономно. Но действительно ли локальное железо может конкурировать с облачными гигантами?
Антон Мальцев знает ответ на этот вопрос. ML Lead в ArtSign и основатель RemiBrain, он с 2014 года развертывает решения компьютерного зрения и ИИ на тысячах Edge-устройств — от городских камер до промышленного оборудования. За десять лет накопил уникальный опыт сравнения облачных и локальных решений в реальных проектах.