Рубрика «квантование»
Как Splash ускоряет локальные LLM на Mac
2026-10-01 в 8:39, admin, рубрики: Apple Silicon, DFlash 2, gguf, Inco AI, MacOS, qwen, Splash, квантование, локальные llm, спекулятивное декодированиеПри выборе движка для локальной языковой модели хочется получить простой ответ: сколько токенов в секунду она выдаст на моём компьютере? Но за одной цифрой скрываются разные задачи: обработать новый запрос, продолжить длинный диалог, обслужить несколько обращений одновременно. Ускорение в одном сценарии не обязательно означает такой же выигрыш в остальных.
12 ГБ VRAM и WAN 2.2 I2V‑A14B: как заставить RX6700XT генерировать видео неограниченной длины
2026-09-21 в 10:09, admin, рубрики: amd, ComfyUI, WAN, видеогенерация, квантование, локальный запуск нейросетейВместо введения
Относительно недавно я познакомился с ComfyUI. После не очень продолжительных танцев с бубном и установки кастомных ROCm‑драйверов для моей видеокарты (официальная поддержка начинается только с AMD RX7600) я столкнулся с проблемой генерации видео.
Если быть точнее, единственное, что я мог себе позволить для полноценного вычисления с помощью видеокарты, — это модель wan2.2_ti2v_5B. Но она работала очень нестабильно: не слушалась промптов и выдавала артефакты.
Квантование и выбор модели
4.6-битные сети: от теории к практике. Причём здесь HardTanh?
2026-06-26 в 10:07, admin, рубрики: 4.6-битное квантование, edge ai, HardTanh, resnet, инференс, квантование, мобильный ии, нейронные сети, низкоразрядные вычисленияУже прошло два года с тех пор, как мы предложили схему 4.6-битного квантования и рассказали про нее, в том числе и на Хабре: раз и два. Вспомним, что при 4.6-битном квантовании веса и входы слоя принимают такие целые значения, что их попарные произведения помещаются в знаковый 8-битный тип данных. Такая схема позволила нам вычислять нейронные сети на процессорах мобильных устройств быстрее, чем в 8-битном формате, и точнее, чем в 4-битном, потому что уровней квантования больше.
Как возникает реальность? Новая математическая модель. Сравнение с другими теориями
2026-04-26 в 15:57, admin, рубрики: измерение, интерференция, квантование, квантовая физика, объективность, реальность, суперпозиция, феномены, физика, философия
В Квантовой механике есть странный факт, к которому все привыкли, но который редко проговаривается до конца.
Как я уместил «Войну и мир» в 10 ГБ видеопамяти, или почему нейросеть убивает героев и выдумывает Пьера Бездаровского
2026-04-01 в 15:28, admin, рубрики: llama 3, llm, nlp, python, война и мир, генерация текста, квантование, машинное обучение, нейросети, промпт-инжиниринг
Как квантовать LLM. Практическое руководство для начинающих
2025-12-10 в 18:37, admin, рубрики: llm, искусственный интеллект, квантование, оптимизация нейросетейВсем привет! Меня зовут Максим, я NLP‑инженер в red_mad_robot и автор Telegram‑канала Максим Максимов // IT, AI. Рост числа параметров в LLM и других нейронных сетях создает проблему того, что запускать их может все меньшее количество людей. Это связано с тем, что запуск больших моделей требует наличие мощного оборудования, недоступное всем.
Для решения этой проблемы разрабатываются различные виды оптимизации, позволяющие запускать крупные нейронные сети (в частности LLM) на менее мощном оборудовании. Одним из наиболее популярных подходов оптимизации LLM является квантизация.
67 iPhone против одной H100: почему гибкость не побеждает чистую мощность
2025-09-27 в 14:41, admin, рубрики: apple, BitNet, H100, iPhone 6S, Nvidia, дистилляция, квантование, прореживание, терафлопсы
В мире ИИ часто ищут нестандартные пути, пытаясь оптимизировать стоимость вычислений.
Разбираемся с суффиксами квантования LLM: что на самом деле значат Q4_K_M, Q6_K и Q8_0
2025-06-16 в 17:15, admin, рубрики: AI, llm, llm-архитектура, llm-модели, llm-приложения, ml, ИИ, ИИ и машинное обучение, искусственный интеллект, квантование
Привет!
Читать полностью »