Хотели бы вы запустить большую языковую модель на видеокарте с небольшим объёмом памяти? Модель с 27 миллиардами параметров, упакованными в 16 бит, занимает около 54 ГБ. Если хранить каждый вес одним битом и один общий масштаб на группу из 128 весов, те же параметры уместятся примерно в 4 ГБ (не считая таблицы словаря).
Рубрика «PrismML»
Однобитная Bonsai по весам: что видно при сравнении с Qwen и как получить такую модель дистилляцией
2026-10-17 в 12:34, admin, рубрики: bonsai, llm, PrismML, qwen3, straight-through estimator, бинаризация весов, дистилляция, квантизация, однобитные модели, перплексияЛокальные 200B уже не выглядят фантастикой: что меняют Bonsai и TurboQuant
2026-04-02 в 22:41, admin, рубрики: Google, llm, llm-архитектура, llm-модели, PrismML, qwenПоследние новости в сфере ИИ натолкнули меня на одну обнадёживающую мысль: локальный запуск очень больших моделей уже не выглядит чем-то совсем фантастическим.
Пока это ещё не новая реальность, но последние опубликованные технологи подводят именно к этому. Давайте разберёмся, какие именно новости к этому подводят и чего можно ожидать в ближайшем будущем.