Хотели бы вы запустить большую языковую модель на видеокарте с небольшим объёмом памяти? Модель с 27 миллиардами параметров, упакованными в 16 бит, занимает около 54 ГБ. Если хранить каждый вес одним битом и один общий масштаб на группу из 128 весов, те же параметры уместятся примерно в 4 ГБ (не считая таблицы словаря).
Рубрика «qwen3»
Однобитная Bonsai по весам: что видно при сравнении с Qwen и как получить такую модель дистилляцией
2026-10-17 в 12:34, admin, рубрики: bonsai, llm, PrismML, qwen3, straight-through estimator, бинаризация весов, дистилляция, квантизация, однобитные модели, перплексияСпекулятивное декодирование: от чего на самом деле зависит ускорение
2026-09-15 в 10:32, admin, рубрики: EAGLE-3, llm, qwen3, длина принятия, инференс, спекулятивное декодирование, ускорение инференсаЯзыковая модель пишет ответ по одному токену за шаг, и на каждом шаге прочитывает все свои веса от начала до конца. Спекулятивное декодирование пытается это обойти: маленькая черновая модель набрасывает несколько токенов вперёд, причём сразу деревом вариантов, а большая проверяет всё это дерево за один свой проход и принимает ту ветку, которая совпала с её собственным выбором. Текст на выходе получается тот же самый, быстрее становится только его получение. Так устроен метод из статьи EAGLE-3 с NeurIPS 2025, и авторы приводят для него ускорение до 6.5 раза.
Собственная облачная LLM на 16 ГБ VRAM — часть 1: базовая сборка, tools и MCP
2026-03-06 в 8:00, admin, рубрики: api-сервис, LangChain, langgraph, localai, MCP, python, qwen3, selectel, vllm, ии-агенты
Привет! На фоне ажиотажа вокруг нейросетей все чаще встает вполне приземленный вопрос — сколько стоит содержать собственную LLM.
Qwen-Image-Layered: будущая замена Photoshop (или нет)
2026-02-09 в 12:00, admin, рубрики: qwen, qwen3, selectel, нейросети
Привет! Я Антон, инженер по информационной безопасности в SelectelЧитать полностью »
Разбираем три новых Qwen: нейросеть в роли диктора, художника и писателя
2025-12-19 в 8:06, admin, рубрики: chatgpt, qwen, qwen3, selectel, нейросети
Привет! Я Антон, инженер по информационной безопасности в SelectelЧитать полностью »
Fine-tune Qwen3 за написание позитивных отзывов о ресторанах
2025-12-05 в 17:47, admin, рубрики: Fine-tuning, qwen3, unslothГенератор отзывов о ресторане:
Собрано около шестнадцати тысяч положительных отзывов от ресторанов с оценкой выше 4,7 (из 5), расположенных в Москве. Подробнее на .
Использованная модель — Qwen3-4B (версия Qwen3, поддерживающая русский язык). Для обучения модели в течение двух эпох использовалась библиотека Unsloth с LoRA (Low-Rank Adaptation — метод тонкой настройки больших языковых моделей). В результате был выбран LoRA 32-го ранга, и обучено 66 миллионов параметров. Теперь модель способна генерировать качественные новые обзоры.
Vera — ваш личный десктопный агент
2025-12-02 в 0:28, admin, рубрики: python, qwen3, Агент, голосовой ассистент, искусственный интеллект, ПКВ прошлой статье я описывал свой эксперимент по возможностям маленьких LLM. Эта статья идет как продолжение, в которой я расскажу о проделанной работе по изменению и улучшению функционала голосового агента. И поверьте, мне есть что рассказать.
Когда я задумывал своего агента, меня дико раздражали три вещи в существующих решениях:
-
«Дай денег»: Либо плати подписку за ChatGPT Plus, либо привязывай свою карту к API OpenAI/Anthropic/Perplexity.
-
«Дай данные»:Читать полностью »
Современные OCR для сложных документов: сравниваем 6 open-source моделей на реальном кошмаре инженера
2025-11-16 в 6:31, admin, рубрики: gemma-3, llm, ocr, paddleocr, qwen3, vlm, мультимодальные модели, распознавание текстаПривет! Каждый, кто хоть раз пытался вытащить данные из скана акта или старого отчета, знает эту боль. Классические OCR-инструменты, вроде старого доброго Apache Tika, отлично справляются с простым печатным текстом, но пасуют перед реальными вызовами: таблицами со сложной вёрсткой, рукописными пометками, мелким курсивом и разными шрифтами в одном документе.
Чтобы не быть голословными, давайте посмотрим на типичный «сложный» документ и что с ним делает Tika.
