В первой части я рассказал, как запустил Qwen на списанной FPGA-плате за $50 с открытым TPU (openTPU). Комментаторы справедливо заметили: это больше анонс, чем статья. Где сборка, где кристалл, где замеры, почему 133 МГц, где КЕДР?
Рубрика «qwen»
Нафиг NVIDIA! Часть 2. Запустил 8 нейросетей на FPGA за $50 — и упёрся в DDR3
2026-10-17 в 9:06, admin, рубрики: ai-ускорители, DDR, fpga, gpu, llm, open source, qwen, risc-v, инференс, памятьНафиг NVIDIA! Я запустил Qwen на FPGA за $50 — а свой TPU назвал бы «КЕДР». Часть 1
2026-10-09 в 15:30, admin, рубрики: ai-ускорители, fpga, llm, open source, qwen, risc-v, xilinx, Железо, инференсЯ хотел разработать собственный AI‑процессор, нашёл openTPU, взял FPGA за ~$50 с 4 ГБ оперативной памяти, подключил её к обычному мини‑ПК и запустил на ней большую языковую модель — и улетел в космос (в позитивном и дофаминовом смыслах).
Без NVIDIA. Без видеокарты. На открытой архитектуре, которая разработана при активном участии ИИ‑агентов.
openTPU — открытый AI‑ускоритель Felipe Sens Bonetto.
Мне стало интересно: а можно ли действительно взять такой проект с GitHub, загрузить его в физическую FPGA и запустить настоящий LLM‑инференс?
По замерам автора проекта на такой же плате:
Читать полностью »
Сколько Rust помещается в 0.5B
2026-10-07 в 7:47, admin, рубрики: Fine-tuning, hugging face, llm, qwen, Rust, генерация кода, дистилляция, малые языковые модели, обучение с подкреплениемTemper 0.5B — моя небольшая модель, дообученная на базе Qwen2.5-Coder-0.5B‑Instruct, упор которой сделан на языке Rust. Узкая специализация позволила ей обойти модели крупнее, вплоть до x3 по параметрам. Целью дообучения было проверить возможности крошечной модели в узкой задаче, сравнить с общими того же размера и выше.
Первая версия Temper
Механизмы внимания в современных LLM
2026-10-06 в 10:16, admin, рубрики: attention, deepseek, GQA, inference, kv-cache, linear attention, llm, MLA, qwen, sparse attentionПрежде чем разбирать оптимизации, зафиксируем базовые понятия:
Токен — минимальный фрагмент последовательности, с которым работает модель. Из hidden state каждого токена attention строит query, key и value. Query отвечает на вопрос «что я ищу»,
Key — “что я содержу”,
Купил мини‑ПК с приставкой «AI» ради локальной LLM. Что может NPU на самом деле
2026-10-01 в 9:58, admin, рубрики: amd ryzen ai, fastflowlm, LiteLLM, npu, proxmox, qwen, self-hosted, xdna, инференс, локальные llm
TL;DR.Читать полностью »
Как Splash ускоряет локальные LLM на Mac
2026-10-01 в 8:39, admin, рубрики: Apple Silicon, DFlash 2, gguf, Inco AI, MacOS, qwen, Splash, квантование, локальные llm, спекулятивное декодированиеПри выборе движка для локальной языковой модели хочется получить простой ответ: сколько токенов в секунду она выдаст на моём компьютере? Но за одной цифрой скрываются разные задачи: обработать новый запрос, продолжить длинный диалог, обслужить несколько обращений одновременно. Ускорение в одном сценарии не обязательно означает такой же выигрыш в остальных.
Grok 4.7, GPT-6 Astra, Claude и китайские модели, кто эффективнее?
2026-09-25 в 7:17, admin, рубрики: Claude Fable, claude opus, deepseek, GPT-6 Astra, Grok 4.7, kimi, llm, qwen, бенчмаркиВчера SpaceXAI выложила Grok 4.7. За три недели до этого OpenAI выпустила GPT-6 Astra, Anthropic — Claude Fable 5.1. Ещё в июле рядом встал Claude Opus 5: сама Anthropic пишет, что для большинства задач включать надо его, а Fable доставать, когда Opus уже не тянет ваши замеры.
Китайские лаборатории в этой компании больше не «дешёвый запасной аэродром». Qwen3.8 Max стоит те же $2 и $6 за миллион токенов, что и Grok, и на общем индексе отстаёт на один балл. Kimi K3 на суточных инженерных задачах сидит в том же коридоре, что и свежий Grok.
Я захотел, чтобы Obsidian заполнялся сам
2026-09-24 в 9:07, admin, рубрики: knowledge graph, llama.cpp, llm, local ai, memplua, obsidian, open source, qwen, Whisper, windows
Как я строю нейросимвольное извлечение условий из тендерных документов
2026-09-22 в 7:39, admin, рубрики: knowledge graph, llm, nlp, qwen, извлечение информации, машинное обучение, нейро-символьные системы, онтологии, семантический анализ, тендерная документацияПочему лучший кандидат не всегда правильный
Рабочее название прототипа: Tender Semantic Engine (TSE)
Если фрагмент оказался неправильным ответом на один вопрос, сначала стоит проверить, не является ли он правильным ответом на другой.
Задача, которая только кажется простой
Я разрабатываю настольную систему для работы с тендерами. Один из ее модулей должен читать комплект закупочной документации и переносить в карточку тендера конкретные условия: порядок оплаты, аванс, срок и место поставки, гарантию, обеспечение, штрафы и другие обязательства сторон.
Тест DeepSeek, Qwen, GLM и прочих LLM на продвинутом пользовательском железе
2026-09-09 в 11:59, admin, рубрики: deepseek, DSpark, exllamav3, FreeToken, glm, mtp, NInfer, Ornith, qwen, rtx 5090Привет! Еще чуть больше года назад ваш покорный слуга наконец решился обновить комп, приобретя ПК с RTX 5090 и 96Gb RAM, которые, как я тогда думал, окажутся ультимативным решением для запуска всего, что может когда‑либо хотеться запустить. Но с выходом DeepSeek V4 Flash в апреле понял, что оказался в своеобразном «лимбо» — суммарных 128Gb VRAM+RAM хватало либо на запуск модельки в квантеЧитать полностью »