Привет! Еще чуть больше года назад ваш покорный слуга наконец решился обновить комп, приобретя ПК с RTX 5090 и 96Gb RAM, которые, как я тогда думал, окажутся ультимативным решением для запуска всего, что может когда‑либо хотеться запустить. Но с выходом DeepSeek V4 Flash в апреле понял, что оказался в своеобразном «лимбо» — суммарных 128Gb VRAM+RAM хватало либо на запуск модельки в квантеЧитать полностью »
Рубрика «rtx 5090»
Тест DeepSeek, Qwen, GLM и прочих LLM на продвинутом пользовательском железе
2026-09-09 в 11:59, admin, рубрики: deepseek, DSpark, exllamav3, FreeToken, glm, mtp, NInfer, Ornith, qwen, rtx 5090MoE на 5090 недобирает полтора раза, и дело не в маршрутизации
2026-08-12 в 8:45, admin, рубрики: CUDA, gpu, llama.cpp, qwen 3.5, rtx 5090, инференс ллм, пропускная способность памяти, профилированиеНачну с пары чисел, которая меня остановила.
RTX 5090, одна и та же сборка llama.cpp (b10326, коммит 3653e6d6d), один драйвер, квант Q4_0, батч 1. Плотная Qwen3.5-9B выбирает 72% пропускной способности памяти карты. MoE Qwen3.5-35B-A3B на той же карте выбирает 41%.
Сразу оговорюсь, чтобы не унесли неверный вывод: MoE при этом быстрее в абсолюте, 317 токенов в секунду против 240. Она просто оставляет на столе примерно полтора раза от собственного потолка, и оставляет по причине, которую можно назвать и померить.
Маршрутизация экспертов тут почти ни при чём. Я её измерил отдельно.
