Я тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑модели нормально шли на обычном домашнем ящике, где видеокарта на 6 ГБ, 24 ГБ памяти и SATA‑диск. Полигоном была gpt‑oss-20b. Итог пока обидный: выиграл штатный флаг ‑fit, на длинном запросе он в 2,44 раза быстрее привычного ‑ngl 99, а мои ускорения поверх него не дали ничего. Зато по дороге я собрал неплохую коллекцию способов, которыми замер скорости врет, и пару настроек, которые пригодятся любому владельцу небольшой видеокарты.
Рубрика «видеопамять»
Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp
2026-10-09 в 11:30, admin, рубрики: gpt-oss, KV-кэш, llama.cpp, бенчмарки, видеопамять, локальные моделиДавай немного потроттлим
2026-02-02 в 9:16, admin, рубрики: LibreHardwareMonitor, Nvidia, python, Topaz Video AI, VRAM, видеопамять, нейросети, охлаждение ноутбука, перегрев, троттлингВ 2026 году ваш ноут — не просто гаджет, а рискованная инвестиция, которая может буквально расплавиться из-за одной нейросети. Пока вы апскейлите видео, ваше железо пашет на износ. А заводские системы охлаждения часто «слепнут»: они просто не видят, как видеопамять (VRAM) раскаляется до критических 105°C, пока графическое ядро, вроде как, холодное. И всё это на фоне того, что TSMC опять задрала цены, а чипы памяти взлетели из-за AI-бума. Любая ошибка — финансовая катастрофа. Дефицит запчастей пр��вращает ремонт в квест, а замена впаянного GPU сегодня стоит как крыло самолёта.
Кому нужны игровые видеокарты NVIDIA с 48 ГБ VRAM и почему их до сих пор нет
2025-10-23 в 6:06, admin, рубрики: 5090, gpu, Nvidia, VRAM, Видеокарты, видеомонтаж, видеопамять, ИИ, нейросети, технологииГеймеры, играющие в 4К-игры, энтузиасты генеративного ИИ и все, кто работает с крупными LLM-моделями, всё чаще сталкиваются с серьезным ограничением — недостаточным объемом видеопамяти. Даже топовые потребительские видеокарты с 24 ГБ или 32Gb VRAM не всегда справляются с тяжелыми задачами. Например, для профессионального видеомонтажа 8K-материала в DaVinci Resolve с применением сложных эффектов и многослойной композиции 24 ГБ видеопамяти часто оказывается недостаточно.
Nvidia представила RTX 5090, 5080, 5070 Ti и 5070. На что способны новые видеокарты с DLSS 4
2025-01-10 в 9:04, admin, рубрики: dlss4, Nvidia, xcom-shop, видеопамять
Казалось бы, с выходом монструозной RTX 4090 Nvidia исчерпала запас инженерных чудес. Все-таки трехслотовая карта с TDP под 450 Вт уже была за гранью разумного, поэтому ее Ti-версию в продажу решили не пускать вообще. Но в Nvidia, похоже, считают иначе. На CES 2025 Дженсен Хуанг представил новое поколение RTX 5000-й серииЧитать полностью »