Рубрика «gpu» - 2
MoE на 5090 недобирает полтора раза, и дело не в маршрутизации
2026-08-12 в 8:45, admin, рубрики: CUDA, gpu, llama.cpp, qwen 3.5, rtx 5090, инференс ллм, пропускная способность памяти, профилированиеНачну с пары чисел, которая меня остановила.
RTX 5090, одна и та же сборка llama.cpp (b10326, коммит 3653e6d6d), один драйвер, квант Q4_0, батч 1. Плотная Qwen3.5-9B выбирает 72% пропускной способности памяти карты. MoE Qwen3.5-35B-A3B на той же карте выбирает 41%.
Сразу оговорюсь, чтобы не унесли неверный вывод: MoE при этом быстрее в абсолюте, 317 токенов в секунду против 240. Она просто оставляет на столе примерно полтора раза от собственного потолка, и оставляет по причине, которую можно назвать и померить.
Маршрутизация экспертов тут почти ни при чём. Я её измерил отдельно.
Разворачиваем MiniMax-M2.7 на GPU-инфраструктуре с поддержкой S3
2026-07-22 в 8:00, admin, рубрики: gpu, minimax m2.7, ml, s3-хранилище, selectel, ИИ
Использовать нейросети для работы с внутренними данными компании — идея классная, но скармливать их внешним API банально опасно. Никому не хочется, чтобы коммерческая тайна или уязвимости инфраструктуры утекли в сеть.
История создания самодельной видеокарты на 8 192 ядра RISC-V из тысяч дешевых микроконтроллеров
2026-07-20 в 8:00, admin, рубрики: gpu, selectel, Видеокарты, Железо
Немецкий разработчик с ником bitluni потратил около полугода на создание одной из самых необычных DIY-систем. Вместо того чтобы использовать готовый Читать полностью »
Конвертируем цвета в JS со скоростью 6 миллиардов операций в секунду
2026-07-10 в 13:53, admin, рубрики: canvas, colordx, glsl, gpu, javascript, oklch, WebGL, оптимизация, производительность, фрагментные шейдерыКонвертируем цвета в JS со скоростью 6 миллиардов операций в секунду
В начале этого года я создал @colordx/core, самую быструю JS‑библиотеку для работы с цветом: парсинг различных форматов, конвертация в OKLAB/OKLCH, проверка попадания в P3-гамут и многое другое. Библиотека весит всего 7 КБ и не имеет внешних зависимостей. Высокую скорость обеспечили оптимизации под V8: мономорфизм, скрытые классы, ноль лишних аллокаций.
От Triton Inference Server к NVIDIA Dynamo: как изменился inference для агентов в 2026
2026-07-07 в 9:41, admin, рубрики: AI, dynamo, gpu, llm, Nvidia
Нейро сети для самых маленьких. Часть первая (которая после нулевой). Удобство в прокрустовом ложе оптимизации
2026-07-01 в 7:00, admin, рубрики: ethernet, gpu, gpudirect rdma, infiniband, Nvidia, NVLink, RDMA, roce, tcpЭто первая (после нулевой) статья из серии Нейро сети для самых маленьких, в которой мы разбираем инфраструктуру для запуска нейронных сетей.
Для обучения и инференса нейросетей и для любых видов High Performance Computing используются специализированные технологии: GPU/TPU, RDMA, Kernel bypass, NVLink, InfiniBand, RoCE и другие. Про некоторые из них большинство только что-то слышали, но сталкиваться с ними не приходилось.
Нельзя просто взять ванильный стек Linux, воткнуть в него 400 Gb Ethernet+IP и получить рабочее решение. Почему?
Tensordyne Napier — еще одно решение на замену традиционных GPU в инференсе
2026-06-23 в 8:01, admin, рубрики: gpu, selectel, sram, инференс