Лучший способ сжечь бюджет компании на инфраструктуру — запуск LLM в продакшене. Но только если вы не знаете, какой бэкенд использовать и как его настраивать.
Рубрика «Nvidia»
vLLM vs LMDeploy vs Triton: обзор бэкендов для инференса LLM
2026-07-18 в 8:00, admin, рубрики: lmdeploy, ml, mlops, Nvidia, selectel, triton-inference-server, vllmОт Triton Inference Server к NVIDIA Dynamo: как изменился inference для агентов в 2026
2026-07-07 в 9:41, admin, рубрики: AI, dynamo, gpu, llm, Nvidia
Нейро сети для самых маленьких. Часть первая (которая после нулевой). Удобство в прокрустовом ложе оптимизации
2026-07-01 в 7:00, admin, рубрики: ethernet, gpu, gpudirect rdma, infiniband, Nvidia, NVLink, RDMA, roce, tcpЭто первая (после нулевой) статья из серии Нейро сети для самых маленьких, в которой мы разбираем инфраструктуру для запуска нейронных сетей.
Для обучения и инференса нейросетей и для любых видов High Performance Computing используются специализированные технологии: GPU/TPU, RDMA, Kernel bypass, NVLink, InfiniBand, RoCE и другие. Про некоторые из них большинство только что-то слышали, но сталкиваться с ними не приходилось.
Нельзя просто взять ванильный стек Linux, воткнуть в него 400 Gb Ethernet+IP и получить рабочее решение. Почему?
80% мирового HBM. Как Корея захватила рынок памяти для ИИ
2026-06-25 в 6:04, admin, рубрики: dram, HBM, Nvidia, Samsung, sk hynix, искусственный интеллект, память, полупроводники, чипы, южная кореяКакой главный корейский продукт? Многие назовут автомобили, электронику и бытовую технику, сериалы, косметику или даже K-Pop. Но главный корейский продукт другой. Без него не работали бы смартфоны и ноутбуки, не было бы ИИ-бума, а весь мировой прогресс серьёзно бы замедлился. Эта корейская суперсила - память. В этой статье мы разберемся, как небольшая азиатская страна, отнюдь не сверхдержава, подмяла под себя главную драгоценность мировых технологий.
Начнём с одной новости. В мае Samsung вошёлЧитать полностью »
Как я собрал LLM-печку на 4 GPU, и на что она способна
2026-05-30 в 6:51, admin, рубрики: AI, homelab, homeserver, llm, multi-gpu workstation, Nvidia, opencode, Агент, Железо, сборка
288-ядерный Xeon 6+ и другие серверные CPU
2026-05-27 в 7:02, admin, рубрики: cerebras, intel, Nvidia, ruvds_статьи, дата-центры, серверные cpu
В марте 2026 года на конференции MWC компания Intel показалаЧитать полностью »
