Рубрика «gpu» - 6
«Золотая рыбка, хочу LLM без GPU»: как собрать Inference-сервер на CPU
2025-11-14 в 7:00, admin, рубрики: cpu, gpu, llm, ml, selectel, большие языковые модели, инференс, машинное обучение, Процессоры
Как работает компьютер. Простая статья для начинающих программистов
2025-11-09 в 15:58, admin, рубрики: api, gpu, векторные операции, виртуальная память, интерпретаторы, компиляция, кэш, Параллелизм, процессор, регистрВ этой статье изложено всё, что нужно знать об устройстве компьютера с точки зрения программиста. А именно:
-
для чего нужен тактовый генератор, регистры, кэши и виртуальная память
-
что такое архитектура процессора
-
что такое машинный код и код ассемблера
-
чем отличается компиляция в машинный код в C, C++ или Rust от компиляции в байт-код виртуальной машины в языках типа Java и C#; в чём их отличие от интерпретируемых языков вроде JavaScript или Python
-
что такое динамические и статические библиотеки (.dll/.so, .lib/.a); что такое фреймворк
-
что такое API и web-API
Production AI сервер за ₽0: полный гайд по сборке ML-станции для Stable Diffusion на б-у комплектующих
2025-10-31 в 14:20, admin, рубрики: AI, CUDA, deeplearning, DIY, gpu, hardware, machinelearning, python, pytorch, stablediffusion
Я это сделал. За один день.
Часть 1: Аппаратная часть
Выбор видеокарт: RTX 2060 vs RTX 1060
Как загрузить GPU на максимум. Разбираем узкие места в инфраструктуре для ИИ
2025-10-30 в 6:32, admin, рубрики: cpu, gpu, Видеокарты, диск, инфраструктура, оперативная память, пайплайн, производительность, Процессоры, сетиПредставим, что вы запустили в облаке или на своем оборудованиии обучение модели. Выбрали конфигурацию с A100, H100 или L40S, может, даже с RTX 4090. Запускаете обучение модели, ждете, что процесс пойдет как по маслу. Но вместо э��ого в инструментах мониторинга видите, что GPU загружен на 40–60%, а то и меньше.
Причина не в «кривом коде» и не в том, что GPU «не тянут». Проблема глубже: производительность AI-кластера определяется не пиковыми терафлопсами, а самым слабым звеном в цепочке ввода-вывода. Даже самый быстрый GPU беспомощен, если данные не успевают до него «доехать». Он просто ждет.
Как я экономлю на инференсе LLM-модели в облаке и не теряю в качестве
2025-10-23 в 15:30, admin, рубрики: gpu, kv-cache, llm, vllm, VRAM, большие языковые модели, веса, инференс моделей, квантовые моделиЕсли вы читаете этот текст, скорее всего, вы уже пробовали запустить LLM самостоятельно и, вполне вероятно, столкнулись с одной из типичных проблем:
«Заказал GPU, загрузил модель, а она не влезла, хотя по расчетам памяти должно было хватить».
«Платим за A100, а реально используем лишь 30% ее мощности».
Привет, на связи Павел, ML-инженер в Cloud.ru. Я прошел через эти проблемы сам, поэтому не понаслышке знаю, как это может раздражать.
Кому нужны игровые видеокарты NVIDIA с 48 ГБ VRAM и почему их до сих пор нет
2025-10-23 в 6:06, admin, рубрики: 5090, gpu, Nvidia, VRAM, Видеокарты, видеомонтаж, видеопамять, ИИ, нейросети, технологииГеймеры, играющие в 4К-игры, энтузиасты генеративного ИИ и все, кто работает с крупными LLM-моделями, всё чаще сталкиваются с серьезным ограничением — недостаточным объемом видеопамяти. Даже топовые потребительские видеокарты с 24 ГБ или 32Gb VRAM не всегда справляются с тяжелыми задачами. Например, для профессионального видеомонтажа 8K-материала в DaVinci Resolve с применением сложных эффектов и многослойной композиции 24 ГБ видеопамяти часто оказывается недостаточно.
Китайские CPU и GPU почти догнали TSMC
2025-10-08 в 13:01, admin, рубрики: cpu, gpu, ruvds_статьи, китай, Процессоры
Генеральный директор Nvidia Дженсен Хуанг недавно Читать полностью »
Видеоаналитика в реальном времени: что делать, если нет GPU
2025-10-03 в 13:01, admin, рубрики: CV, gpu, python, анализ изображений, архитектура систем, видеонаблюдение, камера, Компьютерное зрение, оптимизация, цифровой сибурКогда у вас несколько десятков моделей компьютерного зрения, тысячи камер на заводах по всей стране и только несколько секунд, чтобы успеть оповестить оператора — важна каждая миллисекунда.
Но что делать, если вы работаете не в IT-гиганте с дата-центрами и парком GPU, а в промышленной компании с изолированными сетями, ограниченными ресурсами и жёсткими требованиями к отказоустойчивости? Расскажу:
-
почему разработка видеоаналитики в промышленности отличается от БигТеха;
-
какие ограничения приходится учитывать: отсутствие GPU, изолированные сети и жёсткие требования к отказоустойчивости;
Видеокарты NVIDIA для enterprise: A2000, T4 и A2 — что выбрать и как арендовать за рубль
2025-10-03 в 11:00, admin, рубрики: A2, A2000, ampere, gpu, Nvidia, selectel, t4, turing, серверы с gpu
Что нового в NVIDIA Rubin CPX — платформе для AI, представленной на AI Infra Summit
2025-09-25 в 6:26, admin, рубрики: gddr7, gpu, Nvidia, графические процессоры, инференс, искусственный интеллект, обработка данных, программный код9 сентября NVIDIA представила новый графический процессор Rubin CPX, разработанный специально для задач искусственного интеллекта с длинным контекстом. Этот монолитный чип оснащен 128 ГБ памяти GDDR7, способен обрабатывать миллионы токенов информации и оптимизирован для фазы предварительной обработки данных в задачах инференса. В деталях рассказываем, какую мощность выдает новинка и для какой работы подходит.