Работа с большими языковыми моделями не только требует серьезных вычислительных ресурсов (например, облачных GPU), но и грамотного их использования. Зачастую инженерам приходится учитывать специфические особенности работы GPU-кластеров.
Рубрика «gpu»
LLM в телекоме, ЦОД и на периферии [исследования]
2025-01-14 в 12:00, admin, рубрики: gpu, llm, машинное обучениеГайд XCOM-SHOP по топовым видеокартам на начало 2025 года: производители и актуальные модели
2025-01-09 в 10:15, admin, рубрики: amd, gpu, intel, Nvidia, xcom-shop, Видеокарты, игровые пк, сборка пкЧем интересна не вышедшая видеокарта GeForce RTX 4090 Ti
2024-12-20 в 8:31, admin, рубрики: GeForce, gpu, rtx 4090, xcom-shopИндустрия графических процессоров, где каждый релиз тщательно планируется и анонсируется, казалось бы, давно не оставляет места для сюрпризов. Утечки информации и инсайды стали настолько обыденным явлением, что энтузиасты могут предсказать характеристики новых видеокартЧитать полностью »
Улетная скорость параллельных вычислений и вывод в реальном времени: что умеет Blackwell от NVIDIA
2024-12-17 в 6:02, admin, рубрики: gpu, Nvidia, Видеокарты, Облачные вычисления, оборудование, ПроцессорыИлон Маск и его команда xAI создали суперкластер из 100 000 графических процессоров NVIDIA всего за 19 дней — вместо четырех лет. В NVIDIA этот подвиг уже назвали сверхчеловеческим. И это на базе H200, которые совсем скоро можно будет назвать графическими процессорами предыдущего поколения.
В этом году NVIDIA представила новую платформу графических процессоров BlackwellЧитать полностью »
Чем серверные GPU-ускорители отличаются от потребительских видеокарт
2024-12-11 в 12:38, admin, рубрики: cpu, gpu, GPU-ускорители, nlp, Nvidia, видеокарта, Видеокарты, нейросети, потребительские видеокарты, серверные GPUПривет! Сегодня посвятим наш спич разговорам о видеокартах, их различиям и вопросам импортозамещения технологий.
Вычисления с GPU-ускорением на Python
2024-10-26 в 8:05, admin, рубрики: c++, cpu, CUDA, gpu, Nvidia, pycuda, python, timeweb_статьи_перевод, Процессоры❯ Для чего нужен GPU?
Настройка Linux для обучения моделей с GPU
2024-09-27 в 15:10, admin, рубрики: gpu, linux, Nvidia, python, нейросетиНу что ж, сборка железа завершена! Мой стенд с GPU стоит и ждет команды к действию. Но, конечно, просто собрать ПК — это лишь начало пути. Теперь надо научить систему работать с этим зверем, установив Linux, драйвера, CUDAЧитать полностью »
Что должен знать каждый разработчик о вычислениях на GPU
2024-09-18 в 8:42, admin, рубрики: gpu, графические процессорыБольшинство программистов отлично разбираются в работе процессоров и последовательном программировании, поскольку с самого начала пишут код для CPU. Однако многие из них меньше знают о том, как устроены графические процессоры (GPU) и в чем заключается их уникальность. За последнее десятилетие GPU стали чрезвычайно важны благодаря широкому применению в глубоком обучении, и сегодня каждому разработчику необходимо обладать базовыми знаниями о том, как они работают. Цель этой статьи — дать вам это понимание.
При написании этой статьи я во многом опирался на книгу Читать полностью »
Мощь и заоблачная цена: что известно о видеокартах NVIDIA GeForce RTX 5000-й серии
2024-09-12 в 7:59, admin, рубрики: GeForce, gpu, Nvidia, rtx 4090, xcom-shop, ВидеокартыЗагруженность GPU — не самая репрезентативная метрика
2024-09-08 в 17:39, admin, рубрики: cuda toolkit., gpu, Nvidia, производительность, ПроцессорыВ командах ML-инженеров часто пользуются метрикой «GPU Utilization» (Загруженность процессора), чтобы понять, насколько активно задействуется в работе процессор. Чтобы узнать эту информацию, обычно достаточно выполнить команду nvidia-smi в строке терминала. Во многих интегрированных наблюдательных инструментах загруженность процессора также отслеживается как основная характеристика производительности.Читать полностью »