Рубрика «Видеокарты» - 4

Об авторе

Меня зовут Андросов Михаил — DevOps/MLOps-инженер. Последние два года сопровождаю ML-кластера Kubernetes с интенсивной нагрузкой на GPU.

Аппаратные характеристики

Наш типовой bare-metal-узел — сервер с 10 × NVIDIA RTX 4090 (24 GB). GPU enterprise уровня тоже есть, но мы предпочитаем использовать пользовательские GPU: такие карты проще приобрести и эксплуатировать.

Основные проблемы

В процессе запуска бесчисленных ML экспериментов, встали следующие проблемы:

  1. Недоиспользование памяти. Большинство ML задач занимает лишь часть памяти RTX 4090, из-за чего GPU простаивает.

  2. Взаимоблокировки.Читать полностью »

«Светлые планы на будущее»: новые RISC-V процессоры, GPU и СХД - 1

Всем привет! Меня зовут Сергей Ковалёв, я менеджер по развитию выделенных серверов. В этом теплом майском дайджесте собрал новинки серверного железа и другие новости из мира технологий. В апреле производители хоть и не очень нас баловали, зато охотно делились планами на будущее. Подробности под катом!Читать полностью »

Если закон пройдёт, видеокарты буквально смогут следить за вами

Если закон пройдёт, видеокарты буквально смогут следить за вами

Когда вы покупаете новую видеокарту, вы можете ожидать всего от прироста FPS в играх до – не дай бог – Читать полностью »

Совсем недавно, исправляя уязвимости в ядре, я столкнулся с тем, что у меня слетели драйвера NVIDIA. Вот прям совсем, даже nvidia-smi не отрабатывала. На тот момент я еще не подозревал, что впереди меня ждет приключение на несколько часов.

В этой статье я хочу поделиться опытом решения данной проблемы, но ни в коем случае не настаиваю, что мой способ/мнение - единственно верное. И буду очень рад, если вы поделитесь своим опытом выхода из подобной ситуации!

Читать полностью »
Для каких типов обучений нейросетевых моделей подходят ускорители AMD - 1

Введение

Привет! В прошлом материале мы рассказывали про графические ускорители для ЦОДЧитать полностью »

 Акции и прибыль NVIDIA падают из-за новой экономической политики США. Рассказываем, что происходит с рынком чипов и при чем здесь Китай.

Акции и прибыль NVIDIA падают из-за новой экономической политики США. Рассказываем, что происходит с рынком чипов и при чем здесь Китай.

Читать полностью »

Ускорители для ЦОД: китайские и российские решения в погоне за NVIDIA - 1

Привет! В прошлом материале мы поговорили о том, чем серверные видеокарты отличаются от потребительских, а теперь немного углубимся в технические аспекты профессиональных ускорителей и поговорим о решениях, которые доступны (или скоро будут доступны).

Читать полностью »

NVIDIA научилась снижать потребление VRAM на 95%

NVIDIA научилась снижать потребление VRAM на 95%

Похоже, что эпоха жалоб на нехватку видеопамяти подходит к концу. Оказывается, NVIDIA, в своей привычной манере "сначала сделаем, потом расскажем", несколько лет тихо работала над новой технологией сжатия текстурЧитать полностью »

Представьте, что вы купили видеокарту с 8 ГБ VRAM, а через год игры или иференсы модели стали требовать 32 ГБ. Не проще ли было бы докупить модуль памяти, как с оперативкой? Увы, это невозможно. Почему же производители десятилетиями игнорируют модульность видеопамяти? Давайте разбираться.

image

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js