Привет! На связи снова Данила Гудынин, DevOps-инженер направления Evolution ML Inference в Cloud.ru.
В прошлой статье про снижение стоимости инференса мы пробежались по теории того, что и на каких уровнях стека можно подкрутить, чтобы повысить утилизацию своих GPU. Там вы могли определиться, какой подход в принципе подходит для ваших задач.
Меня зовут Андросов Михаил — DevOps/MLOps-инженер. Последние два года сопровождаю ML-кластера Kubernetes с интенсивной нагрузкой на GPU.
Наш типовой bare-metal-узел — сервер с 10 × NVIDIA RTX 4090 (24 GB). GPU enterprise уровня тоже есть, но мы предпочитаем использовать пользовательские GPU: такие карты проще приобрести и эксплуатировать.
В процессе запуска бесчисленных ML экспериментов, встали следующие проблемы:
Недоиспользование памяти. Большинство ML задач занимает лишь часть памяти RTX 4090, из-за чего GPU простаивает.
Взаимоблокировки.Читать полностью »
/ фото NASA, Rawpixel CC BY
Это — саммари о поездке специалистов «ИТ-ГРАД» в Лиссабон, где VMware проводили свою ежегодную тематическую конференцию. Прямую трансляцию с места событий мы вели у себя в Telegram-канале, а на Хабре публиковали ежедневные отчеты с заметками о представленных новинках и наиболее обсуждаемых технологиях: день первый (интеллектуальные решения, информационная безопасность, конец эры NSX-V), день второй (сетевые решения, IoT, МО), день третий (виртуализация СХД и восстановлении данных). Помимо этого мы подвели итоги и в хабрапосте.В феврале в Стэнфорде прошла конференция, посвящённая высокопроизводительным вычислениям (HPC). Представители VMware рассказали, что при работе с GPU система на базе модифицированного гипервизора ESXi по скорости не уступает bare metal решениям.
Рассказываем о технологиях, которые позволили этого добиться.
