Рубрика «gpu» - 9

Я сижу под Linux, но иногда нужна винда. До недавнего времени у меня был обычный dual boot, но сейчас я реализовал свой идеальный сетап:

  • основная система - Linux

  • Windows - на выделенной SSD

  • на нее можно загрузиться как из груба, так и из виртуалки

  • с пробросом второго GPU (дисплей на отдельный физический выход)

  • с качественным удаленным подключением (как RDP, но быстрое) - можно играть в игры

Ниже опишу что и как сделал.

Не является руководством к действию, я в процессе этих игр одну инсталляцию загубил - накосячил с драйверами видеокарт. Все действия - на свой страх и риск.

Читать полностью »

Привет! Меня зовут Артём Маклаев, вместе с командой я занимаюсь оценкой производительности серверных платформ для задач искусственного интеллекта в YADRO. Сегодня поговорим о готовящемся к выпуску сервере YADRO G4208P G3, к раннему образцу которого мы получили полный доступ, чтобы оценить его эффективность работы с нейросетями.

Читать полностью »

Что бывает, если не следовать инструкциям

Что бывает, если не следовать инструкциям

Специалисты из сферы ИИ часто сталкиваются с задачей корректной настройки сервера с GPU. Лично я с этой задачей сталкиваюсь в последнее время даже слишком часто...

Читать полностью »

Если в 1999-м вы апгрейдили ПК до GeForce 256 ради Quake III, вы инвестировали в будущее ИИ. Тогда никто не верил, что игровая карта с 32 МБ памяти станет прародителем ChatGPT. А сегодня ее «потомки» обучают нейросети, рендерят реалистичные миры и управляют суперкомпьютерами. Рассказываем, как NVIDIA за 25 лет увеличила производительность GPU в тысячи раз и превратила их в главный инструмент для машинного обучения, моделирования сложных процессов и анализа больших данных.

Читать полностью »

Об авторе

Меня зовут Андросов Михаил — DevOps/MLOps-инженер. Последние два года сопровождаю ML-кластера Kubernetes с интенсивной нагрузкой на GPU.

Аппаратные характеристики

Наш типовой bare-metal-узел — сервер с 10 × NVIDIA RTX 4090 (24 GB). GPU enterprise уровня тоже есть, но мы предпочитаем использовать пользовательские GPU: такие карты проще приобрести и эксплуатировать.

Основные проблемы

В процессе запуска бесчисленных ML экспериментов, встали следующие проблемы:

  1. Недоиспользование памяти. Большинство ML задач занимает лишь часть памяти RTX 4090, из-за чего GPU простаивает.

  2. Взаимоблокировки.Читать полностью »

Как приручить Горыныча: русская high availability с тремя головами - 1

В одном царстве, в одном хостинг-государстве жил-был сказочный Змей Горыныч. Он был трёхголовым, распределённым и главное отказоустойчивым. Конечно, иногда из-за синхронизации подлагивал, но в целом был зверем, которых на свете мало…

Охранял он, как и положено, всякие ценности. То жар-птицу (high-value asset), то царевну (уникальный бизнес-процесс), а иногда просто всё по периметру выжигал огнём, чтобы в прод лишний никто не сунулся.

Он не был злодеем, просто его так собрали по SLA: доступность — 99,99%, задержка — в пределах 200 мс, а восстановление — автоматическое. Богатыря Горыныч не боялся, потому что он для него не герой, а unplanned human intervention — угроза стабильности.

Давайте разберёмся, что за монстр этот Змей.Читать полностью »

Дата-центр на орбите: технические особенности футуристической концепции - 1

Недавние проекты — от китайской «Трёхтелесной вычислительной констелляции» с ИИ-спутниками до коммерческих инициатив вроде Lumen Orbit и Lonestar Data — наглядно демонстрируют, что идея «ЦОД в космосе» вышла за рамки научной фантастики.

Предыдущая статья вызвала множество комментариев и споров по этой теме, поэтому я решил изучить этот вопрос подробнее — опираясь не на громкие ИТ-тренды, а на реальные научные исследования и практику (ссылки на первоисточник проставлены по тексту).

Эта статья не источник для споров и не личный опыт автора, а база для обмена мнениями. Кто знает, может именно в комментариях «Хабра» родится истина о том, как настроить работу ЦОДов в космосе.

Читать полностью »

Апрельские обновления в продуктах и услугах Selectel - 1

Привет! С вами снова Саша из Selectel. В этом дайджесте рассказываю, как обновились наши продукты в апреле. Под катом — серверы с SelectOS, iOS в мобильной ферме, RTX 6000 Ada в облаке, версионирование в S3, обновления в Managed Kubernetes и другие апдейты апреля.Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js