Развертывание ИИ внутри контура-On-premise — выбор оборудования, расчет и закупка | Марат Рахимов из MrGroup

Я устроил вебинар и пригласил Марата Рахимова — директора по ИИ и цифровой трансформации в MR Group (до этого Сбер, МТС, Data Monsters). Мы обсудили, как компаниям подходить к выбору «железа» под ИИ: покупать своё или брать в аренду, какие карты нужны и что с этим всем делать.

О чём говорили

Прошлись по простому плану:

1. Какие нужны пререквизиты внутри компании, чтобы вообще думать про on-prem.

2. Аренда vs покупка «железа» и где экономика складывается.

3. Как выбирать GPU под реальные задачи.

4. Платформы и поставщики.

Пререквизиты: без этого никак

— Опыт владения своей ИТ-инфраструктурой.
— ЦОД или стойка, куда всё поставить.
— Команда с MLOps/DevOps-скиллами.
— Реальная потребность в прод-сервисах.

Аренда или покупка

Аренда одной A100 80GB ≈ 225 тыс ₽/мес.
За год — 2,7 млн ₽.
За 5 лет — 13,5 млн ₽.
Покупка такой карты ≈ 1,2 млн ₽.

Окупается за 5 месяцев, если нагрузка есть.

Как выбирать GPU

• Инференс или обучение.

• Сколько памяти нужно под контекст.

• Нужно ли NVLink между картами.

• Потянет ли сеть и NVMe.

Оптимальный вариант для MR Group: NVIDIA H100 PCIe 80 GB. Подходит и для прод-инференса (ассистенты, RAG), и для дообучений. Даёт запас по памяти и скорости, NVLink решает вопрос связности.

Платформы и поставщики

• Глобальные: Dell, Lenovo, Supermicro.

• Российские: Yadro.

• Китайские: Kaytus, Gooxie.

Критично учитывать: питание (3 кВт+), охлаждение, реальные PCIe Gen5 линии, поддержка NVLink. Вендор должен подтвердить, что сервер тянет H100.

Итоги

• On-prem выгоден, если есть продовые сервисы и нагрузка.

• GPU отбиваются за полгода.

• H100 сейчас «новый стандарт», A100 всё ещё в строю.

• Китайские и российские платформы уже можно рассматривать наравне с глобальными.

Ссылки

https://t.me/r77_ai/265 — тут ссылка на презентацию и наш канал

А вот сам вебинар:

https://www.youtube.com/watch?v=PTM9C0qZXss

https://vkvideo.ru/video-228941334_456239056