Всё началось с желания автономно заниматься исследованиями в области искусственного интеллекта и запускать свои эксперименты без ограничений облачных сервисов или недостаточных ресурсов рабочих кластеров. Наука и исследования давно стали для меня не только профессией, но и хобби: запускать эксперименты, сравнивать модели, тестировать свежие идеи - всё это требует собственной инфраструктуры. Именно поэтому я решил собрать GPU‑сервер «под себя» для полноценного AI‑ресёрча.
До этого опыта самостоятельной сборки серьёзного железа у меня не было, но огромное влияние оказал мой научный руководитель - делился опытом и давал ценные советы, за что я ему очень благодарен. Его помощь стала критически важной частью этого пути: без него, возможно, не вышло бы довести этот сервер до ума.
При изучении чужого опыта обнаружил, что в интернете мало конкретных материалов по домашним мульти‑GPU сборкам под задачи ресёрча(не майнинга). Хотелось найти готовое решение: закрытый корпус, много дисков и места под несколько видеокарт, но воспроизводимых и дешёвых схем сборки или даже фотографий я почти не встретил. В итоге корпус подбирал на ощупь (это уже третий корпус), много часов ушло просто на поиски нужных комплектующих. Я даже консультировался с инженерами из бигтеха, но многие детали им тоже были неочевидны.
Многое шло не по плану: были ограничения по бюджету и эксперименты с охлаждением (процессорный кулер я менял четыре раза). Честно говоря, затраты всякий раз выходили больше, чем планировал - то более длинные провода, то вентиляторы, то ещё какая‑нибудь мелочь.
Главные инсайты для меня за время сборки:
-
Найти корпус под много десктопных карт - тот еще квест;
-
Материнскую плату, которой можно доверять искать очень тяжело(я так и не нашёл);
-
Продавцы на авито предлагают чудесные цены на новое железо.
Теперь расскажу, как именно я подошёл к процессу сборки - от выбора корпуса до конфигурации внутренних компонентов, охлаждения и питания всего этого сервера.
Корпус, в который точно всё влезет
На старте проекта бюджет был сильно ограничен, поэтому первую итерацию серверной сборки я делал в Ginzu GL180 — неплохой, дешёвый корпус, который отлично заходит для минимального сетапа, но быстро становится тесным, если хочется расширяться.
Следом попробовал Procase 4u: корпус попросторнее, но и там быстро упёрся в лимит — места для многогпу‑сборки не хватало.
Финальная (и самая удачная!) версия - двухэтажный китайский корпус, который нашёл на AliExpress (ссылка). Внутри оказалось более чем достаточно пространства под все мои хотелки: видеокарты, диски и хорошую вентиляцию. В комплекте идут съёмные перегородки и внушительный запас места под стандартные комплектующие.
Базовые внутренности
На фото ключевой этап сборки: установка двухпроцессорной серверной материнской платы Huananzhi X99-F8D Dual Plus. Почему именно два процессора? Больше ядер — больше операций предобработки данных, что критично для экспериментов, в том числе параллельных. В этой плате — 2 сокета, 8 слотов под оперативную память, 6 слотов PCIe для видеокарт, 3 M.2 NVMe и 10 SATA‑разъёмов.
Оперативная память реализована в виде 8 модулей Atermiter по 16 ГБ. Установлены два процессора Intel Xeon E5-2699A v4 — самые мощные для сокета LGA2011-3 (22 ядра на каждом). Да, иногда хочется «эпик», но стоимость AMD EPYC несравнимо выше, а производительности этих Xeon хватает, чтобы не страдать из‑за CPU‑болтнека (по крайней мере, за несколько недель использования ощутимых фризов не было).
В качестве электропитания выбраны два блока GamerStorm (DeepCool) PQ1200G WH по 1200W — такой объём питает все внутренние компоненты.
Охлаждение
В серверном корпусе с двумя процессорами возникла неожиданная проблема: высота башенного кулера может быть не больше 5 см, так как прямо над процессорами находятся другие компоненты, и выдув наверх невозможен, а подходящих кулеров с боковым обдувом для такого сокета я не нашёл вообще.
Поэтому единственным адекватным вариантом стало водяное охлаждение. Я выбрал две модели: ExeGate BlackWater-240V2.PWM и ExeGate BlackWater-120V2.PWM. Почему разный размер? Начинал с двухюнитового радиатора, примерялся к корпусу — оказалось, что большой радиатор частично мешает воздушным потокам внутри, поэтому на второй процессор пришлось взять версию с меньшим радиатором. Оставил обе водянки: оба варианта отлично справляются со своей задачей.
Результат оказался выше ожиданий: под пиковой нагрузкой температура процессоров не превышала 55°.
Для внутреннего охлаждения корпуса я решил не экономить и выбрал сверхмощные кулеры Arctic S12038-8K. Они способны вращаться на скорости до 8000 оборотов в минуту - этого вполне хватает, чтобы эффективно выдувать горячий воздух из корпуса даже при максимальной нагрузке всех компонентов.
Одна из неожиданных проблем при монтаже: кулеры оказались шире стандартных, и классические болты для крепления оказались короткими. Решили зафиксировать вентиляторы на обычные пластиковые стяжки. Такой лайфхак оказался рабочим: лишних вибраций или дребезжания не появилось, крепление вроде надёжное, а установка заняла буквально пару минут.
Установка охлаждения
На данном этапе установлены три мощных кулера с радиатором водяного охлаждения. Питание материнской платы, процессоров и части видеокарт обеспечивает чёрный бпшник. Также на фото появились два накопителя с пассивными радиаторами.
Были установлены два SSD M.2 Samsung 990 Pro по 4 ТБ - они нужны для операционной системы, хранения моделей и кода. Чтобы избежать перегрева, оба диска посажены в радиаторы Coolleo SSD-V2 (HR-10) с двумя тепловыми трубками.
Добавили вторую тройку кулеров сверху - в сумме теперь шесть мощных вентиляторов обеспечивают активную продувку всего корпуса. На процессоры установили помпы, а для максимальной теплопроводности вместо обычной термопасты использовали жидкий металл Thermal Grizzly Conductonaut. Управление оборотами всех вентиляторов реализовано через контроллер ARCTIC Case Fan Hub.
Установка дисков
За год работы с этим сервером я успел собрать шесть жёстких дисков для хранения датасетов и экспериментов:
-
Seagate Barracuda 2 TB
-
Seagate Barracuda 1 TB
-
Seagate SkyHawk 4 TB
-
WD Red 1 TB
-
x2 Seagate Exos 8 TB (они брендированы как Dell EMC)
Сверху на фото видно металлическую плашку с райзерами - это та самая конструкция, к которой крепятся видеокарты. Райзеры китайские, с поворотом PCI-E слота на 90° чтобы удобно их было закрепить на этой самой пластине. Подробнее к этой плашке мы вернёмся чуть позже.
На этом фото финальный этап подключения накопителей. Все диски запитаны с помощью кабелей. Для корректной синхронизации двух блоков питания обязательно требуется специальная плата: у меня здесь стоит Espada ESP-DPSS02, она гарантирует одновременно запуск и стабильную работу всей системы. Без такой платы сервер запуск двух БПшников для питания системы, насколько я знаю, невозможен.
Установка видеокарт
В специальные крепления устанавливаются две основные планки: одна с райзерами для подключения видеокарт, вторая служит передней опорой для их фиксации. Третья точка опоры - боковая металлическая плашка, куда карты прикручиваются сбоку. Благодаря такому трёхточечному креплению ни одна видеокарта не провисает: вся конструкция жёсткая и устойчивая, даже при полной загрузке слотов.
Финальный этап сборки - установка видеокарт и обзор корпуса сверху. В этот кейс помещается максимум пять видеокарт, и для текущих задач этого более чем достаточно. Карты установлены в разнесённых слотах - так обеспечивается оптимальный обдув.
На фото сетап такой:
-
RTX 4060 Ti 16 ГБ (×2)
-
RTX 5060 Ti 16 ГБ (×1)
-
И ещё две видюхи для полноты картины. Они не используются и поставлены для фото. На данный момент я жду две другие карты из Китая.
По мощности эти карты быстрее, чем tesla A100, хоть уступают по ширине шины памяти и объёму видеопамяти. Для экспериментов скорость всё окупает.
Финальное слово
Построить домашний мульти‑GPU сервер оказалось непросто, но очень интересно. Если подходить к задаче с практическим интересом и готовностью к экспериментам: правильный корпус, продуманное охлаждение и грамотное подключение питания позволяют собрать рабочую машину для ресёрча, которая по производительности и гибкости не уступает облачным решениям. Если вы задумались о подобной сборке, не бойтесь пробовать - процесс даёт опыт, а результат приносит реальную пользу в работе и исследовании ИИ.
Спасибо за прочтение статьи! Если интересно следить за тем, как мы используем этот сервер в научных исследованиях, подписывайтесь на мой тг канал https://t.me/KORALLLLLL и канал моего научного руководителя
Автор: korallll_cult
