Покупка современного сервера Intel c NVMe P4800X

в 14:47, , рубрики: datacenter, devops, hardware, intel, IOPS, NVMe, ssd, Серверное администрирование, системное администрирование

Сентября 17го года купил в личное пользование сервер стоимостью 7680$ у поставщика Тиском.
Поставил в Московский ЦОД tech.ru и приступил к эксплуатации.

Фото-отчёт в наличии. Статья состоит из 5 частей:

  1. Зачем мне сервер.
  2. Выбор конфигурации.
  3. Выбор у кого покупать.
  4. Выбор у кого размещать.
  5. Проблемы с настройкой данного сервера.

Зачем мне сервер

В августе 2015 года удачно сложились обстоятельства, чтобы я начал делать онлайн игру.
У меня был довольно большой выбор каким долгостроем заняться. По ряду причин выбрал онлайн игру.

Начал её делать и за пол года напряжённой работы хорошо продвинулся, но внезапно сбережения кончились. Тем не менее я зашёл очень далеко в этом вопросе и далее продолжил дорабатывать онлайн игру в свободное от основной работы время. Игра требует много серверных ресурсов — для подсчёта рейтингов.

У меня уже 10 лет имеется личный сервер в Киевском ЦОД hvosting.ua. Достался он мне случайно: «Хочешь сервер вот такой-вот за 750евро и платить только за место в стойке?», ну а у меня тогда как-раз были лишние 750 евро и я согласился. Имеющегося сервера было достаточно примерно до 500 человек онлайн. Поэтому пришлось всех игроков просить «не рассказывайте никому про игру». И сейчас не хотелось бы никому показывать текущую версию, 5 человек активно играют — более чем достаточно на данный момент.

Стало ясно, что нужно брать или арендовать новый сервер.

Вариант с арендой я отбросил, потому что у меня есть позитивный опыт размещения своего
сервера длительностью 10 лет.

Есть негативный опыт закрытия успешного стартапа из-за дорого хостинга. Ну то есть надо было платить 600$ в месяц за хостинг, а доход в какой-то момент стал меньше 600$ в месяц.
Я соответственно не мог показывать это в портфолио — и я считаю это был нанесён чудовищный урон моему доходу вцелом.

Именно из-за этих двух причин я принял решение покупать сервер, а не арендовать.

То есть, если онлайн игра будет финансово несостоятельной — она всё-равно останется онлайн и будет доступна для портфолио. И расходы на её содержание будут вполне посильные даже при нулевом доходе от самой игры.

Кроме того, мне нужен сервер для нескольких некоммерческих сайтов и teamspeak сервера для крупной гильдии в известной онлайн игре.

Покупка современного сервера Intel c NVMe P4800X - 1
Обзор всех комплектующих в данном сервере, ещё в коробках всё, сейчас будет распаковка

Выбор конфигурации

Я решил, что сервер должен тянуть 50000 игроков онлайн и 1000000 зарегистрированных игроков.

При достижении этих показателей — стартап перерастёт в бизнес и будет возможность купить новое необходимое оборудование. Но вообще почему именно 50000, а не 60000 — рассматривать не будем, статья не об этом.

Дальнейший выбор конфигурации — подбор параметров, под требуемые показатели.
На момент начала этой истории я довольно слабо разбирался в серверном железе и того, что мне на самом деле надо.

Полагаю, что ход мыслей и логика принятия решений будут очень интересны всем причастным к теме. Или людям принимающим решения.

Покупка современного сервера Intel c NVMe P4800X - 2
Все комплектующие в своих коробках, сейчас начнётся распаковка и установка

Общие показатели

Для снижения финансовых рисков необходимо, чтобы ежемесячные траты были минимальны. Соответственно сервер должен быть 1U размером.

Серверная часть игры спроектирована таким образом, что почти всё можно запускать в многопотоке. То есть даже можно разделять задачу просчёта игрового мира между несколькими серверами.

Это значит, что при выборе «несколько производительных ядер» vs «много среднепроизводительных ядер» — надо делать выбор в пользу второго варианта.

Сделав некоторые замеры я решил, что для 50000 человек онлайн понадобится 50Gb оперативной памяти (опять таки статья не о том, почему столько).

Внезапно выяснилось, что игра делает очень много записей на диск. Значит это должен быть ssd и довольно мощный.

Должны быть какие-то hdd для бэкапов. Я из тех, кто «уже делает бэкапы».

Выбор процессора

Производитель процессора: Intel, AMD, МЦСТ.

AMD — я пытался пользоваться официальным сайтом AMD, но к сожалению там невозможно понять:

  1. Какие процессоры у них вообще бывают. Удалось понять изучая не официальный сайт (всякие другие сайты).
  2. Какие процессоры самые актуальные. На момент изучения — самые актуальные серверные процессоры были без поддержки DDR4. Дальше не стал изучать.

Решение отказаться от покупки AMD — очень неудобный сайт и устаревшие процессоры.
МЦСТ — это безусловно очень интересно, очень интересен сам факт существования процессоров российского производства. Которые даже возможно купить.

Невозможность купить от имени частного лица — сильно напрягло, но решаемый вопрос.
Невозможность изучить полные характеристики процессора, нет никаких тестов в открытом доступе. Пусть даже синтетических. Также отмечаю отсутствие поддержки DDR4 — но это имхо простительно (для AMD такое не простительно). Решение отказаться от покупки МЦСТ было после осознания невозможности использовать команду «apt-get upgrade».

Intel — остаётся только этот вариант. Есть поддержка DDR4 памяти в последней линейке процессоров. Есть специальный раздел сайта в котором они вываливают простыню характеристик процессора — я там могу найти все интересующие меня характеристики.

Покупка современного сервера Intel c NVMe P4800X - 3
Откручиваем радиаторы процессорные

Покупка современного сервера Intel c NVMe P4800X - 4
Откручиваем радиаторы процессорные

Покупка современного сервера Intel c NVMe P4800X - 5
Момент установки процессора E5-2630 v4

Покупка современного сервера Intel c NVMe P4800X - 6
Установленный процессор E5-2630 v4 крупным планом

Количество процессоров

В свободной продаже есть серверные варианты 1х, 2х, 4х, 8х.
Вариант купить материнскую плату с несколькими разъёмами и со временем установить туда полный комплект — я решил не рассматривать.
Почему? Докупать оборудование это есть очень много времени, нервов и денег. Это в отличии от домашнего компьютера.

Варианты 4х-8х процессорные оказались невероятно дорогими и даже в самой скромной комплектации были с неподъёмной для меня ценой.
Однопроцессорные и двупроцессорные системы оказались для разных ниш рынка.
Вот список процессоров к рассмотрению (те, что начинаются на «E5-4» — неинтересны, они для 4х процессорных систем):
ark.intel.com/products/series/91287/Intel-Xeon-Processor-E5-v4-Family

Рассмотрим варианты «E5-1» — это процессоры для однопроцессорных систем.
Сразу бросается в глаза высокая базовая частота и высокий бурст, но количество ядер очень малое количество.
Вот например «E5-1660 v4» 8 ядер — 1113$, а процессор для двухядерой системы, но с меньшей частотой «E5-2620 v4» 8 ядер — 422$.
Цена в 3 раза меньше в пользу двухпроцессорной системы!
Вспоминаю, что для задачи гораздо полезнее больше слабых ядер, чем мало сильных ядер.
На этом было принято решение покупать двухпроцессорную систему.

Покупка современного сервера Intel c NVMe P4800X - 7
Оба процессора E5-2630 v4 установлены в свои слоты

Покупка современного сервера Intel c NVMe P4800X - 8
Нанесение термопасты на процессор

Покупка современного сервера Intel c NVMe P4800X - 9
Намазывание термопасты на процессор

Модель процессора

Всё-равно остаётся довольно большой выбор процессоров, какой же выбор сделать.
Я обращаю внимание на приставки типа «L» или «W» или «A».
«L» — это низкое энергопотребление. Для меня это не интересно.
Если бы у меня была бы своя стойка в ЦОД — это имело бы значение, а поскольку у меня 1U и ни один ЦОД не хочет ставить счётчик к моему серверу — то это и важно.
«W» — повышенное энергопотребление, «A» — очень удачный экземпляр в линейке.
Довольно быстро можно заметить, что оставшиеся процессоры делятся на 2 группы.
Малое количество ядер+высокая частота, большое количество ядер+низкая частота.
Отбросим первую группу. Итого осталось (стоимость выше 1500$ за штуку я решил не рассматривать):
E5-2603, E5-2609, E5-2620, E5-2630, E5-2640, E5-2650, E5-2660.
Сразу отбросил слишком слабые процессоры: E5-2603, E5-2609, потому что денег точно хватит на 2шт E5-2620.
Остаётся 5 вариантов: E5-2620, E5-2630, E5-2640, E5-2650, E5-2660.
При детальном рассмотрении выяснилось, что их можно разбить на 2 группы по максимальной допустимой частоте памяти:
E5-2620, E5-2630, E5-2640 — 2133Mhz
E5-2650, E5-2660 — 2400Mhz

Рассмотрим 2 процессора из этой группы:
По частоте E5-2630 vs E5-2650 не отличаются. Разница только +2 ядра (и частота памяти чуть больше) и цена в 2 раза больше (или +600$)! Вторая группа отпадает из-за цены.

Теперь рассмотрим E5-2630 vs E5-2640:
Отличается только базовая частота +10%, а цена при этом в полтора раза больше. Убираю вариант E5-2640. Непонятная переплата для меня.

Остаётся только E5-2620 vs E5-2630:
Разница в цене 250$, и за них мы получаем +10% к частоте и +2 ядра.
Я готов за такую цену получить такую надбавку.

Итого выбор сделан: Intel Xeon Processor E5-2630 v4

Покупка современного сервера Intel c NVMe P4800X - 10
Установка радиатора на процессор

Покупка современного сервера Intel c NVMe P4800X - 11
Закручивание радиатора на процессоре

Покупка современного сервера Intel c NVMe P4800X - 12
Как процессоры видны в bios

Выбор объёма памяти

Напоминаю: на уровне идеи — я решил, что мне надо ~50Gb памяти.
В интернете я нашёл, что сбор сервера с памятью не кратной двойке — это вполне приемлемо.
Но всё-равно. Из соображений, что вся память должна работать одинаково — чтобы мне не надо было парится какому ядру насколько сложную задачу подавать — я решил, что количество памяти должно быть кратным двум.
Соответственно получается, что надо ставить 64Gb памяти.
Серверная часть игры написана таким образом — что на стороне сервера полностью просчитывается весь игровой процесс.
Таким образом читерство невозможно. Однако если вдруг памяти не хватит, чтобы полностью поместится в памяти всем игрокам онлайн — будет маленькая катастрофа, игра просто не запустится, а мне надо будет срочно делать какой-то хотфикс. Для возможности сбрасывать на диск промежуточные вычисления.
Ещё выяснилось, что если установлено много плашек памяти — то падает скорость общения процессора с памятью.
Поэтому если я сейчас куплю 64Gb, а потом докуплю ещё столько же — это будет гораздо хуже, чем если я сразу куплю 128Gb.
Разница в цене оказалась вполне посильная, возможно даже хватило бы на 256Gb, но лишней 1000$ не оказалось, весь резерв в итоге ушёл в ssd.

Покупка современного сервера Intel c NVMe P4800X - 13
Установка плашек памяти, внимательный суслик тут может заметить 2400 память. На самом деле эта память тут для фоток, нужная память приехала в самый последний момент.

Выбор количества плашек памяти

Я уже знал, что если поставить слишком много плашек памяти — то она будет работать существенно медленнее, чем если поставить меньше плашек памяти.
Так и что — лучший вариант это ставить одну плашку на 128Gb?
Оказывается у процессоров есть такое понятие как «каналы памяти». Самый лучший вариант — в каждом канале памяти по одной плашке памяти.
Это правило оказывается работает и для игровых/рабочих компьютеров. Удивительно, что всякие блогеры не доносят эту простую мысль до публики.
У моём случае получается 2 процессора, и у каждого процессора по 4 канала памяти. То есть для моего случая лучше всего поставить 8 плашек памяти.

Итого выбор: 8 х 16Gb

Покупка современного сервера Intel c NVMe P4800X - 14
Установка плашек памяти

Выбор модели памяти

Выбор оказался не велик. Во первых выбор вообще на данный момент — это 2133 и 2400. Но процессор тянет 2133. Есть ли вообще смысл брать 2400?
Оказывается не только смысла нет, но ещё и вредно (для моего случая). Оказывается доступ к памяти выполняется за 17 тактов у 2400 памяти, и за 15 тактов у 2133 памяти.
Но у меня процессор не может работать с 2400 памятью, он будет с ней всё-равно работать на частоте 2133. Однако, если бы процессор был E5-2650 v4 или выше — тогда наоборот выгоднее было бы ставить 2400 память.

Следующий фактор — это LRDIMM. Это технология позволяющая устанавливать больше памяти на сервер и при установке максимум планок — такая память работает быстрее, чем если бы без LRDIMM.
LRDIMM — это обычная серверная память + какие-то чипы дополнительные. Соответственно и цена +20% примерно.
Для меня соответственно LRDIMM не нужен, потому, что я не устанавливаю память в каждый слот.

Теперь производитель.
Среди серверной памяти оказывается производитель не имеет значения. Я вот не пойму как такое возможно — но факт.
Синтетические тесты одинаковые. Данные memtest примерно одинаковые.
Для Kingston памяти я нашёл варианта: 2 варианта насыщенности чипов, но и даже в этом случае функциональной разницы нет.

Покупка современного сервера Intel c NVMe P4800X - 15
Общий вид на установленные процессоры и память

Покупка современного сервера Intel c NVMe P4800X - 16
Как память видна в bios

Выбор дисковой подсистемы

Когда я первый раз составлял желаемую конфигурацию сервера — я хотел 1 ssd на 240gb и один hdd на 2tb.
По мере выяснения того, что мне надо — менялась и понимание чего мне надо на самом деле.
Мне пришлось узнать, что ssd диски бывают очень-очень разные. Что на серверах лучше использовать raid1.
Что появилось новая технология NVMe и у неё куча вариантов есть. Raid контроллеры бывают очень разные под разные задачи.

Давайте по порядку. Начиная с «а что надо для задачи?».
Надо 200Gb ssd диска, способного выдерживать очень много перезаписи. И 2Tb hdd для надёжных бэкапов.
«очень много перезаписи» — при очень примерных расчётах это 1-2Tb в день.
Надёжные бэкапы — это значит raid1 конфигурация. Аппаратный или программный raid — это вопрос величины трудозатрат, квалификации и ответственности при починке raid.
С точки зрения управления выбор получается такой:

  • Программный raid — нужна квалификация для починки raid, малейшая ошибка и данные утеряны. Но дешевле.
  • Аппаратный raid — просто заменить неисправный диск и всё. Но дорого.

Соответственно Тиском посоветовал самый дешёвый из современных аппаратных raid контроллеров, который позволял бы вот так просто чинить возможную поломку.
Это: ark.intel.com/ru/products/82030/Intel-Integrated-RAID-Module-RMS3CC040
Я обращаю внимание, что это raid контроллер для материнской платы Intel. То есть, если я бы выбрал платформу не Intel — то мне пришлось бы брать что-то другое и занимать аж целый pci слот.

Покупка современного сервера Intel c NVMe P4800X - 17
Понятия не имею что это. Или что-то связанное с шифрованием или что-то связанное с raid картой

Покупка современного сервера Intel c NVMe P4800X - 18
Подготовка raid карты к установке

Покупка современного сервера Intel c NVMe P4800X - 19
Установка raid карты

Покупка современного сервера Intel c NVMe P4800X - 20
Как raid контроллер виден в bios

Модель HDD

Я собирался покупать Western Digital по причине того, что у меня очень позитивный опыт использования таких hdd для домашних компьютеров.
Но Тиском заявили, что они смогут только в течении недели сделать замену (по гарантии или без). И предложили HGST — сказали, что смогут сделать замену в течении суток.
Стал в интернете искать что пишут про надёжность HGST — вроде нормальные отзывы, и согласился с таким выбором производителей дисков.
Далее объём. 2Tb надо, хорошо. А что у нас дороже? +1Tb на 70$ дороже, ну я же потом себе не прощу, что сэкономил на объёме, и если мне вдруг потом понадобится ещё места. Ну и далее по линейке аналогично по чуть чуть увеличивается объём и по чуть-чуть увеличивается цена.
Между 6Tb и 8Tb проходила моя граница возможности бюджета.

Итого выбор: 2шт 6Tb HGST HDD.

Покупка современного сервера Intel c NVMe P4800X - 21
2 HDD HGST 6Tb

Покупка современного сервера Intel c NVMe P4800X - 22
Установка какой-то части raid контроллера для корзины с HDD

Покупка современного сервера Intel c NVMe P4800X - 23
Подключение корзины с HDD к Raid карте RMS3CC040

Выбор типа SSD

Первый вариант: просто поставить 1шт ssd 200gb.
Далее я узнал, что чем больше ssd — тем больше у него ресурс перезаписи (при прочих равных). И, чтобы быстрее эту перезапись мог выполнять.
Например у меня будет 200gb данных и объём 240gb vs объём 1000gb. Так вот при прочих равных — ресурс перезаписи большого объёма будет в 4 раза больше.
Уж пусть специалисты меня простят, но для принятия решения — это совсем не очевидно.

Далее я понял, надо жи raid1 использовать и надо 2 таких ssd. Да, пусть даже делаются бэкапы хоть каждый час и не страшно будет потерять единственный ssd.
Но там жи ОСь, настройки всего. Актуальная БД. Прийдёться потратить срочно очень много времени и сил на восстановление.

Ssd выдерживающий 2tb в день перезаписи стоит очень дорого. А ещё надо запас какой-то по этому показателю иметь.

Далее я узнал про технологию NVMe. Это по простому: ssd диск подключённый не как обычно, а через pci слот.
Полоса данных больше и быстрее — это для моей задачи важно. Немедленно встал вопрос — а можно ли объединить их в raid?
Оказывается можно, но в продаже подобных raid контроллеров нет. Есть опытные образцы с неизвестной ценой.
Вобщем на момент покупки — это был неприемлемый вариант.

Ещё один фактор принятия решения: вот скажем я купил 2 дорогих ssd диска, объединил их в raid.
Но ресурс перезаписи у них одинаково быстро расходуется. И что я получу? Что они выйдут из строя одновременно?
Далее я выяснил, что чаще всего ssd выходят из строя не по причине выедания ресурса перезаписи, а из-за поломки контроллера в ssd.
Да, для этого raid будет актуален.

И вот выбор получается между pci-ssd (NVMe) и raid1-ssd. И с учётом приведенных выше размышлений для меня однозначно лучше pci-ssd. Ну просто тупо нет ещё 2000$ на резервный ssd, а если бы и были — то надо брать 2U систему и ещё за 400$ покупать корзину. Ну и или покупать в 10 раз хуже ssd.
Ну да, я готов доверится известному брэнду (в данном случае Intel), в надежде, что у них достаточно надёжный девайс, чтобы заявленный срок и ресурс отработал без сбоя.

Покупка современного сервера Intel c NVMe P4800X - 24
NVMe P4800X устанавливают в райзер

Выбор модели NVMe

В ssd меня интересует iops на запись, скорость выполнения отдельной операции, объём, ресурс перезаписи.

Пересмотрев характеристики тысяч ssd, я считаю, что в моём случае надо в первую очередь смотреть на заявленное количество перезаписей.
Почти все ssd можно разделить на группы по количеству перезаписей своего объёма в день, в течении 5 лет. Группы: 0.3, 1, 3, 10, 30, 100.
Почти всегда точное соответствие между ресурсом перезаписи и iops на запись.
Отдельно выделяются ssd, чтения с которых выполняется с невероятным количеством iops, но относительно слабенький на запись. Такие мне для этого сервера не интересны.

Производители: Intel, HGST, Huawei, HP, OCZ.
Всяких разнообразных ssd — невероятное количество. Честно говоря — я слабо представляю как вообще люди объективно выбирают ssd нужный.
Ssd всяких так много, они такие разные, разброс цен такой огромный.

С моей точки зрения лучше всех сгруппировала продукты Intel.
Они сумели разбить все ssd на группы так, что я смог сформировать мнение какой девайс мне нужен, а какой нет.
3 линейки NVMe pci-ssd: P3500, P3600, P3700. По 400Gb:
P3700 — 75000 iops — 1000$, 10 перезаписей в день
P3600 — 30000 iops — 650$, 3 перезаписи в день
P3500 — 23000 iops — 600$, 0.3 перезаписи в день

Собственно очевидно, что P3500 сразу отпадает. За 50$ десятикратное увеличение важного мне параметра.
Готов ли я за 350$ получить ~в полтора раза больше iops и в 3 раза больше ресурс перезаписи? Канешна, да.
И вот я собрался покупать P3700 на 400Gb, но за пару месяцев до покупки появляется в продаже P4800X.
Он стоит почти в 2 раза дороже P3700. Чуть меньше объёма. iops на запись 500000. Ресурс перезаписи 30.
То есть итого за 800$ я получаю в 8 раз больше iops и в 3 раза больше ресурс перезаписи.
Ну честно говоря по показателю iops — он просто прекрасен и не смотря на то, что достать дополнительные 800$ было не просто — я решил таки покупать такой ssd.
Бонусом идёт более быстрая запись каждой отдельной команды.

Выбор: www.intel.com/content/www/us/en/products/memory-storage/solid-state-drives/data-center-ssds/optane-dc-p4800x-series/p4800x-375gb-aic-20nm.html

Покупка современного сервера Intel c NVMe P4800X - 25
Райзер с NVMe P4800X устанавливают

Покупка современного сервера Intel c NVMe P4800X - 26
NVMe P4800X установлен

Покупка современного сервера Intel c NVMe P4800X - 27
Как NVMe виден в bios

ИМХО про ssd

Отдельно хочу отметить, что существует тип ssd SLC/MLC/TLC/QLC.
Смысл разницы понятен: В одну физическую ячейку записывается сразу несколько битов данных. Соответственно SLC — только одну. MLC — два. TLC — три. QLC — четыре.
Слева направа — от дорогого к дешёвому. За счёт скорости записи, чтения, ресурса перезаписи.
SLC — самые надёжные, самые быстрые и… чудовищно дорогие.
Например «Micron RealSSD P320h» волосатое чудовище объёмом 350Gb всего за 5000$. Заявленный iops на запись 350000. Неограниченный ресурс перезаписи.
MLC — бывают очень разные. Это ж на заводе делают кучу чипов памяти, что-то получилось удачным — засовывают в серверный вариант, что-то не очень — засовывают в домашний вариант ssd.
TLC — раньше делали откровенно быстро выходящие из строя, сейчас вроде как делают хорошие. И пытаются сделать представление, что TLC — это хорошо (чтобы старые раскупили глупые покупатели).
QLC — пытались делать, но видимо товарный вариант никому не получилось сделать.

Вот Intel недавно выпустила 3D-XPoint, это какой-то новый тип памяти. Как по мне — слоёный пирог из ssd чипов.

Выбор материнской платы

Для серверов в отличии от домашних компьютеров к выбору материнской платы подходят совсем по другому.
Для домашнего ПК размер собственно компьютера не важен, а для сервера — надо всё-всё засунуть в 1U (Это 4.3 сантиметра!).
Отсюда немедленно появляется другой подход к подбору материнских плат.
Продаются не материнские платы, а платформы. То есть материнская плата+корпус.
Тот, кто продаёт только материнские платы отдельно — немедленно проигрывает в конкурентной борьбе.

Платформы под данный процессор бывают от разных производителей.
С небольшими возможными модификациями, на сайтах можно указать ссылку только на конкретную модификацию (о модификация скажу чуть позже):
Производителей HP и Dell — я рассматривать не буду по причине чудовищной переплаты непонятно за что.
Supermicro:
www.supermicro.com.tw/products/system/1U/6018/SYS-6018R-WTRT.cfm
Asus:
www.asus.com/ru/Commercial-Servers-Workstations/RS500E8PS4-V2
Intel:
ark.intel.com/products/88274/Intel-Server-System-R1304WTTGSR
Отдельно Intel:
ark.intel.com/products/89006/Intel-Server-System-R1304WFTYS

Выбор из этих четырёх вариантов — это самый дешёвый вариант подходящий по всем требованиям от каждого из перечисленных производителей.
Цена у них примерно одинаковая получается.
Вариант R1304WFTYS отпадает сразу как только вижу 1100W мощность БП (почему это важно — об этом позже).

Про ASUS я подумал так, что они недавно вылезли на рынок серверных материнских плат, непонятно чего я буду рисковать.
Про supermicro — они собственно только серверными платформами и занимаются уже очень давно.
Но… raid контроллер. Или я беру Intel платформу или мне нужен другой контроллер и занимать слот PCI.
Поэтому я решил выбрать Intel платформу R1304WTTGSR. Но отмечаю, что она на 10% дороже аналогичной платформы от supermicro.

Модификация: с 10 gbit ethernet. Разница в цене 100$, а если мне вдруг понадобится жирный канал — не хотелось бы трогать сервер и устанавливать туда чего-то. А мне скорей всего понадобится жирный канал для момента старта игры.

Покупка современного сервера Intel c NVMe P4800X - 28
Платформа R1304WTTGSR запакованная в ящик

Покупка современного сервера Intel c NVMe P4800X - 29
Вот что мы видим при первом открытии новой платформы R1304WTTGSR

Покупка современного сервера Intel c NVMe P4800X - 30
Все комплектующие установлены, осталось закрыть крышку

Покупка современного сервера Intel c NVMe P4800X - 31
Вот такие сведения о платформе видны в bios

У кого покупать

Разумеется в первую очередь обратился к hvosting.ua, ведь я с ними уже более 15 лет сотрудничал получается.
Да и объём сделок превышает стоимость обсуждаемого сервера. Но размещение сервера в Киеве после известных событий 2014 года — неприемлемо из соображений безопасности оборудования.
hvosting.ua предложил мне размещение в ЦОД ttc teleport в Праге. Но обсуждение прекратилось на вопросе «я хочу бумажку имеющую юридическую силу о том, что я владелец сервера».
Ну уж простите, я уже не студентик всецело всем доверяющий.
Однако, если кому-то очень надо чего-то хостить в/на Украине — я рекомендую hvosting.ua был uptime ~1200 дней, потом плановый перенос сервера в соседний ЦОД и ещё uptime 700 дней.
Далее я пытался сделать «apt-get upgrade» без перезагрузки сервера :). Не вышло у debian, само не смогло обновится за 2000 дней — какую-то зависимость разрулить не смогло само.
Hvosting помогли разрулить.
Вобщем за 15 лет не было ни одного сбоя питания и канал падал на 15 минут каждые 4 месяца, 2 раза канал упал на несколько часов.
Особенно доставила сломанная oauth авторизация vk (у них же там vk заблокирован).

Обзор рынка

Стал вопрос о покупке в РФ и размещение тоже в РФ.
Почему покупка и размещение в РФ? А чтобы я был бы юридически защищён.
Был приятный момент, в самом начале поиска — выбор наилучшего поставщика, никаких рекомендаций, никаких предвзятостей — все равны.
Помню как начал с банального поиска «datacenter в россии» (потом я уже выяснил, что в РФ это называется ЦОД). И «купить сервер в россии».

Думаю будет правильно рассказывать в хронологическом порядке.
05.12.2016

Brigo

В начале был очень конструктивный разговор, с интересным предложением.
Я изучал возможность варианта raid1-NVMe, задал вопрос могут ли они на платформу intel поставить raid1-NVMe?
Внезапно получил на этот вопрос: грубый отказ от ответа (меня бы кстати устроил бы и просто ответ «нет», я просто реально был не в курсе этого дела).
Дальше не хотелось с ними общаться.

У них первых я увидел P4800X в продаже и поэтому решил у них поспрашивать детали покупки.
Разговор закончился на том, что без моего личного присутствия в Москве совершить сделку невозможно.

05.12.2016:

Unit Solution

У себя на сайте пишут, что 12 лет опыта. И прочие крутые показатели.
DNS whois показывает что домен был недавно зарегистрирован (за 3 месяца до рассмотрения).
У меня немедленно возникает к ним вопрос: «почему такие расхождения?».
Оказывается до этого была другая компания к которой остались отзывы в интернете типа «оплатил давно, нет ни сервера ни денег».
Можно было бы простить спецов, создавших новую компанию после работы с нехорошим директором.
Но к сожалению, то что они написали — не сходилось с историей DNS.
Решил, что риски неприемлемые, хотя цену они предложили интересную.

08.12.2016:

ItTelo

Граждане торгуют Б/У оборудованием. Тогда я ещё рассматривал такие варианты.
Со временем решил не рассматривать, потому что DDR4 Б/У нет.
sdd-hdd Б/У лучше не брать в любом случае. Ну и получается им нечего мне предложить.

08.12.2016

It paradigma

Это региональный поставщик оборудования. Впринципе хороший вариант — они же рядом.
Тогда ещё думал, что может есть приличный ЦОД в Краснодаре, но нет — если и есть приличные — то забиты под завязку.
Парадигма загнули цены вверх и не стали отвечать на мои глупые вопросы.

12.12.2016:

Тринити

Вот такая вот ссылка рабочая до сих пор: server.trinitygroup.ru/expert/25736
Насколько я помню — меня смутила цена.
Честно говоря, даже сейчас я смотрю на данную цену и не понимаю откуда такая большая цена.

12.12.2016

Тиском

Их порекомендовали ЦОД tech.ru типа они сами с ними сотрудничают.
Выслушал все мои хотелки — подобрал именно то, что соответствовало моим хотелкам того времени. По прекрасной цене.
Далее стал раскапывать DNS whois и отзывы в интернете.
DNS whois соответствовал описанному в переписке. При расследовании вскрылось много любопытных деталей.
Выяснилось как компания основывалась, кем, как менялась. Нашлось как меняли сайт и попросили отзвывов о нём где-то оставить.
Нашлись сотрудники компании. Нашлись позитивные и негативные отзывы.
Негативный отзыв — видимо для офисных серверов не стоит выбирать Тиском.
Всё это говорило о том, что компания старая и чем-то активно занимается постоянно.

Ещё я проверил сертификат Intel — он был хоть устаревшим, но настоящим. Проверил ещё какой-то случайный сертификат — тоже настоящий. На сём остался очень доволен.

Также имеется https. Тоже добавляет очков в сторону выбора их компании.

С самого начала выглядело как очень хороший вариант.

12.12.2016

stss

Первое общение — положительное. Но цена — просто нет слов какая большая.
До сих пор тут висит озверевший от жадности пример:
new.stss.ru/configurator/server_platform/server_intel/server_intel_rackmount/intel_r1304wt2gs/model=2654257.html
Выбираем 400Gb NVMe 75k iops. Это у нас соответствует Intel P3700. Получается, что все продают эту железку за 60000±, а они её толкают за 90000.
Ну ладно, может этот новый сайт с багом каким-то?.. Но нет, это не баг. Вот находим это же на основном сайте со старым дизайном:
stss.ru/products/servers/T-series/TX217.4-004LH.html?config=
Тут в соответствующем месте выбираем ту же железку и тоже получаем +90000 к стоимости.

50% бонусного навара это безусловно очень выгодно, но извините, мы подём другой дорогой.

12.12.2016

Desten

Вообще это был очень приличный вариант и DNS whois и отзывы — выглядели хорошо.
Но на вопрос «могут ли они без моего присутствия доставить сервер в ЦОД?» не ответили.
Так бы всеръёз выбирал между Тиском и Desten.
Был бы у них более терпеливый саппорт — возможно я бы сервер в итоге у них купил.

13.12.2016

Server-gid

Они мне просто прислали конфигурацию и цену — я ужаснулся и ничего не ответил.
Теперь я смотрю — цена адекватная, а почему раньше ужаснулся — потому что не понимал смысла слова «DWPD».
Судя по всему у меня с ними был телефонный разговор какой-то.

14.12.2016

Itelon

Граждане пытались продать мне Dell оборудование. Опять я вижу переплату за брэнд вообще непонятно за что.
Сотрудник объясняет мне, что переплата за оперативную помощь.
Но я чего-то не понимаю — сервер стоит в стойке ЦОД tier3. Никто его ногами бить не будет.
Кроме заводского брака — ничего там не может случится.
Плюс они заявили, что не могут как Тиском без моего присутствия установить сервер — непонятно было о чём дальше говорить.

10.01.2017

Server-city

Сейчас я у них на сайте вижу скуденький конфигуратор серверов. Тогда у них был только сайт-визитка.
И там было написано, что рассматривают варианты рассрочки, я и решил спросить на эту тему.
Сказали, что такие малые суммы для рассрочки не интересны.
Сервера у них DELL/HP — что имхо переплата не пойми за что.

Разрешите обосновать моё невольство этими компаниями.
www.regard.ru/catalog/?query=2620+v4
Мне кто-то объяснит чем отличается «Intel Xeon E5-2620 v4 OEM» и «Dell Xeon E5-2620 v4 (338-BJEU)»?
Я вот вижу только разницу в цене в 2 раза! Сами кристаллы процессоров делают Intel.
Готов поверить, что они припой ставят другой, ну ок +50$ готов понять.
Объясните мне глупому за что компания DELL в данном примере берёт +500$?

Видимо как-то удачно у них сработала напоминалка и они мне позвонили за неделю до окончательного согласования конфигурации с Тиском.
Попытались перехватить меня как клиента в последний момент. Но… цена оказалась выше чем у Тиском.

Ebay

А также бандеролька, ComputerUniverse, ogg и прочие площадки.
Вариант, что доставляют мне в глубинку, а я потом как-то доставляю в Москву — выглядит ужасно.
Мало того, что весь профит от отказа от посредников выедается стоимостью доставки.
Так ещё и времени невероятно много съест.
И главное — риски повредить появляются (ударить об что-то например).

Вариант с доставкой в Москву — нужно где-то помещение, где я смогу собрать сервер плюс личное присутствие.
Плюс трансторт между точкой выдачи, точкой сборки и ЦОД.
Плюс риск накосячить при сборке (еси ж там второстепенный проводок не так подключу — не будет возможности исправить).

Самоу побегать по Москве

Я обратил внимание, что цена колеблется по каждой железке в разных магазинах.
То есть можно побегать по Москве купить дёшего в раных магазинах.
Но опять таки риски кривой сборки. Личное присутствие, место для сборки и транспорт по городу.
И вопрос — а где профит от данного мероприятия?

Местный магазинчик

В глубинке разумеется есть магазины и они готовы за долгий срок доставить что угодно за приемлемую цену.
Однако как выяснилось, у них как-то мозги подругому работают.
Я им объясняю, что вот ssd дорогой мне нужен вот такой вот.
А они — у нас его нет, вот берите другой с похожими характеристиками.
Из «похожих» рассматривается только объём.

Но опять таки — привезли, надо собрать (есть риск, что будет криво что-то), далее доставка, личное присутствие и т.д.

RussianHardware

Очень интересный вариант. Человек собирает компьютеры на заказ.
Говорит прямо: берём 4% комисии. Все дополнительные расходы — за ваш счёт.
Эта позиция мне очень понравилась, но никаких гарантий, что он не исчезнет после получения денег — нет.
Я вот не понимаю. Что ему мешало сказать, мол вот есть вариант с договором, всё юрилически правильно оформлено. Этот вариант увеличит стоимость вот на столько.
Так-то был бы очень интересный вариант. Вот основная цена, вот мои 4% наценки, вот дополнительные траты связанные с доставкой, вот траты на юридические вопросы.

team.ru

С этими ребятами я ни разу не общался, но провёл у них на сайте очень много времени.
Должен признать — у них самый удобный конфигуратор из всех сайтов.
Удобный не с точки зрения красивости, а с точки зрения того «как во всех этих характеристиках разобраться?».
Не общался с ними потому, что у них нацека на всё 15% по стравнению со всеми остальными.
У них много сертификатов всяких — для себя сделал вывод, что муниципалитетам окрестностей Московской области или Москвы — это лучший поставщик оборудования.
А для меня нет — в первую очередь из-за наценки.

Их конфигуратор настолько прекрасный, что заслуживате отдельного внимания.
Рассмотрим этот пример: www.team.ru/server/server_intel_builder.php?model=R1000WT
Возможно им его стоит продавать как сервис другим компаниям? Типа сгружают свои цены и чего есть, а пользователи уже сами компонуют чего им надо.
Ну… если бы у Тиском был такой конфигуратор — это было бы супер прекрасно.

На первый взгляд — плохой из-за дизайна. Но у нас тут не салон красоты.

Ещё отмечу, что не смотря на кажущюся простоту в нём скрыто огромное количество мелкого и полезного функционала.
Платформа. Именно благодаря этому сайту до меня наконец дошло как выбираются материнские платы для серверов (в виде платформы и их модификаций).
Также тут сразу видно все модификации. Видно, что для ssd и для hdd. Видно что 10GbE и 1GbE.
Тут сразу наглядно становится ясно, что если я хочу поставить себе hdd — то 2 модификации мне совсем не подходят.
А разница в цене на тему 10GbE и 1GbE — это 1GbE+10% = 10GbE. И всё, больше не надо размышлять и сравнивать, задавать глупые вопросы постовщикам. Глядя на это — сразу всё ясно.

Далее блок с процессорами — наглядно видно какие процессоры можно воткнуть в данную платформу.
Процессор с кучей характеристик — на этапе «я ничего не понимаю, но хочу понять» — вываливать по столбикам все отличающиеся характеристики — очень полезно и очень разумно.
Этот раздел мне очень помог понять какие характеристики процессора важны для принятия решения, а какие нет.

Далее блок с памятью и он внезапно тоже сильно помог разобраться на какие характеристики надо смотреть для принятия решения.
Тут очень наглядно видно, что надо учитывать частоту памяти и RDIMM/LRDIMM. Об этом я писал раньше.

Далее я понял как собрать raid1-nvme.
Посмотрим сюда: www.team.ru/server/server_intel_builder.php?model=R2000WT
Там можно выбрать корзину для ssd-nvme.
После этого можно выбрать nvme-ssd в эту корзину.
И далее подойдёт любой современный raid контроллер из расчёта 4x pci линий на каждый nvme девайс.
Вот так просто о самом главном — я наверное такой глупый потратил более 20 часов чтобы понять 3 строчки выше.

Да, в современный 1U Intel аппаратный raid1-nvme собрать пока невозможно. По причине отсутствия соответствующих корзин.

Regard

Я здесь провёл много времени подбирая конфигурации и сравнивая цены.
Цены тут хорошие, но постоянно выскакивает «нет в наличии» — что довольно сильно мешает планировать.
С магазином не связывался. Потому что собственно о чём говорить?
Вот товар, вот цена — плати и забирай.
Поскольку надо забирать лично — вариант непремлемый.

AND systems

Пытался собрать сервер, но у них постоянно чего-то не было в наличии. А то, что было — не по самой интересной цене.

Заключение

Из всех перечисленных вариантов очевидно, что лучше всего для меня подходит Тиском.
Перед покупкой согласовали окончательную конфигурацию.
Заключили договор удалённо, потом после покупки — в бумажном виде.
На 4й день после оплаты, как и планировалось — доставили сервер в tech.ru и я вечером того же для уже начал его настраивать.
Через bios проверил, что всё оборудование есть в полном объёме и в соответствии с договорённостью.

Всё прошло безупречно, даже придраться не к чему.

На представленных выше фото мелькает рука. На этой руке синий нарукавник с проводом. Это не для прикола, а заземление. Это безусловный плюс к квалификации сотрудников Тиском.

Центры Обработки Данных

Я в истории у себя нашёл переписку только с 4мя ЦОД, но я точно помню — их было гораздо больше.
Точно помню — были разные телефонные звонки. Точно помню — были обзоры сайтов.

Довольно быстро можно выяснить, что существуют разные уровни ЦОД. tier1, tier2, tier3, tier4. Или вообще без этой марки.
tier4 в РФ есть только один. Оффсайт сейчас почему-то найти не могу, но я помню я его находил и видел, что со своим 1U пролезть туда невозможно.
Да и наверное цена была бы слишком высокая для меня.

Покупка современного сервера Intel c NVMe P4800X - 32
Рабочий инвентарь в ЦОД tech.ru

tier3 очень много вариантов в РФ: uptimeinstitute.com/TierCertification/allCertifications.php?page=1&ipp=All&clientId=&countryName=Russia&tierLevel=
Я взял этот список и стал искать соответствие. Я возьму сейчас этот список и пойду сверху вниз:

DataSpace

Возможность арендовать только стойки. Написали бы тут список посредников, через кого можно 1U засунуть к ним.

Сбербанк ЦОД

Явно просто для нужд самого банка.

КРОК

Не для перепродажи.

DataPro

Только стойками торгуют. Посредников нет.

IT park

Эти уже предлагаю что-то для 1U оборудования. Помню, что смотрел это место раньше, но цены не понравились и потому не стал даже писать им.
Они на сайте ничего не написали про стоимость каналов связи — а и без каналов связи уже неприемлемая цена получается.
Ещё меня смутило отсутствие фото.
Ещё меня сейчас смущает отсутствие https. Я понимаю, что они так построили сайт, что им теперь нужен wild-ssl, который существенно дороже обычного ssl.
Но нет денег на сертификат или не хватило ума правильно организовать сайт — тоже не в плюс им идёт.

ВТБ

Этот банк тоже сам себе ЦОД построил.

Data Line

Как-то я упустил такой ЦОД. Сейчас, если бы искал — я бы полюбому с ними связался бы.
По ценам ничего не известно — всё через «отправить заявку».
Возможно это меня и запутало пол года назад.
Отсутствие https удивляет — потратили же несколько миллионов долларов на строительство ЦОД и не нашлось 10$ на покупку сертификата.
Внимание вопрос: на чём ещё они сэкономили, или чего ещё упустили из виду?

LLC “Inforesource St-Petersburg”

Это что-то государственное.

Mobile TeleSystems PJSC

Это ЦОД оператора мобильной связи.

Avantage

Только стойками торгуют. Посредников нет.

Акадо — интернет-провайдер построил себе ЦОД.

Stack telecom

При внимательном рассмотрении — видно, что tier3 сертификат у них скоро экспарится.
Это значит — что они дизайн ЦОД сделали в соответствии с tier3, но почему-то до сих пор не реализовали его.
Https нету, фоток нету.
Цены очень хорошие, почему я им не написал — затрудняюсь ответить.

Итого tier3

Итого из ЦОД, офоциально соответствующих tier3 — для меня не был никто приемлемым. Что делать дальше?
Я попытался поискать в разном виде в интернете сайты разных ЦОД:

14.02.2017

Store Data

Видимо они первые мне попались в рекламе или при поиске.
Точно помню, что меня сильно напрягло — что не было указано адреса каждого ЦОД, сейчас я его уже вижу.
Ещё помню ужасную вёрстку на сайте. Даже сейчас debian+firefox смотрится ужасно.
При обсуждении цен у меня были «глупые» вопросы, типа я не понимаю за что платить 30000р/мес.
На один из таких вопросов они решили мне не отвечать.
Ну что ж поделаешь — помоему и правда я не их клиент. Они там специализируются на платёжных системах.

Случайный поиск не помог

Наверняка я нашёл более, чем один ЦОД, но чем-то они мне не понравились. Я помню, что стал изучать «а что есть правильный ЦОД?».
Смотреть всякие видео в интернете о ЦОД и сложилось представление о том, что я должен увидеть на фотках.

Я пытался попасть в Ростелеком ЦОД местный. Потому что и провайдер мой — Ростелеком.
И организация приличная. Провёл оптоволокно за 3000$ — очень хорошее качество связи.
Оффтоп: У Ростелеком ужаснейший родной DNS — из-за этого наверняка у большинства бользователей ужасное мнение о данном провайдере.
Но они не предлагают услуг по размещению своего оборудования, совсем, нигде.
Тогда я просто позвонил им в поддержку центральную и спросил — «а что вы мне порекомендуете?».
Этот сотрудник мне порекомендовал «hc.ru» и «tech.ru».

16.12.2016

Tech ru

Терпеливо отвечали на все мои глупые вопросы (это я сейчас вижу и понимаю, что вопросы глупые).
Они предложили связку поставщик+ЦОД, кроме них ещё только ЦОД в прибалтике подобное предложили.
У них современный сайт, как вы видели в анализе выше — далеко не у всех такое есть.
Фото оборудования — соответствует представлению о том, какой должен быть правильный ЦОД (собственно все кто выложил фото-видео соответствуют, но выложили далеко не все).
Есть необычный канал «burstable rate».
Цены с моей точки зрения чуть ниже чем у всех.
Ну и следади спец-предложение в виде скидки по блоке питания (БП).

Надо немного пояснить, почему все ЦОД озверели с этим показателем максимальной потребляемой мощностью БП.
Мне как потребителю вообще непонятно почему при оплате смотрят на циферку-надпись на БП.
Логично было бы смотреть на потребляемую мощность или в конце концов — максимально возможную потребляемую мощность.
В моём случае если собрать все железки до кучи — получится 420W максимально возможное потребление и реальное потребление сейчас наверное олоко 100W.
А на моём БП нарисовано 750W — значит я должен платить за это 1900рублей в месяц за превышение мощности 400W.
И они не одни такие — оказалось все поголовно такие странные. Почему?
Оказалось, что для случая выключения серверов — а потом их одновременного включения потребляется какраз максимально-возможный ток.
Ну вот и получится, что в критической ситуации — оператор или просто нажмёт «включить всё». Или если таких как я будет много — прийдётся включать каждый сервер по очереди.
Соответственно дольше простоя у некоторых клиентов.
Больше причин я не нашёл — но и эта причина вполне объясняет странность такую.

Следующая странность — это подключение к портам 100мбит/1гбит/10гбит.
Даже если через этот порт будет гонятся очень мало данных — извините, это стоит очень дорого.
И это никак не очевидно человеку, который не в курсе этих ньюансов.

Покупка современного сервера Intel c NVMe P4800X - 33
Вход к рабочей зоне ЦОД tech.ru

16.12.2016

Хостинг Центр

Они мне в поддержке написали «Напишите нам, пожалуйста, когда сервер будет готов к установке в ДЦ».
Ну и вот как мне это воспринимать? Как вежливый отказ от сотрудничества?
Через 2 месяца я у них спросил есть ли у них ограничение по питанию?
Внезапно оказалось что есть.
Ну и какого лешего они мне сказали сначала купить сервер, а потом выяснять что надо было купить?
На сём я решил, что общаться с такой поддержкой — неприемлемо.

18.01.2016

Миран

Спрашивал у них есть ли возможность заказа оборудования.
Они предложили только сбор dedicated сервера на заказ.

Итого

Выбор как видно был сделан в пользу tech.ru.
В первую очередь потому, что они сотрудничают тесно с Tiscom.
Во вторую очередь из-за хорошего саппорта.
Во третью очередь из-за скидки по питанию.

То, что есть burstable rate, хорошо оформленный сайт, https, фото и прочие мелочи — тоже было в плюс.

За месяц использования было зафиксировано 2 downtime канала примерно 15 минут и 3 минуты соответственно.
При подключении перепутали маршрутизацию ip адресов (7 ip адресов на 10мбит канал <-> 1 ip адрес на 100мбит канал).
Остальное всё прекрасно.

Ещё я могу придратся к тому, что нету служебного API типа выяснять сколько времени у UPS осталось до выключения.
Нечто подобное есть в hetzner.

Покупка современного сервера Intel c NVMe P4800X - 34
Пример стойки в tech.ru с работающим оборудованием клиентов

Они когда узнали, что я собираюсь статью о них писать попросили, чтобы я тут оставил этот телефон: +79055628383

Проблемы с настройкой данного сервера

Я вынес отдельно проблемы, которые у меня возникли по ходу настройки данного сервера.
Не стандартные проблемы с моей точки зрения. То есть решение которых не легко нагуглить.

Настройка NVMe — как основной диск системы

Первая проблема — как сделать NVMe диск загрузочным.

Я начал с простого — попытался в лоб установить как есть. Не получилось.
Ну то есть Debian установился и сделал NVMe загрузочным, но BIOS не видел данного варианта загрузки, ну вот никак.
Трогать в BIOS того, чего я не понимаю — не хотелось, а из того что я понимал — перепробовал всё.
Из вариантов загрузки нашёл UEFI вариант. Но и он не хотел запускать boot-NVMe через этот вариант.
Покопавшись в UEFI — я убедился, что из командной строки реально получить информацию про установленный NVMe. А значит и реально как-то загрузится с него.
Собственно стало очевидно, что надо что-то прописать в этот UEFI.

Покупка современного сервера Intel c NVMe P4800X - 35
Фото с места раскопок UEFI. Mass Storage Controller — наш клиент.

Копался-копался в консольке этого UEFI — понял, что какой-то это невероятно сложный путь, должен быть проще.
Забрёл на сайт Debian и там собственно был ответ на поверхности. Надо всего-то было:

  1. Выбрать экспертный режим установки Debian.
  2. При выборе способа загрузки (который доступен только в экспертном режиме) UEFI/GRUB -> Выбрать UEFI.
  3. Разметить специальным образом маленький кусок NVMe диска, для UEFI загрузчика.

Вообще честно говоря это ИМХО сильный косяк со стороны Debian — ну очевидно же, что Debian устанавливается на NVMe девайс — правильно было бы в таком случае предлагать в не экспертном режиме способ загрузки и по умолчанию через UEFI.

Debian установщик разметил и установил UEFI загрузчик на кусочек NVMe диска (аж целых 500мб ему понадобилось для этого, ну то ладно).
Через ту самую консольку UEFI самостоятельно внёс настройку и выбор загрузки с данного раздела NVMe.
Мне осталось в BIOS выбрать этот новый способ загрузки как основной.

Покупка современного сервера Intel c NVMe P4800X - 36
Вот такую разметку надо делать для загрузочного NVMe девайса.

Покупка современного сервера Intel c NVMe P4800X - 37
Вот это ключевой момент при установке Debian на NVMe, именно это должно быть в не экспертном режиме установке для случая установки на NVMe. И по умолчанию «да».

Настройка Zabbix-iops

Вторая внезапная проблема это подсчёт iops.
Я наивно полагал, что zabbix умеет такое считать и оно мне будет рисовать сколько iops мой NVMe выдаёт.
Оказалось, что не умеет. Как по мне — это невероятно странно.

Выяснилось, что есть стороннее дополнение для zabbix, которое может собирать такие данные.
Но это стороннее дополнение не умеет работать с NVMe девайсами. Пришлось допилить немного, благо это всё opensource.
И спобос сбора данных не совместим с последней версией zabbix, да и вообще содержал ошибку в сборе данных. Тоже подправил.
Pull request тут: github.com/lesovsky/zabbix-extensions/pull/34

Была задачка — распаковать архив с огромным количеством мелких файлов.
Данный NVMe такой быстрый, что справился с архивом в 100гигов на 10000 файлов за несколько секунд. Тем не менее zabbix зафиксировал за эту минуту:
Максимальное значение которое я увидел — это 5000iops на запись при утилизации в 5%.
То есть очень примерно данный девайс точно выдаст 100000iops на запись.

Вообще такая мощность покупалась для БД и на что способна данная железка будет известно только после боевого запуска онлайн игры, которая делается.
А пока вот такой синтетический простой тест.

Ещё хочу отметить, что HDD способны выдавать 800iops на запись при утилизации 100% в течении 5 минут и далее 500iops на запись — 15 минут (тоже при утилизации 100%).

Ещё был забавный момент когда я стянул 90гиговый архив по ошибке на NVMe девайс, а надо было его стянуть, распаковать и положить на HDD.
Ну думаю сейчас распакую его на HDD, замеряю iops на чтение, понятно что не много будет, но всё-же.
И внезапно я вижу iops на чтение равное нулю. Ну думаю точно в скриптах zabbix какая-то ошибка. Перепроверил всё тщательно, продебажил как следует — убедился что нет ошибки.
Как тогда это возможно? А фокус в том, что это была первая тяжёлая операция на данном сервере и Debian смотрит — 90гиговый файл и 120гигов свободной оперативы.
Ну и целиком засунул в оперативную память данный файл. Потом при обращении к этому файлу — прочитал его с оперативной памяти, а не с NVMe.

Заключение

Есть такая поговорка: «Как корабль назовёте, так на нём и поплывёте».
Сервер получил имя «nova». Краткая форма записи на английском языке от «Гиперновая звезда».
Гиперновая звезда — это очень яркая вспышка длительностью несколько сотен лет. Миг по меркам космоса.
Вот и сервер должен прекрасно справится с запуском онлайн игры за «короткий» промежуток времени.

Пройдёт ещё не менее года, прежде чем будет всё дооформлено, контент доделан, тщательно всё протестировано, публикационные материалы готовы, юридические вопросы решены и ещё тьма вопросов — и тогда прийдёт время вспыхнуть этой гиперновой. Это ж такая редкость сегодня — публикация доделанной игры.
А пока — я готов провести синтетические тесты NVMe p4800x. Например, для mysql написать какую-то задачу в 20 потоков, чтобы очень яростно мучало данный ssd. И таки выяснить реальный предел возможностей данного девайса.
С удовольствием выполню ваши нагрузочные скрипты на данном сервере и опубликую результаты тестов.

Также готов рассмотреть варианты с инвистициями в саму игру, от 100000$ и должным образом всё оформленым и тщательным образом всё оговоренным.

Автор: Александр

Источник

Поделиться

* - обязательные к заполнению поля