Как строился дата-центр в сейсмоопасном регионе (этот разрушится последним в городе, если что)

в 7:00, , рубрики: Блог компании КРОК, дата-центр, землетрясение, сейсмоустойчивость, цод

Обычная защита в сейсмоопасном регионе — такая конструкция, чтобы здание качалось, но не поубивало тех, кто встал в капитальные проёмы. Заказчик (в стране с частыми землетрясениями) рассматривал дата-центр как средство резерва на случай больших проблем при стихийных бедствиях, поэтому хотел не только спасти персонал, но и сервера и всё остальное. Потому что приостанавливать некоторые сервисы типа международного банкинга или контроля железных дорог — беда национального масштаба.

Поэтому мы решили поставить дата-центр на «пружины», изолировав его от земли.

Как строился дата-центр в сейсмоопасном регионе (этот разрушится последним в городе, если что) - 1

Точнее, модель выглядит так: есть большой бассейн, в него налита вода, а там, как уточка, плавает дата-центр. Только вместо воды будут специальные сейсмоизолирующие опоры, которые и поведут себя подобно маловязкой жидкости. Вот один из таких элементов:

Как строился дата-центр в сейсмоопасном регионе (этот разрушится последним в городе, если что) - 2

Если собрать из них кластер, то получится как раз почти жидкость.

Такой тип сейсмозащиты с подвижными опорами давно известен, но массово его не используют — дорого. В стране, где мы работали, ЦОДов-то строят не много, а в применении такой технологии, тем более для дата-центра, опыта практически нет. Поэтому нам надо было как-то протестировать всё это до начала работ. Настоящего землетрясения надо ждать довольно долго, и потому — дело за проверкой отдельных частей сооружения.

Итак, предполагается, что подвижная опора сильно уменьшает нагрузки, что предупреждает деформацию конструкций здания:

Как строился дата-центр в сейсмоопасном регионе (этот разрушится последним в городе, если что) - 3

Важный вопрос был — насколько всё это нежно сработает. Потому что внутри — ИТ-оборудование, и оно стоит в несколько раз больше, чем само здание с территорией, а информация на нём вертится ещё на порядки дороже оборудования. Такую информацию сохранять очень критично.

Как строился дата-центр в сейсмоопасном регионе (этот разрушится последним в городе, если что) - 4
Доставка и монтаж ДДИБП Hitec

В итоге пришли к тому, что, благодаря использованию сейсмоизоляторов, мы выполняем требования заказчика и уменьшаем нагрузки на здание при землетрясении в 10 раз. Это нежнее, чем вы кладёте ребёнка в люльку. И даже нежнее, чем вы вынимаете процессор за тысячу долларов из материнской платы.

Сейсмоизоляторы тестировались на вибростендах. По результатам этих испытаний и на основании архитектурного и строительного дизайна известная инженерная компания ARUP сделала независимую оценку наших документов. Они подтвердили, что заявленные требования к сейсмоустойчивости и продолжению функционирования объекта выполняются.

Как строился дата-центр в сейсмоопасном регионе (этот разрушится последним в городе, если что) - 5

Сам тест: изолятор устанавливают на вибростол, нагружают, как на реальном здании, и смотрят, выдержит ли он амплитуду и усилия сдвига, которые предполагаются по MCE (Maximum Considered Earthquake).

MCE и проект

При расчёте реакции этого здания на сейсмические воздействия использовался специфический показатель MCE, потому что он лучше характеризует реальные нагрузки. Согласно этому параметру, ЦОД должен выдержать самое крупное землетрясение, которое в принципе может произойти в данной точке за ближайшие 2500 лет. Именно с такими расчётами мы и строили здание — и да, если город (в 30 километрах от ЦОДа) разрушится полностью, наш ЦОД продолжит работать (хотя, скорее всего, придётся подвозить топливо — электрический кабель может перебить). Говоря языком стандартов, это “Operational” Level при Maximum considered Earthquake по FEMA 356.

Связь сделана сейчас по нескольким независимым лучам — в стране есть практика быстрого (час-два) перекидывания трассы после землетрясений, плюс для критичных вещей есть возможность поставить on-Air-решения, включая спутниковые.

Ещё одна особенность проекта — мы не старались облегчить дата-центр. С одной стороны, мы были зажаты противопожарными нормами данной локали, а с другой, конечно же, старались использовать минимум материалов для оптимизации расходов. И именно поэтому никаких космических сплавов в дата-центре нет, просто снизу стоят те самые виброопоры.

Вот, смотрите: бетонная плита — это та самая штука, которая «плавает» в «бассейне» на виброопорах:

Как строился дата-центр в сейсмоопасном регионе (этот разрушится последним в городе, если что) - 6

А вот единичная опора:

Как строился дата-центр в сейсмоопасном регионе (этот разрушится последним в городе, если что) - 7

Строили по проекту, естественно, не мы лично. На нас был HLD-проект, контроль над LLD-проектом (это реализация конкретных узлов, например), авторский надзор, приёмка и испытания. Строили местные строители. Мы, кстати, помогли заказчику значительно оптимизировать расходы: углубили BIM-модель до состояния между LoD-300 и LoD-400 и просто показывали её строителям каждый раз на переговорах. Они очень быстро поняли, что перезакладывают бюджет и объёмы. Недовольства было много, но мы отстояли ключевые моменты.

Практика в России

Мы можем построить такой дата-центр и в России. Вот регионы, где это наиболее целесообразно:

Как строился дата-центр в сейсмоопасном регионе (этот разрушится последним в городе, если что) - 8

Итог

  • 16 мегаватт потребления.
  • Чуть больше 15 тысяч квадратных метров помещений.
  • 8 машзалов, итого 2112 стоек, до 30 кВт на стойку.
  • Tier III certified by Uptime Institute (пока проект, идёт сертификация как объекта).
  • Два независимых луча питания городской сети, 2N-питание.
  • N+1 охлаждение (гликоль 20%).
  • 24-часовой запас топлива, можно грузить больше, обычная загрузка чуть меньше 72 часов, запас дизельного топлива и 4 внешних бака по 60 кубов.
  • Сейсмическая изоляция для ЦОДа и инфраструктуры, одноэтажный ЦОД с двухэтажным АБК.
  • Чистая крыша — никаких жидкостей над ИТ-оборудованием, над машзалом кровля, под ней ещё слой гидроизоляции.
  • Защита от затопления.
  • Выделенная зона для подземных топливных баков на безопасном удалении.
  • Усиленная физическая безопасность — досмотровые зоны для автомобилей и людей, высокий забор, видеонаблюдение и круглосуточная охрана.

Отдельно отмечу систему охлаждения с очень высокой эффективностью. Это наша собственная разработка, созданная четыре года назад. Среднегодовое значение PUE составляет 1,25–1,3 на высокоэффективных чиллерах, пиковое — менее 1,5. Подобных результатов удалось добиться путём глубокой оптимизации классической системы охлаждения схемы «чиллер-фанкойл». Бесперебойное питание ЦОДа было построено на оборудовании Hitec, их мощные машины хорошо зарекомендовали себя на многих наших проектах. В результате в этом сейсмоустойчивом ЦОДе будут инсталлированы 24 машины — по 1670 кВА каждая.

Моя почта PVashkevitch@croc.ru

Автор: Pvashkevich

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js