Как мы строили отказоусточивый дата-центр уровня TIER-III

в 6:29, , рубрики: TIER-III, Блог компании КРОК, дата-центр, ДГУ, ит-инфраструктура, Компрессор, КРОК, охлаждение, строительство, цод, метки: , , , , , , ,

В 2009 году здесь был уже давно не использующийся склад уникальных компрессоров (в частности для системы «Энергия-Буран»), куда когда-то заезжал для разгрузки поезд.

Как мы строили отказоусточивый дата центр уровня TIER III

Здание нам сразу понравилось. Мы выкупили его для строительства собственного ЦОД повышенной ответственности. Через несколько лет на месте цеха появился современный ЦОД, который стал третьим в России, сертифицированным по уровню Tier III Uptime Institute как объект.

Недавно я нашел довольно много фотографий со строительства. Думаю, вам будет интересно посмотреть, как всё это выглядит в процессе, обычно такие штуки не показывают.

Как мы строили отказоусточивый дата центр уровня TIER III
А это 2012 год, машинный зал только начинает заполняться

Осторожно, под катом много фотографий

Вводная

Это был уже третий наш собственный ЦОД и далеко не первый и даже не двадцатый из тех, что мы строили или помогали строить по всей стране для различных заказчиков. Соответственно, к этому моменту мы уже имели отличную команду инженеров и проверенных поставщиков.

Базовые параметры ЦОД «Компрессор»

  • Отказоустойчивость: Tier III, подтвержденная Uptime Institute,
  • Охлаждение: N+1, в среднем 6 кВт/стойку (есть и 30 кВт стойки, они ставятся рядом с менее мощными в машзале),
  • Энергоснабжение: 2N, ИБП – 15 минут, ДГУ – 24 часа без дозаправки,
  • Вместимость – 800 стоек,
  • Помещения склада и персонала заказчика,
  • Охраняемая территория,
  • Здание в собственности,
  • Соединен оптоволоконным кольцом с сетью дата-центров КРОК,
  • 6000 кВт общей холодильной мощности, из них 1500 кВт резерв,
  • Сквозное резервирование системы холодоснабжения N+1 (3+1),
  • Среднегодовой расчётный PUE не хуже 1.45,
  • Запас холода 15 минут при отключении электроснабжения,
  • Температурный диапазон -36…+37 градусов (это абсолютный минимум и максимум за последние 10 лет в Москве).

Строительство «Компрессора» мы начали в 2009 году. Хотелось сделать всё по уму, поскольку специфика некоторых наших клиентов такова, что ЦОДы должны работать несмотря ни на что. Был выбран уровень TIER-III как наиболее соответствующий задачам (такие ЦОДы продолжают стабильно работать без изменений при выходе любого узла системы из строя и имеют показатель доступности 99,98%). Мы прошли сертификацию Uptime Institute по проекту и по объекту – до нас в России было всего два ЦОДа такого уровня.

Итак, на начало работ у нас было здание. В целом оно было в хорошем состоянии. Мы добавили перекрытия между первым и вторым этажом, плюс нарастили третий этаж под бытовые нужды (например, там сейчас столовая).

Сначала мы вывезли всё что нашли в цехе:
Как мы строили отказоусточивый дата центр уровня TIER III

Вот так место выглядело в 2010 году, вид сверху. Это монтаж перекрытий второго этажа:
Как мы строили отказоусточивый дата центр уровня TIER III

Тот же момент, вид изнутри здания. Здесь идет монтаж несущих опор второго этажа:
Как мы строили отказоусточивый дата центр уровня TIER III

2011 год, монтаж перекрытий второго этажа завершен, устанавливаем внутренние перегородки:
Как мы строили отказоусточивый дата центр уровня TIER III

Вот здесь видно высоту фальшпола, это январь 2011-го:
Как мы строили отказоусточивый дата центр уровня TIER III

В том же январе 2011 технологические помещения уже были готовы к отделке:
Как мы строили отказоусточивый дата центр уровня TIER III

А в феврале и марте мы монтировали двойной пол в помещении источников бесперебойного питания:
Как мы строили отказоусточивый дата центр уровня TIER III

Двойной пол в помещении аккумуляторных батарей:
Как мы строили отказоусточивый дата центр уровня TIER III

Здесь видна огнезащита несущих металлических конструкций, тоже февраль:
Как мы строили отказоусточивый дата центр уровня TIER III

Фото марта 2011 года, строительство трассы между распределительной подстанцией дизель-генераторных установок и зданием ЦОДа:
Как мы строили отказоусточивый дата центр уровня TIER III

А здесь хорошо видно проёмы, куда подаётся воздух под фальшпол. Высота около 1,2 метра, это из-за большой мощности.
Как мы строили отказоусточивый дата центр уровня TIER III

Апрель 2011-го, строим трубопроводы. На фото — трубопроводы подачи охлаждённой воды к фанкойлам. Основные трубы имеют диаметр 400 миллиметров, а задвижки были по тонне, что создало ряд трудностей в монтаже.
Как мы строили отказоусточивый дата центр уровня TIER III

Завершение контура охлаждения машинных залов
Как мы строили отказоусточивый дата центр уровня TIER III

Монтаж трубопроводов для обвязки чиллеров и градирен, май 2011:
Как мы строили отказоусточивый дата центр уровня TIER III

Июнь 2011-го, монтируем систему охлаждения, это монтаж чиллеров и драйкулеров на специальной конструкции сверху здания.
Как мы строили отказоусточивый дата центр уровня TIER III

Как мы строили отказоусточивый дата центр уровня TIER III

Их применение было связано с тем, что нужно было вписаться в имеющиеся габариты здания, поэтому чиллеры поставили на крышу.
Как мы строили отказоусточивый дата центр уровня TIER III

Как мы строили отказоусточивый дата центр уровня TIER III

А вот монтаж насосной станции в июле 2011 уже был завершен:
Как мы строили отказоусточивый дата центр уровня TIER III

Шинопроводы тоже появились в июле 2011-го:
Как мы строили отказоусточивый дата центр уровня TIER III

Как мы строили отказоусточивый дата центр уровня TIER III

А вот здесь распредщиты:
Как мы строили отказоусточивый дата центр уровня TIER III

Июль 2011, полным ходом идет монтаж подвесных потолков и лотков в машинных залах
Как мы строили отказоусточивый дата центр уровня TIER III

В августе 2011 устанавливались внутренние блоки кондиционеров:
Как мы строили отказоусточивый дата центр уровня TIER III

Вот так они выглядят в установленном виде:
Как мы строили отказоусточивый дата центр уровня TIER III

Монтаж системы охлаждения распределительной трансформаторной подстанции:
Как мы строили отказоусточивый дата центр уровня TIER III

Распределительная подстанция для дизель-генераторной установки на объекте подключения кабелей:
Как мы строили отказоусточивый дата центр уровня TIER III

В августе 2011 мы начали также монтировать фасад здания. Здесь утеплитель уже почти смонтирован, устанавливают въездные ворота:
Как мы строили отказоусточивый дата центр уровня TIER III

Тот же фасад здания с другой стороны:
Как мы строили отказоусточивый дата центр уровня TIER III

А это монтаж кабельных лотков дизельной электростанции. Здесь пройдёт несколько тонн кабеля (фото — тоже август):
Как мы строили отказоусточивый дата центр уровня TIER III

Топливнозаправочная площадка в августе была уже полностью готова:
Как мы строили отказоусточивый дата центр уровня TIER III

Финальная окраска трубопроводов в помещении хладоцентра первого этажа:
Как мы строили отказоусточивый дата центр уровня TIER III

Вот так в августе выглядела распределительная подстанция ДЭС, вид изнутри
Как мы строили отказоусточивый дата центр уровня TIER III

Август 2011, совсем скоро Компрессор будет запущен, но сотрудницам КРОК уже не терпится на него посмотреть (на крыше с чиллерами):
Как мы строили отказоусточивый дата центр уровня TIER III

Вот здесь дизель-генераторные установки, в процессе монтажа. Всего их было установлено 7 штук. Начало работ по монтажу кабельной системы. Фото сделано в сентябре 2011-го:
Как мы строили отказоусточивый дата центр уровня TIER III

А это баллоны газового пожаротушения машзалов, тоже сентябрьское фото:
Как мы строили отказоусточивый дата центр уровня TIER III

К сентябрю 2011 работы по установке вентилируемого фасада здания практически завершены:
Как мы строили отказоусточивый дата центр уровня TIER III

Вот и всё. После того, как фасад здания был полностью облицован, мы ещё привели в порядок территорию, поставили забор для охраны и посадили газон.

Ссылки

Вот здесь есть фотоэскурсия по данному ЦОД, здесь – больше деталей, а вот здесь – про особенности сертификации.

P.S. Если интересно, я напишу пост про оборудование, инженерные системы и поставщиков (кстати, некоторые отечественные поставщики очень даже неплохо себя зарекомендовали).

Автор: Pvashkevich

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js