Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях

в 8:02, , рубрики: билайн, Блог компании ВымпелКом (Билайн), дата-центр, ДДИБП, европеское кольцо, ит-инфраструктура, магистраль, машзал, Разработка систем связи, Стандарты связи, хостинг, цод, Ярославль, метки:

Мы уже рассказали о том, как проектировали и стоили наш TIER III ЦОД. Пора уже показать, что получилось.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 1

Сначала на месте дата-центра было чистое поле, затем вырыли здоровенный 100–метровый котлован. Потом дата-центр стал похож на бетонную площадку, а еще позже – из металлоконструкций построили шестиугольное здание, внутри которого расположены шесть модулей ЦОД (на схеме выделены зеленым), «командный центр» для мониторинга магистральной сети по всей стране и офис (подробнее о строительстве можно почитать habrahabr.ru/company/beeline/blog/244785/).

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 2

Осторожно, трафик и гикпорн из ярославского дата-центра: 91 фотография только-только запущенного первого модуля, в главном здании кое-где ещё идут финальные работы, но капитального строительства больше не будет.

Базовые параметры ЦОД

Территория
• 7 га;
• 30 тыс. кв м. площадь зданий.
Модульный подход
• 6 независимых модулей ЦОД (сейчас установлен первый).
Отказоустойчивость
• Сертификат Tier III по классификации Uptime Institute.
Бесперебойное питание
• 2 независимых городских ввода 10 MW;
• Дизель-динамический источник бесперебойного питания: 2500 kVA;
• Резервирование 2N;
• Топливохранилище 30 000 л, рассчитанное на 12 часов работы 6 модулей при полной загрузке.
Холодоснабжение
• N+2;
• Водяное охлаждение на чиллерных установках;
• Охлаждение наружным воздухом (Natural Free Cooling);
• Адиабатическая система охлаждения;
• Бесперебойное питание оборудования системы охлаждения;
• Среднегодовой PUE не менее 1.3.
Пожаротушение
• Газ Novec безвредный для человека;
• Система раннего оповещения о возникновении пожара (VESDA).
Безопасность
• Охрана 24х7х365;
• Система контроля и управления доступом, видеонаблюдение.
Экологичность
• Система бесперебойного питания без химических батарей;
• Охлаждение наружным воздухом до 90% времени в году;.
• Экологичные отделочные материалы интерьеров офиса.

В реальности здание почти такое же прозрачное, как на схеме, потому что много поляризованного стекла:

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 3
Главное здание, в котором расположен дата-центр

Для сравнения – вот небольшой контейнерный ЦОД на семь стоек, который мы установили за три месяца: кинули пару плит, и вперёд. Мобильный дата-центр и соседний синий контейнер с ДЭС работали на этой точке во время пусконаладки и вообще держали ряд базовых сервисов, пока мы не подняли первый машзал.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 4
Контейнерный ЦОД

Вот схема «космокрейсера»:

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 5
Схема объекта

Шестиугольник посередине – это главное здание, в котором расположены машзалы, офисная и сервисная зоны Энтерпрайза. Контейнерный ЦОД внизу, он маленький, и скоро его увезут. А два блока «двигателей» крейсера – это независимые энергоустановки (Power modules). Давайте сначала туда.

Вот так выглядит здание с энергоустановками снаружи:

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 6
Энергомодуль, в котором располагается ДДИБП

Рядом в синем контейнере хранится дизельное топливо. Зимой мы льём зимнюю солярку, летом – летнюю. Откачивать никуда не надо – вырабатываем ДТ на ежемесячных регламентных проверках.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 7
Топливохранилище на 30 000 л

Но давайте зайдём внутрь энергомодуля. Нас встречает вот такой чудо-девайс.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 8
Мотор-генератор системы дизель-динамического ИБП

Это целый комплекс устройств. Как всё это устроено, мы уже рассказывали ещё на этапе проектирования, вот тут есть подробности (и анимация производителя). Если очень коротко – к нам из города приходит питание от двух независимых подстанций, которое резервируется системой дизельгенераторов. В середине цепи между источниками и полезной нагрузкой находится кинетический накопитель.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 9
Схема организации электроснабжения комплекса

ЦОД будет потреблять до 10 МВт. По очевидным причинам, куда экономичнее брать питание от города. Но если что-то происходит, нужно иметь либо огромный запас батарей ИБП на время разогрева дизеля, либо запас батарей поменьше и бассейн с ледяной водой для охлаждения, либо свой постоянно работающий энергоцентр (генерацию). Одно из лучших решений – ДДИБП: кинетический накопитель, плюс быстро стартующий дизель, находящийся в режиме standby. На практике всё намного сложнее, но общий принцип работы именно таков.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 10
Панель управления ДДИБП

Надо отметить, что питание из города к нам приходит не самое качественное. Когда оно ухудшается или пропадает, за счёт энергии кинетического накопителя (семитонный раскрученный до огромной скорости маховик). Энергии остаточного вращения маховика хватает с запасом на старт дизеля даже со второй попытки. Из дополнительных плюсов – эта же система позволяет очень легко справляться с большинством скачков напряжения – грубо говоря, ДДИБП посреди цепи в лёгкую сглаживает в среднем около 80% пиков и провалов без включения мотора-генератора. Ещё одним преимуществом применения ДДИБП является отсутствие проблемы с задержкой на переключение на резервную систему питания, так как кинетический накопитель включен в цепь постоянно.

Система очистки топлива, кроме обычной фильтрации также включает систему сепарации примесей, которая осуществляет очистку топлива непосредственно перед подачей в топливный насос.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 11
Фильтр-сепаратор системы подачи топлива

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 12
Крышки цилиндров

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 13
Электромагнитный клапан системы подачи топлива

Одна из наших важных задач сейчас – гарантировать энергоэффективность при низком потреблении.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 14
Труба ведёт на второй этаж, где расположены системы глушения и очистки выхлопных газов. В частности в 4,5-метровые двухтонные глушители

В прошлый раз мы обещали показать размер глушителей. Обещали – выполняем:

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 15
На заводе ДДИБП в Германии

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 16
Это топливный бак

Соляра для ДГУ в большом количестве хранится в синем домике снаружи, а в этом баке – необходимый запас на час-два работы (в зависимости от нагрузки). Ёмкости соединены, топливо можно привозить бесконечно, и оно будет сначала заливаться в главное хранилище, потом – вот сюда, далее – в саму ДГУ. Разумеется, второй энергомодуль такой же, и там своё автономное хранилище топлива.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 17
Выбросной вентилятор системы вентиляции

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 18
Трубопроводы системы охлаждения дизельного двигателя. В трубах циркулирует хладогент, который проходит через радиаторы, установленные на втором этаже

Для снижения потерь маховик вращается в газообразном гелии. Пока он в этой среде, затраты на поддержание вращения даже при дикой скорости минимальные, то есть достаточно вложить в него энергию на раскрутку, и дальше он потребляет очень мало. КПД >99%. Потом, когда надо, маховик отдаёт накопленную энергию в систему.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 19>
Редуктор-распределитель подачи гелия в кинетический накопитель

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 20
Аварийный клапан остановки дизельного двигателя при сигнале «пожар» или аварийном отключении красной кнопкой. Он используется только в крайнем случае, и фактически перекрывает мотору кислород

Пожар тушится газом Novec 1230 – в применяемой концентрации он не опасен для человека. Система пожаротушения у нас умная: в случае возгорания на дизеле даёт шанс справиться с огнем самостоятельно. Это повышает живучесть дата-центра.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 21
Стартовые аккумуляторы

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 22
Силовые кабели от генератора к нагрузке (ЦОД)

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 23
Сирена пожарной сигнализации. Как только она включится – из помещения нужно выбегать.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 24
Шкаф управления системой вентиляции

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 25
Автоматический выключатель распределительного щитка

Перед вами защита от дурака. Замок закрывает критичные панели. Чтобы что-то нажать, нужно снять пластиковую шторку, повернув её на 180 градусов. Потом достаточно сильно надавить на кнопку. Такие варианты защиты сделаны для того, чтобы ничего не делалось случайно без полного осознания происходящего.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 26
Кнопка системы дымоудаления располагается перед входом в помещение

Вот в этот блок снаружи подключается тестовая нагрузка для регламентной проверки ДДИБП:

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 27

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 28
Нагрузка подключается специальным очень гибким для своего диаметра кабелем

А вот и сама нагрузка. Тягач-реостат. В прицепе что-то вроде огромного калорифера, эффективно греющего воздух для того, чтобы отобрать большую мощность у энергомодуля. Не то, чтобы зима в Ярославле стала теплее, но что могли – сделали.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 29
Тягач-реостат

А это два интересных объекта. Молниеуловитель и грозоотвод. Точнее, на энергомодуле высокое мачтовое сооружение – это пассивный грозоотвод – металлический штырь отводящий разряд глубоко под землю. А дальше, в центре, на крыше ЦОДа, видно уже активную установку аналогичного назначения, она позволяет достигнуть подобного эффекта только со значительно меньшими размерами.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 30
Пассивный и активный грозоотводы

Второй модуль симметричен первому. Единственное, что отличает его окрестности – вот этот дополнительный объект. Это отдельная ДЭС для офиса, требования к бесперебойности питания значительно ниже, а значит не нужно расходовать мощности ДДИБП.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 31
ДЭС для офиса

Теперь спускаемся вниз, в ветку метро до Кремля.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 32
Кабельный коллектор

На самом деле, конечно, это кабельный коллектор, но если грамотно выключить свет, можно посвящать новичков в тайны СССР.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 33

Ещё можно сделать вот так:

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 34

Тут проходят кабели толщиной с руку здорового инженера. Ну, или с ногу симпатичной девушки. За обрезками такого кабеля шла настоящая охота некоторых монтажников на стройке. По их представлениям, наверное, он золотой. Досталось им мало, но нервов они нам испортили изрядно.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 35

Кабель, кстати, по большей части отечественный, производства кольчугинского завода из Владимирской области. На нашем объекте проблем не было, но, конечно, кабель всегда надо проверять при приёмке – могут и с обрывом привезти, и с нарушенной изоляцией, и много чего ещё.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 36
«Гламурная» противопожарная пена. При монтаже она расширяется и очень плотно охватывает всё, что может, чтобы не допустить распространения огня и дыма через отверстия, где проходит, в данном случае, кабель.

Итак, питание есть. ЦОДу не хватает ещё охлаждения и Интернета. И пива, но пивзавод у нас прямо за окном. С транспортной сетью у нас всё хорошо, есть два помещения магистральной связи, резервирующие друг друга. К ЦОДу подведены 4 ввода магистральной оптики, мы предусмотрели возможность установки 100Gbit/s транспондеров.

Однажды расскажем вам и об устройстве нашего узла связи подробнее.

Теперь идём смотреть на охлаждение.

Про проектирование охлаждения детальнее можно прочитать вот здесь.

Опять же, коротко основные вещи:

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 37
Схема организации системы Natural Free Cooling

Фрикулинг работает так. В «морду» (камеры смешения) нашему дата-центру дует ветер. Холодный воздух попадает в магистральный воздуховод, отдаёт холод внутреннему контуру, затем пролетает дальше насквозь ЦОД и уходит в степь. Горячая среда машзала отдаёт тепло через теплообменник во внешнее пространство ангара, в котором расположены модули ЦОД. Горячие восходящие потоки уходят вверх через отверстия в крыше или принудительно через камеру смешения. Пока просто, правда?

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 38
Схема расположения магистрального воздуховода

Первый кто нас встречает — это «паук». Это чиллер. Пауком мы его зовём из-за характерной формы.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 39
Чиллер

Зачем чиллер в ЦОДе с фрикулингом? Всё потому, что если внешняя температура поднимется выше 24 градусов Цельсия машзалы не будут охлаждаться с нужной эффективностью. Напомню, что мы решили построить дата-центр в Ярославле ещё и потому, что здесь летом прохладнее (помним про ночь), чем в Москве, и можно сэкономить на охлаждении.

Тем не менее, примерно до месяца в году в среднем температура поднимается выше указанной границы. В этом случае мы используем вторую систему охлаждения на чиллерах, охлаждающих воду в огромной сети трубопроводов. Опять же, упрощая до неприличия – это большие холодильники, охлаждающие воду. Они требуют куда больше питания, но деваться некуда. Резервирование чиллеров N+2, это значит на первый машзал установлено сразу три агрегата.

Узнаёте этих героев?

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 40
Расширительные баки

Всего в контуре 180 тонн воды.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 41
Магистральный коллектор

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 42
Сливной кран

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 43
Ещё один паук, но уже другой стороной (сбоку щит управления)

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 44
Балансировочный вентиль

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 45
Если потребуется аварийный слив воды, она потечёт в специальные ямы

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 46
Насосы обеспечивают циркуляцию в контуре. Второй насос — резерв.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 47
Фреонопроводы ведут на кровлю. Изгиб – это маслоподъёмные петли для обеспечения возврата масла в компрессор.

Скоро мы уже закончим с железками и пойдём в машзал. Он прямо вот за этой стеной. Но! Сначала есть важный момент. Дело в том, что температуры окружающего воздуха хватает для охлаждения машзалов с нужным запасом только 8 месяцев в году. А чиллеры мы запускаем на две-четыре недели. Куда делись ещё минимум три с половиной месяца? Вот, смотрите на устройство.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 48
MNFC — теплообменник

Это теплообменная камера, отсюда начинается холодный коридор машзала, и здесь заканчивается горячий. То есть в этом устройстве мы делаем из горячего воздуха холодный. Это ключевой элемент системы охлаждения. Теплообменник работает и в режиме охлаждения наружным воздухом, и в режиме охлаждения водой.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 49

Основной режим – через теплообменник пропускается большой объём уличного воздуха.
Если воздух горячий – мы закрываем воздухозабор и начинаем охлаждать обменную камеру выводом от чиллера, тратя электроэнергию на охлаждение.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 50
За этой решёткой происходит обмен тепла

А вот когда воздух теплее всего на 3-4 градуса (до 24 градусов), что случается в «выпавшие» месяцы, мы применяем лайфхак из школьного курса физики. Попросту насыщаем воздух влагой (прогоняем его через стену водяного тумана за вот таким устройством), что даёт нужную дельту на адиабатическом процессе. Эта технология намного экономичнее чиллерной системы, и широко используется в связке с фрикулингом.

Вот здесь, насквозь, прямо через здание, проходит выбросной магистральный воздуховод. Это вот такой вполне широкий горячий коридор.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 51

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 52

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 53
Зенитные фонари на крыше. Створки при необходимости приоткрываются, и выпускают горячие потоки воздуха.

Всё-всё, смотрим машзал. Сейчас залы со второго по шестой выглядят вот так: модули ещё не смонтированы.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 54

А вот первый модуль запущен и сейчас уже наполняется. Мы пришли в тот самый момент, когда часть серверов уже работает, но зал ещё наполовину пустой.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 55
Модуль ЦОД

Поскольку стойки у нас типовые, а железо вообще гомогенное (это наш ЦОД, и мы точно знаем, что сюда будет ставиться), можно было смонтировать все вводы-выводы сразу.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 56
Силовые розетки для подключения стоек

Ещё один плюс типовых стоек – известные габариты холодного и горячего коридора. Вот холодный воздух дует снизу из фальшпола. Эти панели сейчас закрыты полиэтиленом – коридор не используется, а мы не хотим, чтобы инженеров сдувало почём зря. Кстати, вот эти холодные коридоры – пожалуй, последнее из напоминаний, почему админ всегда в свитере. Потому что очень холодно и дует.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 57
Коридор холодного воздуха

А это наше телепортационное устройство, прототип.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 58

Если серьёзно – это двери, закрывающие (ограничивающие) холодный коридор, чтобы охлаждение работало максимально эффективно. Вот так это выглядит в той части зала, где стойки уже есть.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 59
Стойки

Собственно, стойки. Сейчас установлено следующее оборудование:
— серверы Oracle класса Hi-End и Mid-Range;
— СХД, построенная на оборудовании HDS, HP, IBM, Brocade;
— Ядро сети построено на оборудовании Avaya;
— Сервера HP.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 60
Система распределения питания к стойкам: шинопроводы с коробками отбора мощности

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 61
У нас система СКС top-of-rack Panduit

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 62
Top-of-rack кассеты

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 63
Кросс с коммутацией на четыре с минусом, скоро будет на пять

Аккуратность монтажа – наш небольшой пунктик. Даже в московской тестовой зоне, где вообще каждый день всё меняется и чёрт ногу сломит в составе оборудования, монтаж более-менее аккуратный. Мы по опыту знаем, что неподписанный и неаккуратно смонтированный кабель может стать причиной прерывания сервиса.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 64
Коммутация свитчей агрегации

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 65
Активное сетевое оборудование

10% зала рассчитаны на стойки высокой плотности – до 20 кВт на единицу. Самые мощные стойки стоят в центре зала, там есть запас по холоду из-за особенности движения потоков воздуха больших скоростей.

А вот стоят СХД. Их пока не подключали. Где-то здесь же будут храниться данные о вашем балансе.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 66
Ленточная библиотека

Вот это – тепловентиляторы. С их помощью мы проверяли зал на возможность отводить тепло. Да-да, просто грели его и смотрели, что получится.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 67

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 68
Отвод к рядному шинопроводу

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 69
Снова Novec, запаса хватает на два срабатывания системы пожаротушения

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 70
Вот так к машзалу идут кабели питания, которые мы видели в подвале

Теперь заглянем в офис к админам и не только.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 71
Главный вход в здание дата-центра

Обходим ЦОД и видим временные модульные блоки – это столовая и «офис» — места, где смена работала во время строительства объекта, когда офисные помещения ещё не были готовы. В офисе куда лучше, чем в таком «контейнере».

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 72
Временный офис и столовая

На входе у нас макет дата-центра:

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 73

Подсвечена схема охлаждения:

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 74

На крыше видно конденсаторные блоки чиллеров:

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 75

Ещё можно подсветить питание, и магистральные вводы:

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 76

Прежде чем попасть внутрь, покажу каски в раздевалке. Один из строителей оказался художником и расписал свою каску – и понеслась.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 77

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 78
Open space

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 79
Стена сделана из школьной доски

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 80
А вот комната отдыха для смен администраторов.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 81
Кофе-поинт

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 82
Кабинет

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 83
Санузел

Снова на улицу! Всё обошли, только не были на крыше. А на крыше ведь чиллеры, вот они осторожно выглядывают:

Вот сама крыша. Она очень большая и полосатая. Со спутника наш ЦОД видно как кружок-логотип.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 84

Это мы приближаемся к внешним блокам чиллеров. Как от бытовых кондиционеров, только немного побольше.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 85

Вот эти «окошки» или зенитные фонари — это места, где горячий воздух естественным образом окончательно покидает здание.

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 86
Зенитные фонари

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 87
У каждого зенитного фонаря своя метеостанция, которая посылает данные в систему автоматики

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 88
А вот и конечный пункт фреонопроводов, которые мы видели раньше

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 89
Такое количество труб, потому что каждый блок двухконтурный, и на один чиллер их два (то есть сам чиллер четырёхконтурный)

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 90
Элементы систем общеобменной вентиляции здания

Вот и мачта молниезащиты:
Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях - 91

Вот такой наш дата-центр в Ярославле. Пока запущен первый модуль флагманского ЦОД, рассчитанный на 236 стоек, потихоньку переводим туда часть «боевых» систем. Кстати, к нам переехал Федеральный центр мониторинга, а скоро приедут девчонки из объединенного центра обслуживания. Так что бодрости духа не теряем.

Автор: resilience

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js