- PVSM.RU - https://www.pvsm.ru -

Где хранить данные: экскурсия в дата-центр IXcellerate

Часто приходится слышать, что хранить данные и выводить свои системы на ИТ-аутсорсинг – это опасно и ненадёжно. Якобы данные могут быть недоступны из-за технических проблем у провайдера, дата-центр может стать объектом хакерской атаки, да и просто спокойнее, когда всё ИТ-оборудование и все данные компании рядом, «под боком», а не хранятся и обслуживаются «на стороне».

Предлагаю посмотреть, как устроен дата-центр IXcellerate, [1] в котором мы храним свои данные и данные клиентов. Мы – это сервис-провайдер «Онланта» [2]. Наше облако OnCloud.ru [3] создано на базе нескольких, географически распределённых дата-центров. ЦОД IXcellerate как раз и является одним из них.

Где хранить данные: экскурсия в дата-центр IXcellerate - 1


Центр обработки данных IXcellerate располагается на территории бывшей промзоны и завода ЖБИ в районе Алтуфьево на участке более 15 тыс. кв. м – это один из самых крупных дата-центров в Москве.

Где хранить данные: экскурсия в дата-центр IXcellerate - 2

Выбор территории завода железобетонных изделий для создания дата-центра был неслучаен – подобные предприятия обычно имеют мощные линии ввода электроэнергии, что как раз и нужно для дата-центра. На территории ЦОДа таких линий две – от двух разных распределительных подстанций. Расстояние между их вводами в здание не менее 150 м. Это серьезно повышает надёжность и доступность сервисов дата-центра, поскольку вероятность сбоев по причине аварий на электросети сильно снижается.

Дата-центр IXcellerate начали строить в 2012 году и через год ввели в эксплуатацию первый машинный зал. Основателем компании IXcellerate является известный международный инвестор и британский предприниматель Гай Вилнер [4].

Где хранить данные: экскурсия в дата-центр IXcellerate - 3

Гай Виллнер (справа)

Соучредителем Гая Вилнера был другой международный бизнесмен – Клифф Гаунтлетт, который начал работать в Cоветском Союзе в конце 1980-х. Он оказался одним из тех иностранцев, которые приехали сюда во времена перестройки, влюбились в страну, и, несмотря на все её проблемы, остались здесь навсегда (Клифф скончался в 2013 г). Наверное, многие помнят телефонные карточки ROL. Их выпускал российский провайдер Golden Telecom, где Клифф работал старшим вице-президентом. Кроме этого, Клифф был ещё и заядлым «рокером» – возглавлял знаменитый ROL Band, а его песни есть даже в репертуаре группы Scorpions. Отсюда и девиз дата-центра IXcellerate – Rockin’Russia.

Где хранить данные: экскурсия в дата-центр IXcellerate - 4

Корпортивный фестиваль Rockin’Russia: Клифф Гаунтлетт с гитарой, за барабанами – Александр Вершбоу, посол США в России. (фото www.passportmagazine.ru [5])

В честь Клиффа Гаунтлетта Самый был назван первый машинный зал дата-центра IXcellerate.

Где хранить данные: экскурсия в дата-центр IXcellerate - 5

В дата-центре до сих пор висит гитара Клиффа, с оригинальным автографом самого Пола Маккартни

Проектная мощность дата-центра – 13.7 Мегаватт, а емкость  – 1835 стойко-мест, и это число растёт. Площадь здания — 6000 кв. м. Кроме того, в ЦОДе есть более 600 кв. м складских помещений для клиентов, где они могут хранить необходимое для работы оборудование.

К зданию дата-центра ведут две подъездные дороги. Территория удалена от аэропортов, железнодорожных путей, автотрасс, различного рода торгово-развлекательных центров, а также жилых зданий.

Где хранить данные: экскурсия в дата-центр IXcellerate - 6

Здание дата-центра с установленными устройствами охлаждения (чиллерами)

Помимо основного электроснабжения от двух электроподстанций в Подмосковье в дата-центре имеются и резервные дизель-генераторы, вырабатывающие электроэнергию в аварийных ситуациях, например, если во время стихийного бедствия откажут обе подстанции.

Для дизель-генераторов поставляется специальное топливо – летнее и зимнее. Около дизель-генераторов поставлены специальные защитные бетонные блоки, чтобы их случайно не повредили движущейся техникой.

Где хранить данные: экскурсия в дата-центр IXcellerate - 7

Уличный контейнер с дизель-генератором за защитными бетонными блоками

Работоспособность дизелей контролируется круглосуточно в режиме онлайн, да ещё и дежурный осуществляет обход каждые четыре часа. Во время нашего визита как раз проводилось техобслуживание дизель-генераторов, и на территории находились автомобили с контрольно-измерительным оборудованием.

При отказе сетевого электропитания аккумуляторы создают необходимый временной интервал, пока резервные дизель-генераторы после запуска выходят на необходимую мощность.

Где хранить данные: экскурсия в дата-центр IXcellerate - 8

Техобслуживание дизель-генераторов

В дата-центре строго соблюдаются требования как физической, так и информационной безопасности, а также безопасности электросетей. Здание дата-центра облицовано т.н. сэндвич-панелями как снаружи, так и изнутри. Они обеспечивают теплоизоляцию и физическую защиту. Дата-центр строился по принципу «коробка в коробке», то есть от улицы внутренние помещения отделяют деревья, бетонный забор, газон и многослойные сэндвич-панели.

Крыша здания расположена на высоте 14 м, а крыша машинного зала – 9 м. Между ними есть защитная прослойка от протечек.

Многослойность позволяет поддерживать определенные параметры температуры и влажности, оптимальные для работы серверного оборудования. Микроклимат также создают охладители воздуха (чиллеры) и прецизионные кондиционеры.

Награды дата-центра

Дата-центр имеет сертификаты ISO 27001и ISO 9001, сертификат по стандарту безопасности данных для платёжных карт PCI DSS v3.2, а также сертификат соответствия уровню надежности IBM Level 3 в категориях «Проект», «Строительство» и «Эксплуатация». В 2018 году дата-центр IXcellerate получил сертификат Uptime Institute на соответствие уровню Tier III в категории «Дизайн».

Уровень обслуживания SLA, предоставляемый для клиентов составляет, как говорят ИТ-специалисты, «пять девяток». Это означает, что инфраструктура дата-центра доступна 99,999% времени рабочего времени. То есть время возможного простоя в год не превышает пяти минут и шестнадцати секунд.

Дата-центр третий год подряд является победителем и обладателем награды Russian DC Awards за самое эффективное решение по охлаждению и электроснабжению, за инновационное решение в области снижения совокупной стоимости владения ТСО (Total Cost of Ownership), а также локализацию персональных данных.

Вложения в дата-центр составляют порядка 50 миллионов долларов, при этом уровень операционной безубыточности был достигнут после 4 лет эксплуатации, а не за обычные для дата-центров такого класса 8-10 лет.

Где хранить данные: экскурсия в дата-центр IXcellerate - 9

«Тумба гордости» с наградами и сертификатами дата-центра

Создание дата-центра

Дата-центр IXcellerate строился модульно, в три фазы. Машинный зал первой фазы во время строительства в 2012 году был самым большим в Москве. Залы второй и третьей фазы огибают зал первой фазы по периметру буквой Г.

Каждый машинный зал имеет собственные погрузочно-разгрузочные зоны. Отдельная разгрузочная зона предусмотрена и для пожарной станции.

Где хранить данные: экскурсия в дата-центр IXcellerate - 10

Схема ЦОД IXcellerate

IXcellerate создавался как «нейтральный» дата-центр, независимый от поставщиков телекоммуникационных и облачных услуг, и ориентированный исключительно на услуги «колокейшн» (co-location), т.е. размещение оборудования клиентов, его защиту и обеспечение требуемой инженерной инфраструктуры с установленным уровнем обслуживания по стандартному договору.

Бывает, что клиенты спрашивают про облачные услуги. Для таких случаев в дата-центре имеется экосистема партнёров, на оборудовании которых предоставляются облачные решения. Мы как раз этим и занимаемся.

Посмотрим, что внутри

Дата-центр обязывает сотрудников и авторизованных клиентов проходить двойную идентификацию, включающую стандартную ID-карту и биометрический контроль (сканер ладони руки).

Где хранить данные: экскурсия в дата-центр IXcellerate - 11

Контроль доступа для сотрудников

Доступ в ячейки («клетки»), где установлено клиентское оборудование, находится  под круглосуточным контролем, то есть туда могут попасть только авторизованные клиентом сотрудники дата-центра. Эти ячейки отгорожены друг от друга металлической сеткой.

Ячейки также имеют собственные средства физической защиты, например, кодовые замки и видеокамеры. Всего предусмотрено пять рубежей физической безопасности с постоянно работающей системой мониторинга и управления зданием (BMS) Computrols.

В дата-центре стало хорошей традицией называть каждый машинный зал в честь компании или человека, который внёс наибольший вклад в его создание.

Зал первой фазы, названный в честь Клиффа Гаунтлетта, спроектирован на 220 стойко-мест с оборудованием клиентов.

При строительстве зала второй фазы были использованы инвестиции японской компании Sumitomo Corp., поэтому он называется The Summit Hall. Зал третьей фазы назван «Высота» в честь технического директора дата-центра Сергея Владимировича Вышемирского, который раньше работал на аэродроме «Чкаловский».

Где хранить данные: экскурсия в дата-центр IXcellerate - 12

Табличка с названием третьего машинного зала

Электропитание и охлаждение

Для питания оборудования клиентов используется электричество повышенного качества. Что означает слово «качество» применительно к электричеству? Не секрет, что промышленный электрический ток иногда имеет пиковые всплески, которые могут вывести из строя клиентское оборудование. Поэтому в дата-центре имеется специальная «электрическая комната», где эти выбросы устраняются. В результате получается электрический ток частотой 50 Герц, имеющий форму «чистой» синусоиды, без выбросов и пиков. Электрораспределительное оборудование постоянно контролирует девять параметров качества тока.

Резервирование электроснабжения ЦОД организовано на уровне 2N: как уже говорилось, к дата-центру подходят два независимых луча электропитания. Повреждение одного маршрута прокладки не повлечет за собой остановки дата-центра или его части, так как всегда имеется резервный маршрут.

Так выглядят входящие линии с подстанций электропитания на одном из маршрутов прокладки.

Где хранить данные: экскурсия в дата-центр IXcellerate - 13

Ввод электропитания от трансформаторной подстанции

Вот ещё небольшой штрих к теме электрической и пожарной безопасности. Электропроводка от выключателей проложена в металлических трубах, чтобы при возможном коротком замыкании не летели искры наружу.

Где хранить данные: экскурсия в дата-центр IXcellerate - 14

Выключатели для ламп освещения с проводкой в металлических трубах

Все кабели электропитания проходят под фальшполом высотой 1 м. Под фальшполом в стойки с оборудованием подаётся холодный воздух с заданной влажностью в полном соответствии с международным стандартом ASHRAE.

На ячейках с клиентским оборудованием установлены датчики температуры и влажности, которые не только визуально отображают эти параметры, но и регулярно передают их в централизованную систему управления инженерной инфраструктурой дата-центра.

Где хранить данные: экскурсия в дата-центр IXcellerate - 15

Датчик температуры и влажности

Для питания каждой стойки под фальшполом есть две розетки – каждая от отдельной линии ввода с разных электроподстанций. Для ещё большей надёжности они проложены в отдельных желобах.

Где хранить данные: экскурсия в дата-центр IXcellerate - 16

Две розетки питания стойки (сквозь решётку фальшпола)

Некоторые клиенты для повышения безопасности также устанавливают собственные видеокамеры в свои ячейки с оборудованием.

В дата-центре имеются «телеком-зоны», где установлено оборудование 44 операторов связи, включая Orange, Sprint, Beeline, MegaFon, MTS, Telia, других операторов и Интернет-провайдеров, а также узел MSK-IX и платформа обмена трафиком Eurasia Peering IX, объединяющий 38 операторов-резидентов.

Где хранить данные: экскурсия в дата-центр IXcellerate - 17

В дата-центр для установки принимается клиентское оборудование любого размера и функционала, даже ленточные накопители.

Один из наших клиентов – телеканал с многомиллионной аудиторией – осуществляет здесь резервирование для вещания в HD.

Пожарная безопасность

Способность быстро и эффективно потушить возгорание, а лучше вообще его не допускать – одна из важнейших характеристик любого дата-центра.

В IXcellerate применена трёхуровневая система обнаружения и тушения пожара. Первый уровень – система сверхраннего обнаружения задымления Vesda, реагирующая на изменение плотности воздуха и количества примесей и пыли всего на 0,01%. Самообучающаяся система с элементами искусственного интеллекта держит в памяти определённую матрицу параметров воздуха. Такая система может распознать задымление на самой ранней стадии, а также определить сектор, где произошло изменение параметров.

Apollo – интегрированная система пожарной сигнализации и системы оповещения – следующая ступень в пожарной безопасности ЦОД.

Но гордость IXcellerate – автоматическая система пожаротушения HI-FOG, которая способна локализовать возгорания на площади 4 х 4 кв. м (с возможностью нахождения персонала непосредственно в машзале и без воздействия и последствий для других участков). Для этого в системе HI-FOG применены водные распылители (спринклеры), находящиеся под постоянным давлением и размещаемые над каждым локальным периметром 4 х 4 м.

Важно отметить, что в HI-FOG используется система сухотрубов, т. е. используемое в штатном режиме вещество для тушения огня – дистиллированная вода – хранится в цистерне, которая размещается в пожарно-насосной станции.

Где хранить данные: экскурсия в дата-центр IXcellerate - 18

Один из спринклеров

В спринклере находится  шарик с эфирным веществом, который лопается при температуре 57о С, после чего автоматически запускается система пожаротушения.

Система HI-FOG создаёт мелкодисперсный туман, который закрывает зону возгорания, вытесняет из неё кислород и снижает температуру. То есть система позволяет устранить две причины пожара их трёх возможных. Третья теоретически возможная причина пожара – наличие горючего материала. Однако уже упомянутые сэндвич-панели, которыми облицованы как внешние, так внутренние стены, а также плиты фальшпола в зале выполнены из негорючего материала. Эти панели могут обеспечить до 90 минут огнеупорной защиты. Кроме того, в дата-центре используются только малодымные кабели.

Система HI-FOG, пожалуй, оптимальна для применения в дата-центре, поскольку обеспечивает локальное тушение, а не заливает газовой пеной весь зал, нанося ущерб оборудованию, не охваченному пожаром. Кроме того, ее использование не требует обязательной эвакуации людей.

Сертификат FM Approved, выданный международным лидером в сфере независимых испытаний, позволяет использовать технологию HI-FOG также в энергетической отрасли, на перерабатывающих и обрабатывающих промышленных предприятиях, а также подводных лодках и на круизных лайнерах.

Где хранить данные: экскурсия в дата-центр IXcellerate - 19

Пожарная станция

Цистерна с дистиллированной водой (синего цвета, видна сзади на фото) рассчитана на тушение всей площади дата-центра. Такая же система работает в московском метрополитене и Большом театре.

Пульт управления и мониторинга

На пульте управления и мониторинга в режиме 24 х 7 находятся дежурные, наблюдающие за работой инженерных систем и ведущие приём заявок от клиентов. Система видеонаблюдения позволяет быстро переходить от отображения общей схемы дата-центра к изображениям отдельных залов, ячеек, коридоров и стоек оборудования, компонентов системы пожаротушения (включая спринклеры), электропитания, климатики.

Стандартный договор SLA предусматривает, что первый ответ на заявку о техподдержке должен быть дан в течение 30 минут. Однако в дата-центре фактическое время обратной связи клиенту не превышает шести минут, согласно статистике портала Zendesk, который используется для регистрации обращений.

Поддержка осуществляется на русском, английском и на китайском языках.

Где хранить данные: экскурсия в дата-центр IXcellerate - 20

Пульт системы управления и мониторинга

За всё время работы дата-центра с момента его запуска в 2013 году не было ни одного простоя (даунтайма), ни одного нарушения SLA.

Дата-центр и его слаженная команда оставляет впечатление живого организма.

Внутри ЦОДа даже есть место музыке: когда переходишь по коридору из одного зала в другой, нельзя не заметить аппаратуру для рок-бэнда, в котором когда-то играл Клифф Гаунтлетт и который выступает на корпоративных мероприятиях и обязательном ежегодном open air фестивале IXcellerate – Rockin’Russia.

Где хранить данные: экскурсия в дата-центр IXcellerate - 21

Коридор между залами дата-центра

IXсellerate планирует строительство новых площадок, в дополнение к Moscow One появятся ЦОДы Moscow Two, Moscow Three и т.д.

Наша компания "Онланта [2]" начинала сотрудничество с IXcellerate с двух стоек для реализации амбициозного на тот момент проекта по созданию геораспределенного кластера. Тогда ни у кого на российском рынке подобного решения не было. Каналы темной оптики нам стоили космических денег по сравнению с прибылью от услуг, которые мы предоставляли. Отдельную услугу по катастрофоустойчивому облаку у нас так никто и не купил, поэтому мы просто стали развивать своё облако сразу на двух площадках. Потом появилась третья, так как стало очевидно, что нельзя обеспечить полноценную отказоустойчивость и балансировку нагрузки без отдельного «свидетеля», который бы не был привязан к одной из двух площадок. Но объективно можно сказать, что из всех трёх площадок IXcellerate является лучшей – как по организации сервиса, так и в целом по адекватности менеджмента.

Делитесь и вы, что вы больше всего цените в своем дата-центре и, наоборот, что вас больше всего раздражает?

Автор: Onlanta

Источник [9]


Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/hosting/301847

Ссылки в тексте:

[1] дата-центр IXcellerate,: https://ixcellerate.com/

[2] «Онланта»: https://onlanta.ru/

[3] OnCloud.ru: https://oncloud.ru/

[4] Гай Вилнер: http://dcawards.ru/ru/expert/gay-vilner

[5] www.passportmagazine.ru: http://www.passportmagazine.ru/

[6] Руководитель группы экспертов: https://job.lanit.ru/vacancy/Pages/%D0%9E-84.aspx?utm_source=habr&utm_medium=post-2018-12-11&utm_campaign=onlanta

[7] Ведущий системный инженер Vmware: https://job.lanit.ru/vacancy/Pages/O-100.aspx?utm_source=habr&utm_medium=post-2018-12-11&utm_campaign=onlanta

[8] Пресейл-менеджер (облачные услуги): https://job.lanit.ru/vacancy/Pages/O-90.aspx?utm_source=habr&utm_medium=post-2018-12-11&utm_campaign=onlanta

[9] Источник: https://habr.com/post/432654/?utm_source=habrahabr&utm_medium=rss&utm_campaign=432654