Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара

в 12:23, , рубрики: аварии дата-центра, дата-центр, ит-инфраструктура, Серверное администрирование, Сетевые технологии, системное администрирование, цод

Здравствуйте! В прошлых статьях (часть один, два, три, четыре) мы рассказывали о том, как мы строили свой мини дата-центр.

В данной статье, мы постараемся рассказать о проблемах, которые нам пришлось пережить за последний год нашей работы. Мы надеемся, что эта статья поможет Вам не допустить тех ошибок, которые были допущены нами с самого начала и которые, нам пришлось устранять «по живому». Поехали!

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 1

Как Вы знаете из прошлых статей, нам необходимо было в сжатые сроки «протянуть» свою оптическую линию к новому аплинку, для защиты от DDoS атак (поскольку сервис находился под массированными DDoS атаками конкурентов). Так как делали мы это крайне быстро — то и допустили ряд ошибок, за которые впоследствии расплатились сполна.

Первый обрыв

Первый случай не заставил себя долго ждать. Уже в апреле (да да, именно в апреле) была сильная буря со снегопадом, которая повалила массу деревьев, а в нашем случае даже множество опор (столбов) по которым мы пробрасывали оптический кабель.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 2

Была также проблема — достать оптический кабель, распределительные коробки и муфты и главное, найти бригаду которая бы это сделала, поскольку в тот день, пожалуй половина провайдеров г. Днепр, была без связи, из-за погодных условий, которые повлекли собой падения деревьев, столбов, обрывы оптических магистралей и т.п.

Деревья пилили жители, чтобы освободить дорогу и выехать на работу.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 3

Обрыв оптического волокна произошел сразу в четырёх местах и было это весьма грустно.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 4

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 5

Ситуация также осложнялась тем, что высота, на которой монтажники крепили оптический кабель, была недостижима для наших «стандартных» лестниц, но и из этой ситуации мы нашли выход. Пришлось взять вторую машину, которая используется для перевозки грузов и «покатушек» и устанавливать лестницу прямо внутрь, упирая её в сидение.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 6

Приступили к работе.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 7

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 8

Зачищаем оптическое волокно.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 9

Свариваем последнюю жилу.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 10

Провозились целый день, практически с раннего утра до вечера. Большое спасибо бригаде которая нам помогала, лезла по обледенелым столбам, мокла в полуметровых лужах и замерзала под «легким» апрельским ветерком.

Второй обрыв

Второй обрыв, произошел спустя месяц-полтора, на том же месте где и первый, как всегда в самый неподходящий для этого момент. А случился он из-за коммунальных служб, которые решили убрать поваленные деревья и заодно порвать все, до чего мог дотянутся ковш их экскаватора… (я надеюсь случайно).

В этот раз мы уже знали куда ехать и что с собой брать, подготовились основательно. В это время наш мини «ЦОД», уже сидел на резервном аплинке с полностью рабочим функционалом, что дало нам возможность не сильно спешить.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 11

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 12

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 13

Ликвидация последствий прошла успешно, кабель постарались закрепить достаточно высоко, на сколько это было возможно. Как оказалось потом, не достаточно.

Третий обрыв

Спустя некоторое время (совсем небольшой промежуток) у нас снова пропал сигнал и мы первым делом поехали осматривать данный участок дороги. Все усложнялось тем, что нам необходимо было иметь в запасе как оптоволокно так и «фопы/муфты» в которые мы укладывали данное волокно. Но с такой периодичностью аварий, запасов становилось все меньше.

Обрыв произошел ровно на том же участке, в двух местах. Первую часть оборвал большегруз, вместе с электро-проводами, а вторую часть «добил» мусоровоз, который намотал уже обвисший кабель на себя и сорвал его с трёх опор.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 14

Нам данная ситуация весьма надоела и мы решили действовать наверняка. Вызвали автовышку и начали крепить кабель так, чтобы его смог сорвать лишь падающий самолёт (не дай бог конечно).

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 15

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 16

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 17

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 18

Сварка волокна прошла успешно и интернет был подан.

Четвертый обрыв

Последний обрыв произошел в конце лета и в самом неудобном для нас месте, над высоковольтными троллейбусными проводами, над оживленной дорогой. Как выяснилось позднее, электрики меняли крепежные элементы и случайно задели наш кабель.

Нужно отдать должное бригаде которая устраняла обрыв, делали они это бесстрашно. Высота, даже по сравнению с нашими прошлыми обрывами была очень серьезная (около 10м.).

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 19

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 20

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 21

Жара

Но не только с обрывами и снежной весной мы сталкивались за этот год, но и с аномальной жарой, которая чуть не парализовала работу нашего мини цода.

В середине лета, в Украине началась аномальная жара. Температура в тени поднималась до 45 градусов по цельсию. У нас стоит мощный, дорогой, канальный кондиционер, который, к сожалению, обслуживался не так часто, как это требовалось. И вот, когда неделю-другую, стояла жара под 45 градусов, а ночью 30 — у нас начались приключения.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 22

Сначала, у нас начал «взлетать» ЦОД из-за блейд систем HP C7000. Там стоят куллеры по типу «турбин» и звучат они очень спецефично. Температура была (в самой жаркой точке) около 40 градусов, на блейд-системах около 30.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 23

Первым делом, конечно, мы начали обслуживать кондиционер, проверили и добавили фреона, прочистили систему и радиатор и вроде-бы это помогло, но ровно на неделю.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 24

Мы решили добавить еще один кондиционер, напольный, в помощь основному. Но это дало обратный эффект, температура начала только подниматься.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 25

Мы пошли по принципу «удаления теплого воздуха» и начали реконструировать вытяжную систему. Купили и установили вытяжку, проложили вытяжные каналы и т.п.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 26

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 27

Тест вытяжки, поглощение листа А4:

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 28

Делали даже так:

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 29

На какое-то время это дало нужный эффект, и месяц мы жили относительно без проблем, но с повышенной температурой в серверной зоне. Мы решились на замену кондиционера на новый, поскольку посчитали что старый вышел из строя (эксперты указали нам на это). Установили новый, более мощный кондиционер (также канальный), потратили массу финансов но эффекта это практически не дало.

Перепробовав все возможные варианты, переговорив с десятком фирм-подрядчиков мы не нашли никакого адекватного решения, температура была в пределах нормы, но в её граничной части, что нас также не устраивало. Серверы хоть и не перегревались, но при наращивании оборудования это стало бы проблемой.

И вот, один умный человек (NM из компании PINSPB привет!), подсказал нам, казалось бы не реальное решение проблемы. Вся проблема заключалась в том, что у нас в некоторых углах, скапливался горячий воздух и никуда не уходил и сколько бы мы не подавали холодного, он сразу становился теплым. Мы прислушались к совету коллеги и попробовали сделать тестовое решение из подручных средств.

Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара - 30

Признаюсь честно, относился я к этому скептически, да и выглядело глупо. Но спустя час работы температура в дата-центре опустилась с 29-30 до 22-24 градусов! Безусловно, бытовой вентилятор был временной мерой и через 2 дня мы установили вентиляционную систему, которая гоняла воздух по серверной в промышленных масштабах и помогала вытяжке еще лучше. Но вентилятор и совет коллеги, помог нам понять суть проблемы, которую не поняли с десяток фирм-подрядчиков.

Вот и мы, хотим чтобы наш опыт, помог не совершать ошибок другим нашим коллегам, которые только задумываются о «постройке» своего решения или уже делают это.

Спасибо за внимание!

Автор: TakeWYN

Источник

Поделиться

* - обязательные к заполнению поля