- PVSM.RU - https://www.pvsm.ru -
Сразу скажу: та крыса в привезённом сервере, которую мы пару лет назад отпоили чаем после удара током, скорее всего, сбежала. Потому что мы увидели как-то на обходе её подругу. И сразу решили поставить ультразвуковые отпугиватели.
Теперь вокруг дата-центра проклятая земля: на здание не садятся птицы, и, наверное, сбежали все кроты и черви. Беспокоились, что звук может [1] вызвать выход из строя HDD, но проверили, частоты не те.
Следующая история гораздо веселее. Мы как-то получили железку за пару миллионов рублей в коробке с датчиками наклона, вибрации и влажности. Всё целое. Аккуратно сняли упаковку, а железяка гнутая. Мистика.
Корпус прямо дугой. Красиво так.
Мы бы не придали этому значения, потому что выгнут металлический корпус был почти дизайнерским образом. Красиво так, без сколов. И если бы не другие такие же железки рядом, мы бы на распаковке даже не подумали, что что-то не так. Но рядом были такие же, только более правильной геометрической формы.
К счастью, распаковка такого железа снимается на видео (рекомендую всем завести такую привычку), поэтому удалось доказать производителю, что она такой приехала. Целая упаковка и аккуратно согнутый корпус — это не удар от грузчиков. Скорее всего, это она повредилась ещё до выезда в Россию.
Вендор говорит: «Эээ, парни, а давайте-ка мы её вам сразу по гарантии поменяем». И тут нас ждала эпическая засада.
Дело в том, что таможня разрешает ввозить нам такое оборудование по документам без права экспорта. То есть можно привезти, но перепродавать кому-то за пределы России нельзя. Когда мы отправляем назад сгоревший блок питания, например, всё понятно. Это запчасть, блок питания.
А тут понадобилось отправить назад всё:
— Парни, смотрите, мы железку назад производителю отправляем.
— Оборудование целиком?
— Да.
— Модель такая-то?
— Да.
— Может работать?
— Не знаем, не включали.
— Значит, это целое оборудование.
— Ну она ж не работает.
— Ну смотрите, целое оборудование вот такой модели. Без права реэкспорта. Не пустим.
В общем, было много приседаний, прежде чем разобрались, что мы его не экспортируем, а отдаём обратно. В итоге удалось всё сделать.
У нас сначала много лет назад была первая автоматическая, мечта админа. Загружаешь туда бахилы пачкой, она их сама распаковывает, открывает и ставит в положение, где надо только наступить. Чпок-чпок и готово.
Примерно через полгода она пережевала около ста пачек бахил и подавилась. Оказалось, там столько подвижных частей, что надо либо ремонтировать её раз в месяц на нашей нагрузке (у нас очень много инженеров-заказчиков по объекту ходит, потому что мы коммерческий ЦОД), либо же надо покупать новую.
Вторая проблема в том, что потом на одной из регулярных уборок мы как-то нашли «синенькую тряпочку», болтающуюся на решетке одной из стоек своего тестинга. Судмедэксперт в лице инженера икс-команды опознал фрагмент тела бахилы. Оказалось, что это в поликлинике с бахилами удобно: полчаса походил — и всё. А некоторые инженеры могут целый день работать с железом. Шаркая ногами. Сильно шаркая. И бахилы при этом истираются в эти вот маленькие лоскутки, которые летают по машзалу.
Мы почти сразу купили новую бахильницу. Взяли термобахильницу: это машина, в которую заряжается плёнка, и она эту плёнку аккуратно термоусаживает поверх ботинка. Красиво, эффективно, прочно. Меньше разлетается. Довольно долго она у нас стояла, но надо было примерно раз в 1-2 часа менять термоусадочную плёнку, потому что подошва имела свойство отваливаться сама.
Мы сначала думали, что это нам не везёт, а у людей как-то эта проблема решается. Но нет. Спросили западных коллег — та же история. В итоге стали думать, как же сделать нормально. Возвращаться из машзала за новыми бахилами — идея, прямо скажем, так себе. Нашли промышленные очистители для стройплощадок и производств. Это что-то вроде дорожек, по которым в цех заходит смена. Дорожки с кучей роликов чистят всё, и сделаны так, что хочешь или нет — поймает и почистит. Они стоят по полмиллиона-миллиону рублей. Мы поковырялись и нашли такую же за 200 тысяч, но ногу в неё надо совать самому. По габаритам похожа на машинку для чистки обуви. Подходишь, пихаешь туда ногу, она её жуёт и отдаёт обратно чистой. Поставили на входе в ЦОД.
Работает отлично за исключением двух нюансов. Первый — довольно быстро выяснилось, что это она нам, инженерам нормально. А на практике в ЦОД приходят посмотреть самые разные люди, среди которых — топы крупных компаний. С обувью из кожи с жопы дракона. А у них даже для нанесения крема на обувь щётка стоит дороже, чем мои тренировочные кроссовки, они там специально ворс подбирают. Они-то и отказывались пихать ноги в наш чудо-девайс. Вторая проблема возникла зимой: когда обувь прям вот очень в месиве, она из глубокого протектора может достать не всё. Потом ходишь по залу, оставляешь следы эктоплазмы.
Решили просто. Поставили рядом рулонную бахильницу. Всё равно у нас всё надо дублировать по стандарту.
Возникла новая проблема. Наблюдая за поведением инженеров-заказчиков, мы видели такую картину: они сначала совали ногу в машину для очистки, а потом цепляли бахилы из рулонной бахильницы. Сейчас повесили табличку, что либо то, либо другое, и лучше очиститься, но если жизненные принципы запрещают чистить обувь, то надевайте бахилы. Вроде тикет, который был на пару дней, а растянулся надолго, закрылся. Вот устройство:
По требованиям PCI DSS, нужно иметь возможность визуально отличать роли людей, находящихся в ЦОД. Не присматриваясь к пропуску и читая там что-то, а прям визуально, как военные друг друга отличают по погонам, только ещё ярче. Мы решили не выпендриваться и использовали старый добрый чатланский метод — цветовую дифференциацию штанов. Конкретно — стали делать ленты пропусков разного цвета. Зелёный как свой любимый сразу забрали наши админы.
Звучит просто, но это вызвало три неожиданных эффекта:
Ещё наши заказчики часто жаловались на кривые маршруты в картах до въезда в наш дата-центр «Компрессор». Забиваешь адрес, а дорога показывается неверно. Посетители в итоге заруливали не туда, потому что там железная дорога, а за ней пробка, и там не развернуться. Сначала мы хотели повесить указатели над дорогой. Есть такая услуга у города — под обычными указателями разместить жёлтые дополнительные, они считаются рекламой. И цена на них как на рекламу: на шоссе Энтузиастов одна табличка обходится в миллион рублей в год. Параллельно мы написали в Яндекс, и они даже внезапно ответили. И перестали безобразничать. Даже можно указать диоды ворот: въезд через одни, выезд через другие.
Гугл, если вы нас читаете, то знайте: у вас проблема всё ещё есть, и мы не знаем, кому об этом сказать, чтобы нас услышали.
В письма-приглашения вставили ссылки не просто на адрес, а на адрес с прокладываемым маршрутом от геопозиции пользователя. В итоге промахиваться стали меньше.
Вот вы знаете, что такое гобо-проекторы? Мы тоже не знали. Как-то думали, как маркировать ряды стоек. Сами стойки, естественно, промаркированы специальными быстросъёмными маркировками, но их видно с расстояния 1-2 метра. Сам зал 500 кв.м, поэтому заблудиться там есть где. Поэтому всё-таки подступились к маркировке рядов. Начался брэйншторм. Как маркировать, чем и куда? На полу, на стене, указатели на потолке и тд. И тут наш коллега увидел, что в «Икее» на полу раньше были истирающиеся наклейки, а потом появились световые стрелочки. Ну мы решили отреверсить простым способом: пойти в «Икею» и вывернуть один из проекторов посмотреть. Достать его не удалось: пока мы носили стулья, продавец спросил, что мы делаем. И сразу помог, сказав, что это гобо. Оказывается, это не сам проектор, а пластина или линза для цветного изображения. Вот этот светофильтр и есть гобо. Один проектор стоит от 40 тысяч рублей (там мощная лампа для дневного использования), а у нас 14 рядов в каждом из четырёх машзалов. Поэтому поклеили наклейки.
Ещё у нас схемы на стенах с годами выцветают. Мы их поменяли на ламинированные, с «вшитыми» специальными кармашками для ревизорро. Ревизорро в нашем случае — это главный инженер, в обязанности которого входит проверка на актуальность всех схем, размещённых в ЦОД. Так вот, все схемы должны ежегодно проверяться и подписываться таким ревизорро. А наличие специального маленького журнала в кармашке схемы делает эту процедуру проще и не требует замены самой схемы каждые три года. Профит!
Делали роторную чистку фальшпола снаружи. У нас есть уборки регулярные, есть методики и время проведения уборок. Но от колёс тяжёлых стоек остаются следы. Сделали чистку. Теперь нервничаем: сильно аккуратнее на вид не стало, зато появились блики под определёнными ракурсами у определённых людей, ну у которых свои фломастеры на свой вкус. Сейчас задумались и ищем какую-то химию, которая выбелит пол и придаст лоска. Чтобы даже у избранных вопросов не было.
Видели консольные стойки? Это которые разъездные фуршетные столики, только вместо напитков там терминал для подключения в стойку. Так вот у этих консольных стоек колёски отваливаются и клинят, как у тележек в супермаркете. Достало нас неимоверно. В итоге единственный возможный способ реанимировать — купить новое колесо. А колёса достать конкретно к нашим моделям уже не вышло, мы всех подрядчиков опросили. В итоге сами спроектировали стойку под себя, делая акцент на удобство передвижения по машзалу и ремонтопригодность. Очень хорошо получилось.
Была история с синтетическими носками. Есть такая штука — антистатические браслеты. Это когда ты подходишь к стойке, подключаешь браслет к земле на стойке, и он связывается с системой уравнивания потенциалов. Так вот, стойка-то заземлена, но может оказаться, что инженер не заземлён. Коллеги с прошлых мест работы рассказывали, как пару раз видели искры на видеонаблюдении, и мы у себя решили от греха обязать всех прямо по регламенту пользоваться.
Из серьёзного — была ситуация, когда разом отрубились все чиллеры. Чиллеры у нас не защищены ИБП, потому что мы верим в физику, и в качестве резерва по температуре у нас бассейн с захоложенной водой. Если что-то отключается, нужны не батареи для питания чиллеров, охлаждающих воду, а просто сама холодная вода, уже готовая. Удобно и просто, но есть нюанс. На чиллерах стоит защитная автоматика, которая при опасных параметрах электрической сети их отключает. Если ввод отключается, мы включаем ДГУ, и дальше чиллеры питаются от них. Всё бы хорошо, если бы мы жили не в России. У нас много раз были просадки сети, но всё было хорошо. А вот однажды скачок был резкий сначала вниз, потом резко вверх, потом опять вниз – за несколько секунд параметры ввода менялись примерно в 4 раза. Чиллеры отключились, естественно. Мы их сначала попробовали включить удалённо, но они защитили себя очень надёжно, по-аварийному. Пришлось смене идти ножками на крышу и включать их вручную. Что важно, по TierIII-стандарту, такая ситуация — это легитимная причина остановки ЦОДа. У нас остановки не было, потому что люди на местах с головой, и есть муштра с учениями. За это нас UI сношал просто регулярно, чтобы быть уверенными про TIII Operational. Если что, мы прошли ресертификацию UI на TIII Gold — Operational Sustainability. На российском коммерческом рынке дата-центров ничего круче нет, кроме нашего такой же ачивкой обладает всего один ЦОД [2]. Отмечу, что ресертифицироваться тяжелее, чем получить сертификат с нуля, поскольку они проверяют ещё прошлый период как не в себе, и доказательств требуется куда больше.
Был интересный инцидент с камерами. Решили пересчитать слепые зоны на всякий случай, нарисовали пересечения, построили диагонали углов обзора на плане, и вдруг нашли мёртвую зону примерно 30 сантиметров на 15 метров прямо в центре одного из залов. Узкая и длинная. В соседнем зале такой нет. Оказалось, что поворотная камера медленно сдвинулась за годы так, что стала показывать примерно на полтора градуса левее, чем надо в крайнем положении.
Ещё большой случай был в посте про ремонтную замену ДДИБП [3].
Автор: Павел Горюнов
Источник [11]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/informatsionnaya-bezopasnost/322848
Ссылки в тексте:
[1] звук может: https://habr.com/ru/post/373905/
[2] ЦОД: https://uptimeinstitute.com/TierCertification/operational-sustainability-certifications.php?page=1&ipp=All&clientId=&countryName=Russia&tierLevel
[3] про ремонтную замену ДДИБП: https://habr.com/ru/company/croc/blog/416089/
[4] Фотоэкскурсия по ЦОДу: https://habr.com/ru/company/croc/blog/147474/
[5] Как мы строили: https://habr.com/ru/company/croc/blog/182938/
[6] инфраструктура отказоустойчивого дата-центра класса TIER-III: https://habr.com/ru/company/croc/blog/183154/
[7] Программно-определяемый ЦОД: https://habr.com/ru/company/croc/blog/278929/
[8] Дата-центр в ящике стола: https://habr.com/ru/company/croc/blog/342820/
[9] Как мы монтируем ДДИБП: https://habr.com/ru/company/croc/blog/245553/
[10] ДДИБП Хайтека нового поколения: https://habr.com/ru/company/croc/blog/318184/
[11] Источник: https://habr.com/ru/post/458734/?utm_source=habrahabr&utm_medium=rss&utm_campaign=458734
Нажмите здесь для печати.