- PVSM.RU - https://www.pvsm.ru -
Здравствуйте! Начитавшись публикаций на тему строительства ЦОД небольшого
В этом году приходилось настолько много информации искать и применять, что я почувствовал свой предел в запоминания полезной информации. Поэтому мне сложно сразу вспомнить откуда я брал информацию (я говорю о приказах Минкомсвязи, Мининформсвязи, Роскомнадзора, СНИП, ВСН… ).
Под катом я постараюсь поверхностно пройтись по всем аспектам, по которым надо принять решение и реализовать в вашей аппаратной.
Если начинать с выбора помещения, то надо учесть, что инфраструктура этого помещения должна иметь хотя бы такой набор элементов и конструкций:
В зависимости от того, какие у вас планы на ваш автозал, вы можете выбрать определенный уровень защищённости от отключений электроэнергии.
Вы можете открыть любую из частей «Правил применение оборудования транзитных, оконечно-транзитных и оконечных узлов связи» (там 14 частей под разные типы узлов связи) и во всех будет отсылка на
А также на:
8. Электроснабжение электроприемников II категории надежности в нормальном режиме осуществляется от двух независимых взаимно резервирующих источников электропитания.
9. В качестве одного из независимых источников электропитания электроприемников II категории надежности допускается использование дизель-электрической станции.
… который в свою очередь утратил силу в связи с кучей изменений… и в общем теперь надо руководствоваться
Но при этом ссылка на 32 приказ есть, а в 97 не расписано, какой узел связи к какой категории электроприёмников относится. В связи с этим не понятно, какую категорию требуется обеспечить. Если вдруг кто в теме — поделитесь, пожалуйста, информацией.
Но допустим вы определились с тем, какая категория электроприёмника у вас и вы принимаетесь её обеспечивать. Для безопасности вашего бизнеса у вас в любом случае должен быть ввод с городской подстанции, ИБП и генератор на 2-5кВт (примерно столько вам потребуется для небольшой аппаратной с двумя стойками, забитыми различным оборудованием). А значит необходимо в вводно-распределительном устройстве (ВРУ) организовать АВР (автоматический ввод резерва) с функциями запуска генератора (можно вручную, если есть дежурная смена на объекте).
Возможно у кого то встанет вопрос, как всё это реализовывать, в каком виде, как разместить?
Простой АВР для работы с двумя вводами:
Итак, вы имеете электроустановку внутри вашего будущего автозала. Дальше вам нужно будет отводить оттуда линии на нагрузку. Ввиду того, что по периметру помещение обычно располагаются стеллажи для оборудования, шкафы для АКБ и прочие металлические конструкции (включая дверь), то хорошо бы сделать по периметру ленту заземления, к которой можно цеплять всё, что вам захочется поставить вдоль стен и будет необходимо заземлить.
Ввиду того, что у ваше оборудование должно быть подключено через ИБП, то первая очевидная линия от вашего ВРУ пойдёт именно к ИБП. В моём случае это 3-х фазный APC Symmetra, которую я бы не советовал покупать, ввиду её текущей стоимости. Можно найти ИБП более скромных производителей. Основными я бы выделил следующие критерии для себя:
И уже от ИБП отводить линии на блоки розеток в стойке(ах), в зависимости от места установки вашего ИБП (общий или индивидуально в каждый шкаф).
Здесь в схеме электропитания есть узкое место — ИБП. Поэтому конструкция ИБП должна быть либо такая, в которой ломаться нечему (APC Symmetra например, без силовых и батарейных модулей представляет из себя просто медные шины (практически)).
Если вы используете ИБП индивидуально на шкаф, то позаботьтесь о том, что бы в шкафы были линии от разных ИБП, а блоки питания оборудования были подключены к разным ИБП.
Или же есть третий вариант: у вас ИБП позволяет забрать от него силовую линию, затащить обратно в ваш АВР, а дальше собрать схему, при которой можно подавать питания на линию либо через ИБП, либо напрямую от городского ввода или генератора. Такая схема позволит снимать ИБП с линии для регламентного обслуживания и ремонта.
С инвертором тока схемы аналогичны схемам с ИБП, если он у вас достаточно серьёзный, что бы на нагрузку линии уходили с более или менее серьёзных клемм. А если у вас небольшие инверторы, то, как правило они и не заточены под то, что бы с ним забирать большим сечением питание на нагрузку. Такие ставятся внутри стойки, где они будут использоваться. А если есть потребность подключить много оборудование (а не одну-две железки), то с клеммной колодки инвертора отводится линия в РЩ в самом шкафу и там через шины или АВ 2P (или через АВ для минуса и шину для плюса) уже отводятся линии на нагрузку.
У меня для целей размещения ИБП и инверторов установленная отдельная каркасная стойка с большой цифрой в значение несущей массы, в которую приходят линии питания от ВРУ с АВР. А затем из которой уходят линии питания на шкафы с оборудованием.
Здесь я бы хотел отметить пару моментов, связанных с выбором материалов и комплектующих:
Для того, что бы понять, сколько вам нужно купить аккумуляторов (а именно в этом вопрос, потому как это требует много денег), то нет ничего сложно если вы знаете, на какую нагрузку на вашу энергосистему вы рассчитываете в ЧНН (час наибольшей нагрузки). Для встроенных внутрь батарейных блоков информацию по автономности вы найдёте в материалах для ИБП, а для подсчёта необходимой ёмкости внешней сборки нужно перемножить вольтаж сборки на ёмкость и поделить на нагрузку (t=V*Ah/Wt). Но так как разряд аккумулятора это не линейный процесс, то надо в мануалах к аккумуляторам посмотреть графики разряда и в зависимости от времени, которое у вас получилось, применить коэффициент найденный в паспорте. Тогда вы получите более или менее реальное время автономии от вашей системы АКБ. Исходя из этого вы поймёте, какую ёмкость вашей сборки АКБ надо обеспечить.
В статье про строительство собственного маленького ЦОД для маленького
Я выше писал про блоки розеток… но на самом деле я считаю, что правильнее подключать оборудование от АВ в РЩ внутри стойки. Так соединение получается надёжным и защищённым. Но тут есть некоторые неудобства. В основном они связаны с тем, что оборудование имеет совершенно конкретную розетку С14, вилку для которого (С13) не всегда можно найти надлежащего качества. В итоге она может там шататься и слабое место уже будет там. К тому же надо учесть, что не все инженеры хотя бы знают что такое ПУЭ, а им надо иметь возможность безопасно включить оборудование (опустим тот момент, что по технике безопасности любой инженер должен быть как минимум с 3-ей группой в корочке по электробезопасности + сопровождение ответственного с 4-ой группой — все мы понимаем реальность бытия).
Для того, что бы прокладывать кабель из разных уголков вашего автозала (от вводов в саму аппаратную или от шкафа с аккумуляторами) вам потребуются кабельные лотки. Это может быть система кабельных лотков под фальшполом, или лотки под потолком, проходящие по периметру помещения и над стойками… В моём случае было принято оптимальное решение: под потолком идут кабельные локти, а в полу был вырезан жёлоб проходящий под телекоммуникационными шкафами, шкафа с АКБ и ответвление к ВРУ на стене. Жёлоб оббит железом (и заземлён), а сверху накрыт 4мм стальными листами, которые так же как и весь остальной пол, покрыты антистатическим не горючим линолеумом. Нужно поставить новые стойки – убрать с нужных мест лючки, поставили стойки, подтащили по жёлобу линии питания постоянного и переменного тока и всё. При этом жёлоб в полу используется только для силовой проводки, а сетчатые локти под потолком используются для медных СЛ и оптического кабеля.
Несмотря на то, что оборудование ещё не инсталлировалось в этот автозал, кабельные локти уже занимаются жгутами медных линий и оптическими кабелями. А именно были сдельны перекидные кроссы между стойками. У меня есть две кроссовые конструкции: стойка однорамная и конструктив с трубчатыми монтажными профилями для 10-ти парных плинтов. Из телекоммуникационных стоек в однорамную стойку приходят жгуты UTP из каждой стойки, которые с обеих сторон расшиты на патч панели. Аналогично организован оптический перекидной кросс.Таким образом любые кроссировки между оборудование в разных стойках выполняется короткими патч-кордами внутри своей стойки. А входящие единичные медные линии в автозал (СКС из офиса на 8 линий и медные соединения с партнёрами тоже приходят на раму с кроссами, после чего перекидываются уже на нужное оборудование.
А здоровенная рама для плинтов мне нужна ввиду необходимости организовать большой объём соединений PRI портов между станционной и транспортной стороной. Плата транспорта SDH или медиа шлюза расшивается сразу на нужную сторону конструктива, затем кроссируется при необходимости обычным кроссировочным шнуром.
Благодаря тому, что силовые кабели у меня идут по жёлобу в полу, а слаботочка заходит в шкафы сверху, они практически не пересекаются друг с другом (у меня есть оборудование, питание которого включается спереди), даже с учётом того, что кроссы расположены на задних монтажных профилях.
По моему мнению, если вы строите узел связи или серверную, где будет ваше основное, или одно из основных мест дислокации, то минимальные размеры шкафа должны быть 800х1000 (ШхГ), стандартной высотой 42U, с цоколем или на 10см приподнятые над полом, а так же отверстиями для ввода кабельной инфраструктуры, как через цоколь, так и через потолок. Хотя я предпочитаю 47U, потому что когда в шкаф всякого набивается, юниты становятся дефицитом и сделать с этим ничего нельзя будет.
И я не просто так написал «размеры шкафа». Я считаю, что стойки (просто двойная каркасная рама) использовать можно только для стендов тестирования и кроссов. Спустя некоторое время эксплуатации ряда стоек, вы обнаружите, что патч-корды были прокинуты лианами между стойками со всех сторон, даже если вы сами любите порядок, то кто-то другой обязательно для ускорения процесса кинет такую соплю, а потом забудет переделать до того, как там пустят клиентский сервис. Именно поэтому должны быть шкафы и у них обязательно должны быть закрытые боковые панели и закрывающиеся двери.
Для того, что бы двери закрывались всегда, необходимо монтажные профили устанавливать хотя бы на 10см вглубь, как спереди, так и сзади. Если их ставить близко к двери — могут возникнуть неудобства с оборудованием, которое выступает вперёд своей передней панелью за монтажные профили, + SFP модуль торчит + оптический патч-корд в нём. Как результат — дверь будет гнуть патч-корды, если вообще сможет закрыться. Буквально недавно из-за такой не продуманности пришлось несколько раз ездить на узел, где у нас был установлен cwdm в арендуемой стойке (к слову сам он даже не выпирал за пределы плоскости монтажных профилей). Дверь могли закрыть по-разному и она по-разному прижимала патч-корды, роняя линки. Хорошо, что поняли в чём дело ещё на этапе тестирования и наколхозили по-быстрому решение. А для того, что бы иметь возможность утопить монтажные профили, и нужна глубина шкафа от 1000мм — в случае приобретения довольного сервера (на 800 например), вы не сможете закрепить салазки на профилях расставленных ближе чем 800мм, а сам сервер не сможет до конца заехать в стойку. (по крайней мере у платформ Intel такая конструкция салазок).
Сами двери бывают стеклянные или перфорированные (кто-то покупает целиком стальные без перфорации). Здесь выбор под задачи и способы обеспечивания климата. Если холодный воздух у вас подаётся в коридор, то смысла брать стеклянную дверь (или дверь без перфорации) никакого нет. Берите перфорированные двери и всё ваше оборудование будет охлаждаться забирая воздух с фронтальной части (сервера особенно), выгоняя нагретый назад. Если же вы подводите рукава с холодом под стойку, то нужно брать стойки с глухими дверями.
В шкафу обязательно должны быть вертикальные органайзеры на переднем монтажном профиле и, по необходимости, на задних. У меня вертикальные органайзеры с обеих сторон, потому как спереди организуется подъём и спуск меди и оптики, а сзади подвод питания к оборудованию и UTP от серверов (опять же медь с данными идёт по одной стороне, а силовые шнуры по другой). Причём при подводе питающих кабелей в стойку, прикиньте, с какой стороны у вас будут блоки питания — с той и подводите линию. Тогда другая у вас будет для укладки меди от серверов и каталистов (для примера) с платами в задних слотах…
Считается вроде бы не сложно. Если вы сейчас не знаете, какие у вас будут потребности потом, то можно быстро прикинуть и выйти на 2 варианта:
В любом случае должен быть резерв системы поддержания температуру от 18 до 24°С и влажность в районе 50-60% у вас в автозале. У нас например большой кондиционер питается от другой электросети, нежели автозал. И вот если кто-то сможет его погасить, то автоматически запустится сплит система, которые так же без проблем справятся с этой задачей, но питание они возьмут из электросети с дизелем, но без драгоценного автономного ресурса ИБП.
Ещё можно заниматься автоматизацией и мониторингом, в зависимости от того, на что способны кондиционеры… У нас например есть блок управления сплит системой, который мониторит температуры в нескольких точках автозала и задаёт режим работы нескольких кондиционеров.
Но в общем для меня эта тема довольно далека и всё, что нам необходимо было делать по этому вопросу — делала подрядная организация. В планах только прикрутить к этой системе сигнализацию от систем типа netping или чего-то подобного, что бы запускались дополнительные кондиционеры не только, когда большой отключится.
В связи с тем, что небольшие операторы связи имеют право регистрировать узлы по упрощённой схеме, с недавних пор отпала необходимость готовить проекты на все инженерные системы узла (электропитание, кондиционирование, освещение, пожаротушение, и кажется был раньше проект кабельных трасс). Это значит, что при подаче документов в Роскомнадзор на регистрацию узла связи, вы имеете право не предоставлять этот пакет документов. Но сделано у вас всё должно быть, потому как проверочные комиссии технадзора никто не отменял и они вполне себе могут прийти и провести инспекцию вашего опасного (или особо опасного) объекта. Поэтому не стоит отступать от реализации всего этого только потому, что ваше руководство выяснило, что ничего этого не надо для регистрации узла. Рано или поздно эти системы отработают и спасут от убытков или смерти.
После того, как вы решили, что закончили с обустройством своей аппаратной и теперь дело только за инсталляцией и включением оборудования, убедитесь, что у вас есть некий набор документации и регламентов, который хранится в непосредственной близости к обслуживаемому оборудованию:
Бессмысленно бороться с шумом невиданными стойками с шумоизолирующими панелями… Тишуну можно сделать только тремя способами:
Можно начать с этим документов и постараться понять чего нужно придерживаться. НТП 112-2000 РД 45.120-2000 — документы с кучей ссылок на всё то, на что надо опираться при строительстве узла связи. Из него правда пригодится всем, наверное, только несколько пунктов:
И посыл, который я просто не нашёл куда воткнуть:
покупая любой кабель, электротехническое изделие, шкафы, кроссовок оборудование – выбирайте с сертификатами серии ССС или декларация соответствия в области связи — чем ближе к связи, тем лучше. На многое конечно сертификатов/деклараций в области связи нет и не требуется, но тогда хотя бы соответствие ГОСТ. На электрический кабель например есть ГОСТ, есть ТУ и продукт экономии на производстве… Ничего кроме ГОСТ брать не стоит — вы попадёте на заниженные характеристики и составы материала.
просто качественные материалы. Например на плинты не требуется сертификация или соответствие в области связи. Но взять плинт от krone и другой китай, через пару лет вы увидите, что krone всё так же держится на монтажных трубках, а «китай» подсох и трения не достаточно, что бы он оставался видеть там, где его воткнули. Немного небрежного отношения, и вы познаете разницу в прочности и эластичности пластика. Сам я на всё это натолкнулся только в этом году, когда пришлось разбирать старый кросс и с noname производителем и с krone.
Наверное многие скажут, что не нужно им это всё в серверных, тем более в малом бизнесе. Вы правы, но стремиться к чему-то ведь надо? Выбирайте пределы, которые вы готовы достичь и достигайте. В любом случае норматива из области связи мне кажется самой адекватной и обоснованной.
В следующей части я постараюсь изложить принципы выбора и размещения оборудования, а так же способы подключения к слаботочным сетям и электропитанию.
Все замечания по орфографии, правописанию и опечаткам пожалуйста в личные сообщения.
Так же я буду рад, если вы поделитесь тем, какие решения вы применяли при обустройстве инфраструктура.
PS: простите меня пожалуйста за отсутствие табуляции — в редакторе она есть, но в пост парсером не переносится. Решить этот вопрос никак не смог.
Автор: bravo-ej
Источник [2]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/it-infrastruktura/202819
Ссылки в тексте:
[1] хостинг: https://www.reg.ru/?rlink=reflink-717
[2] Источник: https://habrahabr.ru/post/313588/?utm_source=habrahabr&utm_medium=rss&utm_campaign=sandbox
Нажмите здесь для печати.