- PVSM.RU - https://www.pvsm.ru -
Сегодня мы хотели бы рассказать про один из последних проектов по созданию корпоративного центра обработки данных. Это Череповецкий ЦОД компании «ФосАгро», основное направление деятельности которой – производство фосфорсодержащих удобрений, фосфатного сырья, а также кормовых фосфатов, азотных удобрений и аммиака. В Группу «ФосАгро» входят АО «Апатит» и его Балаковский филиал, АО «ФосАгро-Череповец», АО «Метахим», ООО «ФосАгро-Транс», ООО «ФосАгро-Регион» и АО «НИУИФ». Группа является крупнейшим европейским производителем фосфорных удобрений, а также крупнейшим мировым производителем высокосортного фосфорного сырья.
Основными целями создания нового ЦОДа стали централизация серверного комплекса «ФосАгро» в одном месте, а также реорганизация ядра сети. Проект был реализован всего за четыре месяца, причем, по классической технологии – с капитальным ремонтом помещений. Как этого удалось добиться спросите вы? В первую очередь, благодаря эффективно работающей команде, своевременной поставке оборудование, согласованному выполнению монтажа различных подсистем. Ну и, конечно, помог грамотный выбор технических решений. Подробности – ниже.
Прежде чем остановиться на строительстве своего собственного ЦОДа по классической технологии специалисты «ФосАгро» рассмотрели и другие варианты решения существующих ИТ-задач. Один из них – использование услуг коммерческих ЦОДов. Но проанализировав предложения нескольких провайдеров, поняли, что высокие операционные затраты (OPEX) приводят к тому, что этот вариант невыгоден (выше TCO) при большом горизонте планирования. Кроме того, сосредоточение КЦОД в Москве и Санкт-Петербурге означало необходимость непростого и дорогостоящего перевода серверного комплекса в одну из столиц – еще один минус такого варианта.
Далее рассматривалась возможность установки контейнерного ЦОДа. Однако выгода оказалась не очевидна в виду технических обстоятельств и того, что в существующем здании достаточно ресурсов, и его модернизация оказалась не столь затратной. Такое решение востребовано в тех случаях, когда ощущается дефицит физического места для размещения оборудования или предполагается возможность его перебазирования в другое место – ни то, ни другое для «ФосАгро» актуальным не является.
В итоге было решено оперативно создавать ЦОД в трехэтажном здании ИТ-службы на территории «ФосАгро».
Основным критерием при создании ЦОДа являлась отказоустойчивость, поэтому было принято решение закупать все основное инженерное оборудование у одного вендора. Моновендорное решение также обеспечивает 100%-ную совместимость всех компонентов инженерной инфраструктуры, позволяет снизить стоимость эксплуатации и обслуживания. Оно исключает споры между подрядчиками о причинах неполадок и способствует их оперативному устранению. Еще одно преимущество моновендорного ЦОДа – единый сервисный контракт. Проще реагировать на изменения и отклонения от нормы – причины выявляет вендор, он же принимает решение, например, по замене отказавшего компонента. Не нужно искать, на чьей стороне проблема.
Таким образом, «ФосАгро» рассматривал только моновендорные решения и практически сразу было выбрано предложение Schneider Electric. Качество и накопленный положительный опыт эксплуатации решений Schneider Electric способствовали принятию данного решения. Оборудование Schneider Electric успешно эксплуатируется на площадке «ФосАгро» в Кировске, а в штате есть обученные данной компанией специалисты.
На следующем этапе был проведен тендер, в котором участвовали семь крупных интеграторов с высоким партнерским статусом Schneider Electric и опытом реализации подобных проектов. Выиграла компания IBS Platformix, предложившая оптимальную цену и сроки реализации проекта.
Проект требовалось реализовать в сжатые сроки, поскольку состояние инженерных систем в существующих серверных комнатах уже не позволяло обеспечить требуемые показатели надежности. Благодаря слаженной работе команды специалистов заказчика, производителя и интегратора, оперативной поставке и установке оборудования, ЦОД был построен и запущен в эксплуатацию за рекордно короткое время. Итоги тендера были подведены в августе 2016 года, а основные работы по проекту закончены до конца зимы.
Интересно, что работы специалистов разного профиля при строительстве ЦОДа велись одновременно. Например, сроки поставки чиллеров согласовывались со сроками строительно-монтажных работ – оборудование устанавливалось на свое место буквально «с колес», без дополнительных перемещений по объекту. А четкая синхронизация работ совместно с представителями вендора позволила сократить время их выполнения.
Несмотря на оперативное создание новой площадки, ЦОД «ФосАгро» нельзя назвать типовым. Он состоит из двух залов, один из которых предназначен для стандартного ИТ-оборудования, второй — для стоек, где размещаются системы хранения данных и серверы нестандартного форм-фактора. В первом зале установлено 28 стоек (6 стоек по 7 кВт, остальные – по 3,5 кВт) и реализована изоляция горячего коридора.
Система изоляции воздуха горячего коридора EcoAisle
Во втором зале, где находится ИТ-оборудование нестандартных габаритов, реализована несколько иная схема: выделен холодный коридор так же между двумя рядами стоек, но он не изолирован. Площади дата-центра позволяют разместить все имеющееся в Группе оборудование и оставляют резерв для роста.
Изоляция горячего коридора в ЦОД «ФосАгро»
Расчетная нагрузка дата-центра по ИТ-оборудованию – 250 кВт, столько же потребляют инженерные системы. Электропитание в ЦОД подается от подстанции среднего напряжения общей мощностью 1 МВт (два трансформатора по 500 кВт). На площадке два ИБП мощностью по 500 кВт развернуты по схеме взаимного резервирования и могут питать не только ИТ, но и критически важные элементы инженерной инфраструктуры, а модульная архитектура исключает наличие единой точки отказа. Установленные устройства Symmetra PX представляет собой модульные системы бесперебойного питания с высоким КПД — 95,6%, что позволяет сократить расходы на электропитание как самого ИБП, так и обслуживающей его системы кондиционирования (для этой цели применена стандартная фреоновая сплит-система).
Модульная масштабируемая трехфазная система бесперебойного питания Symmetra PX Schneider Electric
Зал с ИТ-оборудованием нестандартных габаритов
Для кратковременного автономного питания ИТ-нагрузки установлен комплект аккумуляторных батарей, рассчитанный на то, чтобы обеспечить автономное электропитание 10-15 минут – этого времени достаточно для гарантированного запуска дизеля. Но пока ЦОД загружен не на полную мощность, аккумуляторы способны гарантировать время автономии более часа. В качестве резервного источника используется ДГУ.
Еще одним важным требованием к новому ЦОДу стала высокая энергоэффективость. Предприятие «ФосАгро» в Череповце хорошо обеспечено энергий, поэтому проблем с получение нужной мощности не было (хотя и требовалась тщательная «очистка» поступающего с завода электричества). Энергоэффективность была важна даже не столько из-за сокращения энергопотребления, сколько ради снижения влияния на окружающую среду. Это тем более символично, поскольку 2017 год – год экологии в России. ИТ-руководители «ФосАгро» хотели доказать, что можно быстро и качественно построить надежный и энергоэффективный объект.
Электропитание в ЦОД подается от подстанции среднего напряжения общей мощностью 1 МВт (два трансформатора по 500 кВт)
На энергоэффективность влияет масса факторов, включая, в частности, КПД установленных систем ИБП. Но главный вклад в снижение энергопотребления вносит активное использование естественного охлаждения (фрикулинга). В новом ЦОДе установлена инновационная чиллерная система Aquaflair, в которой с октября по апрель задействована функция фрикулинга. В данном режиме работает только циркуляционный насос, перекачивающий теплоноситель (этиленгликоль), при этом потребляется минимум электроэнергии.
Чиллеры Schneider Electric Uniflair серии TRAF с функцией фрикулинга
Один из чиллеров системы охлаждения ЦОД «ФосАгро»
Для повышения эффективности охлаждения предусмотрена уже упомянутая система изоляции горячего коридора EcoAisle и внутрирядные кондиционеры InRow в компактном корпусе (шириной всего 300мм). Холодопроизводительность такого кондиционера составляет до 62 кВт при энергопотреблении 1,8 кВт. Таким образом, коэффициент эффективности кондиционера составляет более 34 кВт холода на 1 кВт электричества.
Внутрирядный кондиционер в серверном зале ЦОД «ФосАгро»
Новый ЦОД построен в соответствии с требованиями к надежности и отказоустойчивости, предъявляемыми к объектам Tier III, что, в частности, позволяет отключать компоненты инженерной инфраструктуры для их профилактического обслуживания и ремонта без прерывания работы ЦОДа.
Для части ключевых компонентов обеспечивается даже трехкратное резервирование. Например, установлено три чиллера: один из них находится в рабочем режиме, второй – в резерве, а третий – в режиме «standby». Каждые несколько часов они меняются ролями. Тем самым повышается отказоустойчивость и гарантируется равномерная выработка ресурса оборудования. Любой блок можно вывести из работы для обслуживания без нарушения работы сервисов.
Кроме того, концепция построения ИТ-системы «ФосАгро» предусматривала создание двух географически разнесенных ЦОДов для катастрофоустойчивости – в Череповце и Кировске (Мурманская область). Площадка в Кировске, теперь уже резервный ЦОД был построен три года назад. Он аналогичен новому, основному, но на нем применяются системы холодоснабжения на фреоне. В ЦОДе Кировска так же два зала, но рассчитаны они на меньшее число стоек. В настоящее время ИТ-системы «ФосАгро» разнесены по этим двум ЦОДам.
Для мониторинга инженерных систем в новом ЦОДе применяется система StruxureWare Data Center Expert. Это независимая от аппаратуры конкретного производителя масштабируемая система мониторинга, которая собирает данные с различных датчиков и «интеллектуальных» устройств, обеспечивает генерацию аварийных сообщений и другие функции, формируя единое представление о комплексной физической инфраструктуре объекта.
Карта расположения датчиков и оборудования с привязкой к реальному помещению ЦОДа в StruxureWare
Централизованная система управления всеми объектами инженерной инфраструктуры обеспечивает сквозной мониторинг всех уровней инженерных систем и позволяет повысить эффективность службы эксплуатации. StruxureWare осуществляет не только мониторинг различных параметров окружающей среды, но также сохраняет полученную информацию для последующего анализа.
Отображение трендов по основным параметрам в режиме реального времени
Еще до основного тендера, на этапе проектирования специалисты Schneider Electric осуществляли экспертизу проекта, вносили свои замечания, подготовили спецификацию оборудования. Представители производителя присутствовали на площадке на всех этапах: монтаж горячего коридора, систем электро- и холодоснабжения, включая самый сложный этап запуска в эксплуатацию и наладки оборудования.
Schneider Electric оперативно выполнила шеф-монтаж, провела тестирование оборудования. По контракту она в течение трех лет будет обслуживать обе площадки. Вендор проводит регулярный осмотр оборудования (систем охлаждения и электропитания) для планово-предупредительного ремонта. Инженер Schneider Electric в заранее определенное время проводит комплексное обследование систем холодоснабжения два раза в год и систем электроснабжения – раз в год.
В StruxureWare настроены уведомления для передачи аварийных сообщений в Help Desk, кейсы заводятся автоматически, и инженер оперативно принимает меры. Все компоненты инженерных систем проводят самодиагностику на регулярной основе, и любые ошибки в их работе отображаются в системе мониторинга, что позволяет незамедлительно реагировать на внештатные ситуации.
Последние годы Группа «ФосАгро» вкладывает серьезные средства в развитие ИТ, автоматизацию производства и бизнеса. Централизация ИТ-ресурсов в Череповце способствовала реализации таких проектов как единый электронный архив с обменом документами между площадками холдинга. Бизнес-критичные приложения теперь работают на разнесенных кластерах. Площадки связывает резервированный канал 400 Мбит/с. Доступ пользователей в новом дата-центре организован на скорости 1 Гбит/с, а для других площадок компании в пяти крупнейших городах России – 200 Мбит/с.
В результате осуществления проекта по оснащению ЦОДа заказчика было получено интегрированное энергоэффективное решение, соответствующее Tier III по классификации Uptime Institute
Понятно, что процессы «цифровой трансформации» невозможны без современных технологий. А с помощью платформы, которую обеспечит инженерная инфраструктура Schneider Electric для ЦОДа «ФосАгро», реализуется надежное и эффективное функционирование и устойчивое развитие ИТ-систем. ЦОД позволил обеспечить ИТ-оборудование качественным бесперебойным электропитанием, создать для его работы необходимые климатические условия. Сейчас нагрузка ЦОДа по электропитанию составляет всего 15-20% – инженерные системы проектировались с расчетом на будущий рост серверного парка в ближайшие 5-7 лет.
Автор: Andrey_SE
Источник [1]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/it-infrastruktura/264901
Ссылки в тексте:
[1] Источник: https://habrahabr.ru/post/339290/
Нажмите здесь для печати.