Рубрика «дата-центр»

7 дней, 15 инженеров и 600 серверов: как Яндекс.Деньги переехали в новый дата-центр - 1

Недавно у департамента эксплуатации Яндекс.Денег прошло значимое событие. Наша компания быстро растет, и оказалось, что перемен требуют не только наши сердца, но и дата-центр. А точнее, перемен требовала его локация. И вот уже три месяца, как один из дата-центров живет в новом месте.

О том, как Яндекс.Деньги переезжали в новый дата-центр, расскажу я, руководитель департамента эксплуатации, и Иван, начальник отдела ИТ-инфраструктуры и внутренних систем.

Под катом — хронология событий, важные вехи переезда, неожиданные повороты и разбор полетов. Делимся, как мы пережили это.
Читать полностью »

Особенности строительства национальных дата-центров, Михалыч - 1
Проводим измерения для прохождения сертификации по Tier 3 в дата-центре в Стамбуле. И нет, на фото не я.

Я руковожу проектами создания ЦОДов в России и за рубежом. И хочу рассказать о том, как в последние годы российские ЦОДы приобретают свой особый стиль проектирования.

И я не про истории вроде того, что если в проекте есть контейнерный дизель-генератор, то надо обязательно сразу спроектировать площадку для курения близко к выходу из здания. Потому что, если так не сделать, народ будет курить за ДГУ и бросать бычки на землю или прямо в дырку вентиляции. А когда его нужно будет завести, он заберёт потоком воздуха их все в радиусе пары метров и сразу забьёт фильтр.

Скорее речь идёт о более глобальных вещах, касающихся общих идеи и стиля проектирования. Основывается этот стиль на том, что российский заказчик обычно знает, что ему нужен ЦОД, но не знает, какое ИТ-оборудование он поставит в него через год или два, не говоря уже про перспективу десяти лет. Поэтому дата-центр проектируется максимально универсальным. Если описать это как «следующие десять лет размещать любое оборудование, которое выходит на рынок», то не особо промахнётесь. В итоге получается, что проект ЦОДа нацелен на то, чтобы объект легко модернизировался в будущем без переделки здания, капитальных реноваций и так далее.

Пример: никто не знает «на берегу» какую необходимо делать ширину «холодного» коридора. Да, есть минимальные нормативы, но мы в последние годы стараемся сделать его шириной не менее 2,4 метра, потому что есть негабаритное оборудование в своём конструктиве, которое от 1 500 мм в глубину и необходимо учитывать его радиус поворота, закладывая ширину коридора.Читать полностью »

Развернуть дата-центр за время доставки пиццы - 1

— Да этот ЦОД можно развернуть и настроить, пока ты пиццу заказываешь!

Я бросил эти слова на совещании, и расплата пришла немедленно. Коллега предложила заказать пиццу. Оплачивает проигравший: если я успеваю собрать ЦОД — то она, если не успеваю — то я.

Чёрт!

В общем, встречайте стресс-тест: гиперконвергентное решение от Cisco с простой настройкой против приготовления пиццы.Читать полностью »

Админ без рук=гиперконвергенция? - 1
Админ без рук=гиперконвергенция? - 2

Это миф, достаточно распространённый в сфере серверного железа. На практике же гиперконвергентные решения (когда всё в одном) нужны много для чего. Исторически сложилось, что первые архитектуры были разработаны Amazon и Google под свои сервисы. Тогда идея была в том, чтобы сделать вычислительную ферму из одинаковых узлов, у каждого из которых есть собственные диски. Всё это объединялось неким системообразующим софтом (гипервизором) и разбивалось уже на виртуальные машины. Главная задача — минимум усилий на обслуживание одного узла и минимум проблем при масштабировании: просто докупили ещё тысячу-другую таких же серверов и подключили рядом. На практике это единичные случаи, и гораздо чаще речь про меньшее число узлов и немного другую архитектуру.

Но плюс остаётся тем же — невероятная простота масштабирования и управления. Минус — разные задачи по-разному потребляют ресурсы, и где-то локальных дисков будет много, где-то мало оперативки и так далее, то есть при разном типе задач будет падать утилизация ресурсов.

Получалось, что вы платите на 10–15% больше за удобство настройки. Это и вызвало миф из заголовка. Мы долго искали, где же будет применяться технология оптимально, и нашли. Дело в том, что у Циски не было своих СХД, но они хотели полный серверный рынок. И они сделали Cisco Hyperflex — решение с локальными хранилищами на нодах.

А из этого внезапно получилось очень хорошее решение для резервных дата-центров (Disaster Recovery). Почему и как — сейчас расскажу. И покажу тесты кластера. Читать полностью »

О партнерских программах хостинговых компаний - 1

Сегодня мы бы хотели проговорить основные плюсы и минусы партнерских программ хостинг-провайдеров средних размеров. Актуально это, потому что все больше и больше компаний отказываются от собственной монолитной инфраструктуры где-то в подвале офиса и предпочитают платить хостеру, вместо того, чтобы самим возиться с железом и держать под это дело целый штат специалистов. А основная проблема партнерок хостинг-рынка в том, что тут нет единого стандарта: каждый выживает, как может и устанавливает свои правила, ограничения и размеры вознаграждений. Ну и еще мы бы хотели узнать мнение потенциальных участников этих программ.

Три типа современных партнерских программ

Человеку, не знакомому с понятием «партнерская программа хостинг-провайдера» может показаться, что речь идет о каких-то преференциях для клиентов или акциях и скидках, но на деле «партнерская программа» — это просто модель продаж услуг хостера через третьи руки. Если отбросить высокие формулировки, то все партнерки сводятся к одному простому тезису: приведи к нам клиента и получи свой гешефт с его чека.

Мы помним, что у каждого хостера свои правила и тараканы, так что условно можно выделить три основных типа партнерских программ:
Читать полностью »

Как мы упоролись по энергоэффективности машзала - 1

Посвящаю этот пост тем людям, которые врали в сертификатах, из-за чего мы чуть было не установили у нас в залах бенгальские огни.

Истории больше четырёх лет, но публикую сейчас, потому что закончился NDA. Тогда мы поняли, что загрузили дата-центр (который сдаём в аренду) почти полностью, а энергоэффективность у него что-то не очень улучшилась. Раньше гипотеза была в том, что чем сильнее мы его заполняем, тем лучше, потому что инженерка распределяется на всех. Но оказалось, что мы себя в этом плане обманывали, и при хорошей загрузке где-то были потери. Работали мы по многим направлениям, но наша отважная команда занялась охлаждением.

Реальная жизнь дата-центра — это немного не то, что в проекте. Постоянные докручивания от службы эксплуатации для повышения эффективности и оптимизация настроек под новые задачи. Вот взять мифическую среднюю стойку. На практике её не бывает, по нагрузке распределение неравномерное, где-то густо, где-то пусто. Вот и пришлось кое-что перенастроить для лучшей энергоэффективности.

Наш дата-центр Компрессор нужен для самых разных заказчиков. Поэтому там посреди обычных двух–четырёхкиловаттных стоек может оказаться вполне себе 23-киловаттная или больше. Соответственно кондиционеры были настроены на то, чтобы охлаждать их, и через менее мощные стойки воздух просто проносился мимо.

Вторая гипотеза была в том, что тёплый и холодный коридоры не смешиваются. После замеров могу сказать, что это иллюзия, и настоящая аэродинамика отличается от модели примерно всем. Читать полностью »

От переводчика

Уважаемые читатели! Так как это мой первый эксперимент по размещению контента на Хабре, прошу не судить слишком строго. Критика и предложения охотно принимается в ЛС.

Недавно, Google объявил о доступности нового дата-центра в Солт-Лейк Сити, в штате Юта. Это — один из наиболее современных ЦОД, в которые инвестировали такие компании, как Microsoft, Facebook, Apple, Yahoo, и другие, расположенных вдоль линии, соответствующей 41-ой параллели на территории США.

карта расположения ЦОД

Каждая из этих компаний инвестирует миллиарды долларов в эти четыре города:

Так что же делает 41-ую параллель настолько особенной, заставляя различные компании вкладывать миллиарды долларов, строя дата-центры в этих городах?

Читать полностью »

Наши турецкие клиенты попросили нас правильно настроить бэкап для дата-центра. Мы делаем подобные проекты в России, но именно здесь история была больше про исследование того, как лучше сделать.

Дано: есть локальное S3-хранилище, есть Veritas NetBackup, который обзавёлся новым расширенным функционалом по перемещению данных в объектные хранилища теперь уже с поддержкой дедупликации, и есть проблема со свободным местом в этом локальном хранилище.

Задача: сделать всё так, чтобы процесс хранения резервных копий был быстр и дешев.

Собственно, до этого в S3 всё складывалось просто файлами, причём это были полные слепки критичных машин дата-центра. То есть не так, чтобы очень оптимизированно, но зато всё работало на старте. Сейчас же пришло время разобраться и сделать правильно.

На картинке то, к чему мы пришли:

Как уплотнить до 90% хранение бэкапов в объектном хранилище - 1

Как видно, первый бэкап делался медленно (70 Мб/с), а последующие бэкапы тех же систем — значительно быстрее.

Собственно, дальше чуть больше деталей про то, какие там особенности. Читать полностью »

Отчасти санкции, отчасти рост технологического бизнеса, отчасти рост дохода этого самого бизнеса сформировали в России условия для развития коммерческих ЦОД. Если раньше можно было горько усмехнуться над SLA, ждать пока встанет интернет-магазин на лежащем сервере, фактически доверять провайдеру «в тёмную», то сегодня бизнес формирует запрос на исключительно качественные услуги, а ЦОДы стремятся соответствовать.

Рынок становится ощутимо более стабильным, формируются ключевые игроки. А главное, появляются технически совершенные дата-центры, о которых даже 5 лет назад нельзя было и подумать. Ребята, хотим мы этого или нет (конечно, хотим!), но это мир хранения данных нового уровня и мир данных без границ — в прямом смысле этого слова. А где предпочитают работать ваши данные?

Дата-центры на выбор: Лондон, Москва, Цюрих, Санкт-Петербург - 1
Читать полностью »

Игры в тетрис, или что такое capacity management в дата-центре - 1
Зал дата-центра NORD-4 в 2016 году.

Вот пустой машинный зал в дата-центре. Думаете, стойку можно поставить в любое место? Если бы все было так просто!

Меня зовут Алексей, я занимаюсь capacity management в дата-центрах DataLine. Сегодня расскажу, что правильно расставлять стойки в зале – это целая наука, а иногда и искусство.

Что такое capacity management?

У машинного зала в дата-центре три главных ресурса: место, электропитание и холод.
Все эти три ресурса должны расходоваться равномерно и заканчиваться одновременно. Собственно за этим и следит человек, занимающийся capacity management.

Если размещать оборудование как попало, то можем оказаться в следующих неприятных ситуациях:
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js