Amazon подвели дизель-генераторы

Компания Amazon объяснила причины ^[1] обесточивания дата-центра в регионе East-1 в Северной Виргинии, в результате чего 30 июня в офлайн ушли ^[2] Instagram, Netflix, Pinterest и другие сайты.

Причиной названа некорректная работа дизель-генераторов. После скачка напряжения в сети инженеры запустили генераторы, «они запустились нормально», но если один из дата-центров East-1 запитался от генераторов без инцидентов, то во втором дата-центре «каждый генератор в отдельности не смог обеспечить стабильное напряжение после их подключения к сети», объясняет Amazon. В результате, сеть автоматически не перешла на питание от генераторов, и в UPS’ах вскоре кончился заряд.

Дизель-генераторы были установлены в дата-центре в конце 2010-го и начале 2011 года, до установки они были протестированы производителем. После установки в дата-центр их снова прогнали через восьмичасовые тесты, всё работало нормально. 12 мая эти дизель-генераторы опять же тестировали в полевых условиях, когда базовое энергоснабжение дата-центра полностью отключали, тоже всё было нормально.

Теперь генераторы пройдут ремонт и повторную сертификацию производителем, либо их заменят на другие. Компания Amazon обещает приложить все усилия, чтобы подобная ситуация не повторилась в будущем: будет увеличено окно времени, которое даётся дизель-генераторам на набор мощности для достижения стабильного напряжения, прежде чем автоматические системы решат, переключаться на питание от генератора или нет. Кроме того, в дата-центрах будет увеличен штат инженерного персонала, чтобы при отключении электричества они в случае необходимости могли вручную запустить генератор и переключить систему на питание от него, так что UPS'ы не смогут разрядиться и клиенты дата-центра не пострадают.

Автор: alizar