Рубрика «Amazon Web Services» - 32

Введение

В этой статье я постараюсь объяснить, как заставить работать вместе два популярных cloud сервиса на благо человечества. Несомненно, придет тот светлый день, когда Elastic Beanstalk будет идеален и эта статья не понадобится.

Функциональность которую предоставляет СloudBees которой мне не хватает в Elastic Beanstalk Free Tier
  • MySQL DB
  • Jenkins
  • Svn, Git
  • Deploy to CloudBees
Функциональность которую предоставляет Elastic Beanstalk которой мне не хватает в СloudBees
  • «100%» uptime
  • быстродействие
  • мониторинг, event-ы и тд.

Несомненно Elastic Beanstalk более мощный и перспективный сервис, который полностью поглотит СloudBees в будущем, а пока сделаем его лучше для себя.

Читать полностью »

Автомасштабирование в Amazon Web Services: EC2 + CloudWatchДобрый день!

Настройка автомасштабирования на основе Amazon EC2 это очень интересная задача, которуя я когда-то решил и теперь применяю на практике. Существует много возможных вариантов, но я рассмотрю самый простой из них: горизонтальное масштабирование одного сервера под одним балансеровщиком.

В качестве инциатора маштабирования будет выступать Cloud Watch. Метрикой будет наша кастомная метрика Load Average.

Итак, начнём-с. Первое, как тру линуксоид, я советую и рекомендую использовать в настройке автоскейлинга утилиты командной строки (Command Line Tools — CLT) по следующим причинам:

  • из CLT можно сделать всё;
  • удобнее копипастить в консоль, чем кликать мышкой.

Читать полностью »

imageДобрый день!

Возник мелкий, но неприятный момент, когда при масштабировании хост, который потушен, чуть более 30-35 секунд ещё принимает запросы. Естественно, эти запросы отработать не могут. Потому возникла идея прежде чем тушить веб сервер, принудительно отключать инстанс от лоад балансера.

Для этого нам нужны утилиты командной строки для ELB: aws.amazon.com/developertools/2536. Распакуем их в папку /opt/aws/elb.
Читать полностью »

imageДобрый день!

Возник мелкий, но неприятный момент, когда при масштабировании хост, который потушен, чуть более 30-35 секунд ещё принимает запросы. Естественно, эти запросы отработать не могут. Потому возникла идея прежде чем тушить веб сервер, принудительно отключать инстанс от лоад балансера.

Для этого нам нужны утилиты командной строки для ELB: aws.amazon.com/developertools/2536. Распакуем их в папку /opt/aws/elb.
Читать полностью »

Даже у таких монстров облачной индустрии, как Amazon случаются проблемы с оборудованием. В связи с недавними перебоями в работе US East-1 датацентра, данная статья может быть полезной.

Варианты построения высокодоступных систем в AWS. Преодоление перебоев в работе

Отказоустойчивость является одной из основных характеристик для всех облачных систем. Каждый день множество приложений проектируются и разворачиваются на AWS без учета этой характеристики. Причины данного поведения могут варьироваться от технической неосведомленности в том, как правильно спроектировать отказоустойчивую систему до высокой стоимости создания полноценной высокодоступной системы в рамках сервисов AWS. В данной статье освещается несколько решений, которые помогут преодолеть перебои в работе оборудования провайдеров и создать более подходящее решение в рамках AWS инфраструктуры.
Для работы типичного Интернет приложения состоит из следующих уровней: DNS, Load Balancer, веб сервер, сервер приложения, база данный, кэш. Давайте возьмем этот стек и подробно рассмотрим основные моменты, которые необходимо учитывать при построении высокодоступной системы:

  • Построение высокодоступной системы в AWS
  • Высокая доступность на уровне веб сервера / сервера приложения
  • Высокая доступность на уровне балансировки нагрузки / DNS
  • Высокая доступность на уровне базы данных
  • Построение высокодоступной системы между зонами доступности AWS
  • Построение высокодоступной системы между регионами AWS
  • Построение высокодоступной системы между различными облачными и хостинг провайдерами

Читать полностью »

AWS CloudWatch: собственные метрики (Custom Metrics)Привет читатели!

Недавно сменил место работы, но всё так же поглощён облачными технологиями. И проектов у меня теперь будет гораздо больше, а с ними и статей, я надеюсь, интересных.

Итак, потребовалось создать метрики по параметрам, которые Cloud Watch считать не умеет. Можно мерять много чего, но, например, возьмём Load Average. Этот странный, но понятный всем параметр, объясняет состояние системы. В целом, мы можем оценивать здоровье сервера по этому состоянию. Естественно, не всегда, но как пример LA идеален.

Что же нам для этого нужно?

1. Amazon CloudWatch Command Line Tools
2. Несколько скриптов

Начнём приготовления на сервере.

  1. В папке /opt создадим папку — aws.
  2. Распакуем утилиты командной строки в папку /opt/aws/mon.
  3. Ключ и сертификат pk-**.pem и cert-**.pem. Уложим в папку /opt/aws/keys
  4. Нужную папку c Java симлинком направим на /usr/java/latest

Читать полностью »

Amazon подвели дизель генераторы

Компания Amazon объяснила причины обесточивания дата-центра в регионе East-1 в Северной Виргинии, в результате чего 30 июня в офлайн ушли Instagram, Netflix, Pinterest и другие сайты.

Причиной названа некорректная работа дизель-генераторов. После скачка напряжения в сети инженеры запустили генераторы, «они запустились нормально», но если один из дата-центров East-1 запитался от генераторов без инцидентов, то во втором дата-центре «каждый генератор в отдельности не смог обеспечить стабильное напряжение после их подключения к сети», объясняет Amazon. В результате, сеть автоматически не перешла на питание от генераторов, и в UPS’ах вскоре кончился заряд.
Читать полностью »

В очередном падении AWS не было бы ничего необычного, если бы не причина сбоя. Энергоснабжение дата-центра в регионе US-EAST-1 (Северная Виргиния) нарушено из-за грозы. Многие видели, что при приближении грозы провода начинают искриться.

Читать полностью »

В очередном падении AWS не было бы ничего необычного, если бы не причина сбоя. Энергоснабжение дата-центра в регионе US-EAST-1 (Северная Виргиния) нарушено из-за грозы. Ушли в офлайн Netflix, Instagram, Pinterest и многие другие сайты.

Согласно статус-репортам, потеря энергоснабжения начались около 20:21 PDT (сегодня в 07:21 МСК). Через 28 минут подача электричества в дата-центр было восстановлено, и компания Amazon приступила к восстановлению пострадавших томов и инстансов. Эта работа продолжается до сих пор. По состоянию на 10:19 МСК было восстановлено примерно 50% пострадавших инстансов и 33% пострадавших томов.

Amazon сообщает, что из-за потери питания в некоторых восстановленных томах EBS могут быть потерянные кластеры: если ваш оказался среди них, то в консоли AWS в колонке “Status Checks” вы увидите статус “Impaired”. В этом случае для верификации данных рекомендуется запустить утилиту fsck или chkdsk.
Читать полностью »

В этой статье – как скопировать объект и корзину (bucket) из Amazon S3 в хранилище блобов Windows Azure.

Одним из значительных нововведений после 7 июня 2012 года стало усовершенствование функции Copy Blob. При написании этой статьи я использовал материалы команды разработки, которые можно найти здесь: http://blogs.msdn.com/b/windowsazurestorage/archive/2012/06/12/introducing-asynchronous-cross-account-copy-blob.aspx. Что привлекло моё внимание – функциональность copy blob позволяет копировать блобы извне Windows Azure, если они публично доступны. То есть им нет необходимости находиться в Windows Azure.

ЭТО ОЧЕНЬ КРУТО!!!

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js