AWS Insight: Как работают Placement Groups

Привет!

У многих есть проекты с «хайлоадом». Немногие используют кластеры на AWS. И те, кто всё-таки их используют, должны использовать Placement группы.

Что это такое

Placement Groups (Группы размещения) — логические объединения кластерных типов AWS инстансов, позволяющие уменьшить сетевые задержки. AWS гарантирует скорость в 10 Gb между серверами, запущенными в одной плейсмент группе. Чисто теоретически, эти инстансы запускаются географически рядом.

При обычном размещении инстансов получается приблизительно следующая картина:


При старте инстансов в плейсмент группе, инстансы физически близко, тем самым получается выиграть в сетевых задержках:

Как создать плейсмент группу и запустить в ней инстансы

Есть по 2 способа как создать плейсмент группу, так и запустить инстансы в ней. Заметим, что уже запущенные машинки уже невозможно поместить в плейсмент группу.

1. CLI Tools

Создадим плейсмент группу:

$ ec2-create-placement-group MyFirstCluster -strategy cluster

И запустим в ней 10 кластерных GPU инстансов:

$ ec2-run-instances ami-02f54a6b -n 10 --instance-type cg1.4xlarge --placement-group MyFirstCluster --group MyClusterSecurityGroup

2. AWS Console

Создаем плейсмент группу:

И добавляем в группу 10 новых инстансов, выбирая плейсмент группу при их создании:

Тесты производительности

Статья бы была «ни о чём», если бы в ней не было бы тестов производительности сети между кластерными инстансами вне и в плейсмент групп.

Тест

Тест производится между двумя кластерными инстансами Cluster Compute Quadruple Extra Large Instance (cc1.4xlarge). На одном установлен и стартован дефолтный NGINX. На другом — httpd с тулзой Apache Bench.

1000 раз запускается строка вида:

ab -c 60 -n 4000 http://$ADDR/

В результате, на сервер отправлено 1000*60*4000=240.000.000 запросов. Мы посчитаем среднее время ответа, на этом и будем строить наши догадки о том, как хорошо работают плейсмент группы.

Результаты

Конечно тяжело разобраться с правомочен ли тест, но что есть, то есть.

Вот график среднего времени ответа сервера (grep 'Time per request' |grep «across»):

Видно, что график с серверами в плейсмент группе чуточку быстрее, чем вне её.

Выводы

При использовании кластерных инстансов на EC2/VPC нужно и полезно использовать Placement Groups. Это немного уменьшает сетевые задержки, что при долговременном использовании может значительно повлиять на производительность кластера.

AWS рекомендует не использовать более 128 инстансов в одной плейсмент группе, посему лучше их разделять на несколько групп, если у вас много серверов.

Используете ли вы Placement Groups в своих проектах на AWS? Есть ли интересные данные по производительности?

Автор: korjik

Источник ^[1]