Highload++ близко. В этот (одиннадцатый!) раз в Сколково соберутся 2700 разработчиков высоконагруженных систем для того, чтобы обменяться опытом построения и развития архитектуры крупных проектов, о базах данных, системах хранения, системном администрировании, нагрузочном тестировании, эксплуатации крупных проектов и других направлениях, связанных с высоконагруженными системами. Мы традиционно принимаем активное участие в Highload++ и сегодня расскажем, что приготовили для её участников в этот раз.

Содержание

1. Доклады ^[1]
1.1 7 ноября ^[2]
1.2 8 ноября ^[3]
2. Мастер-классы ^[4]
3. Активности ^[5]
4. Профессиональное общение ^[6]

Доклады

Для конференции наши коллеги подготовили четыре доклада — вы сможете встретить их в Конгресс-Холле, залах «Сингапур», «Пекин» и «Шанхай», 7 и 8 ноября. Или задать им свои вопросы на стенде Avito или в нашей переговорной. Подробности — ниже.

7 ноября

«Хранилище данных Avito: аналитика для микросервисной архитектуры» ^[7]. Артём Данилов, архитектор хранилища данных Avito

Время: 12:00
Место: Зал «Конгресс-Холл» (будет доступна онлайн-трансляция на сайте конференции)

Большое количество современных веб-проектов переходит на микросервисную архитектуру. Она решает огромное количество проблем, присущих монолитным системам, однако накладывает качественно новые требования, в том числе и на аналитику данных. В докладе будет рассказано о том, какие вызовы и возможности преподнесла Avito микросервисная архитектура, а также показано, как Clickstream может быть полезен не только аналитикам, но и разработчикам.

«Настройка kubernetes: tips and tricks» ^[8]. Михаил Прокопчук, ведущий разработчик серверной части Avito

Время: 15:00
Место: Залы «Пекин» и «Шанхай»

Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов. В докладе Михаил поделится опытом решения проблем и настройки кластера для обеспечения его эффективной работы (низкий и стабильный latency для сервисов, использование ресурсов CPU, RAM): настройки аппаратного обеспечения (сеть, CPU), ОС, настройки самих инфраструктурных компонентов kubernetes и расскажет о том, что и как необходимо мониторить.

8 ноября

«Контроль качества высоконагруженных систем» ^[9]. Андрей Дроздов, разработчик серверной части в Avito

Время: 12:00
Место: Зал «Конгресс-холл» (будет доступна онлайн-трансляция на сайте конференции)

Разработка любого высоконагруженного сервиса не обходится без нагрузочных тестов. Во многих проектах процесс анализа работы системы слабо структурирован или выполняется непосредственно в бою. Есть масса статей и рецептов использования тех или иных инструментов, но самые важные вопросы не раскрыты до конца: что именно мы должны измерять, правильно ли мы интерпретируем результаты и как ловить баги, которые проявляются только под высокой нагрузкой. В своем докладе Андрей расскажет о том, как построить процесс контроля качества highload-сервисов с нуля.

«Lambda architecture для realtime-аналитики — риски и преимущества» ^[10]. Николай Голов, руководитель разработки баз данных Avito

Время: 17:00
Место: Зал «Сингапур»

В 2017 году построить аналитику на больших данных — это уже не достижение. Витрины, отстающие на день — уже старые. Отставание на час — неплохо. Достижением для 2017 является realtime BigData, доступные для широкого круга аналитические данные, отстающие от реальности на секунды (миллисекунды!). Миллисекундное отставание означает in-memory. BigData значит, что всё в оперативную память уже не влезет. Значит, нужно совмещать. Эту концепцию принято называть Lambda Architecture.
В Avito подобная схема построена путем совмещения HP Vertica (объемные исторические данные) + Redis/Tarantool (realtime data cache). Приходите на доклад Николая, чтобы услышать подробности и задать свои вопросы.

Мастер-классы

«Логическая репликация и Avito» ^[11]. Константин Евтеев, Михаил Тюрин, Сергей Бурладян

Дата: 7 ноября
Время: 12:00 — 14:00
Место: Зал «Кейптаун»

В Avito объявления хранятся в базах данных Postgres. При этом уже на протяжении многих лет активно применяется логическая репликация. С помощью неё успешно решаются вопросы роста объёма данных и количества запросов к ним, масштабирования и распределения нагрузки, доставки данных в DWH и поисковые подсистемы, межбазные и межсервисные синхронизации данных и пр. За годы эксплуатации репликации PgQ мы наработали обширный опыт, многое переосмыслили, реализовали собственные надстройки и расширения. На мастер-классе будут раскрыты следующие темы.

1. Необходимость логической репликации в целом и кейсы Avito.
2. Эволюция и принцип работы триггерных решений с версии Postgres 7.0: RServ Вадима Михеева (Vadim Mikheev, автор MVCC), Слоны (Slony), Слоник "Londiste" (PgQ) от Skype.
3. Архитектура логической репликации "из коробки": Logical Replication in PostgreSQL 10 & PGLogical.
4. Примеры использования репликации и её расширений в Avito.
5. Вопросы и пожелания, адресуемые комьюнити.

К мастер-классу можно будет подготовиться заранее. Вот образ ^[12] виртуальной машины, на которой проводится практическая часть. Накануне мероприятия материалы для мастер-класса будут доступны здесь ^[13]. И вот ещё пара ссылок:

• версия skytools Avito c undo ^[14] и еще несколькими плюшками;
• RPC на основе PgQ ^[15].

«Нагрузочное тестирование веб-сервиса». Андрей Дроздов

Дата: 8 ноября
Время: 15:00 — 17:00
Место: Переговорная комната А1.2 («Африка»)

В продолжение доклада о нагрузочных и интеграционных тестах будет интересно попробовать все это вживую. Участники мастер-класса изучат yandex tank, pstack, pprof и другие инструменты, посмотрят на пример готового луна-парка. После этого будут предложены несколько web-сервисов на Go для анализа проблем производительности (можно будет выбрать любой другой язык по желанию). Важно: для полноценного участия необходимо иметь настроенный minikube на компьютере или быть готовым запустить виртуальную машину.

Активности

AvitoQuiz: prize, please!

В целом для Highload++ мы придумали и приготовили много крутых подарков. Один из способов их выиграть — поучаствовать в викторине AvitoQuiz. Нужно будет необходимо пройти тест по одному из языков программирования (Python, Go, PHP) или тест для DevOps. Лучшим 50 участникам каждого теста мы подарим футболки и другие классные сувениры.
Тому, кто пройдет более одного теста и наберёт максимальное количество баллов, подарим главный приз — электросамокат! Подробности — на нашем стенде.

PGHACK Lite

Есть ещё один способ выиграть призы. Возможно, кто-то из вас уже слышал про наше соревнование PGHACK ^[16]. Конечно, мы сделали его версию для конференции. Вот как это было у нас в офисе. (А подробно можно посмотреть в фотоальбоме на FB ^[17]).

(Этим кадром передаём привет envek ^[18], нашему победителю!)

Сокращенная блиц-версия нашего соревнования по восстановлению работоспособности Postgres будет проходить 7 ноября с 12:00 до 18:00 в игровой зоне (Фойе «Сингапура»). 8 ноября поучаствовать в PGHACK можно будет с 12:00 до 15:00. Подробности и расписание туров — на месте. Ждём на соревновании специалистов по работе с базами данных: разработчиков, программистов, администраторов. Участие смогут принять DevOps-инженеры и фуллстэк разработчики с большой базой знаний по теме. И конечно, это не только соревнование, но и профессиональное общение! Лучших игроков мы наградим призами и крутыми футболками, как у kevteev ^[19] на этом фото:

Чтобы принять участие в блиц-версии PGHACK, вам понадобится ноутбук с VirtualBox (версия 5.1.24 или новее), 10Gb свободного пространства на жестком диске и 3GB оперативной памяти. Также можно заранее скачать на него игровую виртуальную машину ^[12]. pkorobeinikov ^[20] и мои коллеги будут ждать вас, чтобы вместе сделать PGHACK на Highload!

Профессиональное общение

И конечно, все два дня конференции без перерыва будет работать наш стенд. Там можно будет пообщаться с докладчиками, узнать о вакансиях Avito. Пополнить слоты наклеек для традиционной “Любознательности” и сфотографироваться с Гофером, Докером, Питоном или Слоном.

Для тех, кто не сможет быть 7 и 8 ноября на Highload++, будем вести прямые репортажи в наших социальных сетях: на странице AvitoTech в Facebook ^[21], телеграм-канале ^[22], Вконтакте ^[23] и твиттере ^[24].

Автор: rafinirovannoe

Источник ^[25]