Открытая трансляция Главного зала HighLoad++ 2019

В эфире главное событие для разработчиков высоконагруженных систем. По хорошей традиции 7 и 8 ноября мы собираемся, чтобы делиться опытом в построении веб-сервисов, позволяющих одновременно помогать десяткам, сотням тысяч пользователей решать свои задачи. Если в этот раз мы с вами не увидимся в СКОЛКОВО, подключайтесь к открытой трансляции Главного зала конференции.

Открытая трансляция первого дня конференции HighLoad++ ^[1]

7 ноября трансляция докладов начинается в 9:45, в 18:00 они закончатся, и начнется церемония вручения Премии HighLoad++.

Открытая трансляция второго дня конференции HighLoad++ ^[2]

8 ноября первый доклад в Главном зале и трансляция начинается в 11:00.

Под катом расписание и информация о докладах.

7 ноября

10:00 — Почему вам нужна платформа межсервисного взаимодействия и как её построить уже сегодня? ^[3]

Артемий Рябинков (Авито)

Надеемся, вы уже начали переезд с монолита на микросервисы. Тогда пора задуматься о платформе межсервисного взаимодействия. Ведь в сервисной архитектуре сложность поддержки растёт экспоненциально с количеством сервисов. Артемий Рябинков обещал дать инструмент, который позволит значительно замедлить рост этой сложности. Его доклад будет интересен как тем, кто только начинает свой путь в SOA, так и тем, кто уже хорошо знаком с инструментами OpenAPI, Swagger, gRPC, protobuf.

11:00 — Кафка. Описание одной борьбы ^[4]

Денис Карасик (Badoo)

А Apache Kafka уже встроен в вашу инфраструктуру? Правда, что это серебряная пуля? К сожалению, не совсем. Денис Карасик на примере Badoo покажет, как развивать Kafka от эксперимента в одном сервисе до полноценного managed-решения, которое стало основой для многих ключевых инструментов внутри компании. Доклад в первую очередь для тех, кто только знакомится с Kafka, более искушенным слушателям будет интересна тема масштабирования и управления нагруженными кластерами в этом докладе и следующее выступление.

12:00 — Паттерны проектирования приложений на Apache Kafka ^[5]

Александр Сибиряков (Scrapinghub)

Александр Сибиряков расскажет, как проектировать надёжные пайплайны, состоящие из большого числа компонент на основе Apache Kafka. В докладе будут разобраны архитектурные паттерны очередей, обратной связи, стыковка с HTTP, потери сообщений, и обработка задач с большим разбросом по времени выполнения. После этого доклада станет понятно, как грамотно построить свой пайплайн.

13:00 — Мониторинг современного k8s-проекта глазами разработчика ^[6]

Сергей Спорышев (ITSumma)

Следующее ключевое слово в современном стеке технологий — Kubernetes. Он стал стандартом для развертывания приложений в вебе, а значит, его нужно мониторить. Сергей Спорышев объяснит, в чем отличия от привычных подходов к мониторингу, и расскажет, как теперь подходить к организации мониторинга современного проекта в k8s. По инсайдерской информации затронет крутые штуки типа мониторинга уровня service mesh — в общем то, чего реально не хватает для большинства проектов.

14:00 — Хьюстон, у нас проблема. Дизайн систем на отказ, паттерны разработки внутренних сервисов облака Amazon ^[7]

Василий Пантюхин (Amazon Web Services)

Хороший мониторинг предупреждает о проблемах, еще до их появления. Но еще надежнее, если изначально спроектировать сервис так, чтобы чтобы свести к минимуму ущерб от сбоев в работе. Принцип design for failure является базовым при проектировании облачных сервисов Amazon Web Services. Вместе с Василием Пантюхиным разберёмся с этим подходом, рассмотрим некоторые причины отказов сервисов, поговорим о том, что такое Cell-based architecture, Constant Work, Shuffle Sharding.

15:00 — Дорогой DELETE. Типичные ошибки при выполнении массивных операций в высоконагруженных БД PostgreSQL ^[8]

Николай Самохвалов (Postgres.ai)

Дальше от инструментов и паттернов разработки перейдем к работе с базами данных. Николай Самохвалов обращает наше внимание на последствия выполнения массивных блокирующих операций в БД — высоконагруженный сервис при этом, скорее всего, ляжет. На этом докладе узнаем, чем может помочь Postgres.ai и как без его использования настроить защиту и всегда действовать надежно, не роняя прод. Все это на реальном опыте боли и огромных финансовых потерь.

16:00 — Анализ запросов в MySQL, PostgreSQL, MongoDB ^[9]

Пётр Зайцев (Percona)

Идём дальше и думаем, как добиться высокой производительности запросов без DBA. Для этой задачи Пётр Зайцев, один из номинантов на Премию HighLoad++, представит Percona Monitoring and Management. Это такой инструмент, который помогает обычному инженеру провести профессиональный анализ производительности запросов и не только. В наше время, когда очень многое отдается на откуп фреймворкам и библиотекам, а также в условиях дефицита на рынке труда, наличие и знание таких инструментов очень востребовано.

17:00 — Успехи и провалы с Redis ^[10]

Иван Летенко (Infobip)

С PostgreSQL переключимся на менее распространенные в больших продакшенах технологии. У Infobip за 3 года использования Redis накопилось много интересного. Иван Летенко поделится кейсами и, что особенно ценно, фейлами. Обсудим организацию распределенных кэшей, очередей, построение ограничителей скорости и планировщиков. Поговорим о транзакциях на LUA-скриптах и их производительности. Обсудим настройки памяти, репликации, persistence, failover, а также работу с кластерами, особенности Java-драйверов и мониторинг.

18:00 — Премия HighLoad++ 2019 ^[11]

Вручается профессионалам, влияющим на развитие экосистемы интернет-разработки в России. Это благодарность сообщества профессионалов своим лидерам. За труд и самоотверженность, за бессонные ночи и бесчисленные выступления, за веру в свой продукт или технологию.

8 ноября

11:00 — Архитектура Мессенджера Авито – путь одного сообщения ^[12]

Александр Емелин (Авито)

11 млн уникальных пользователей в месяц, 25k RPC-запросов в секунду и 500k подключений онлайн в пике — без сомнений мессенджер Авито — это высоконагруженный проект. Александр Емелин расскажет, через какие сервисы проходит сообщение, прежде чем дойдёт до адресата. Узнаем, как устроен деплой, как используется MongoDB и очереди RabbitMQ. Обсудим протокол WebSocket и поразмышляем о необходимости HTTP-fallback'a в 2019 году. Разберёмся и с антиспам-фильтрами и поговорим об отказоустойчивости этой сложной системы.

12:00 — Персонализация за 10 миллисекунд, или как tinkoff.ru подстраивается под вас ^[13]

Владимир Посвянский и Иван Вовк (Tinkoff.ru)

Персонализация — бич 21-го века, поэтому Tinkoff.ru для привлечения пользователей тоже пришли к решению персонализировать страницы под отдельных пользователей с использованием алгоритмов машинного обучения. И говорят, что могут сделать это за 10 мс — звучит очень многообещающие. Владимир Посвянский и Иван Вовк познакомят нас и с продуктовой составляющей, и с техническим устройством движка.

13:00 — Как менять инфраструктуру при взрывном темпе роста компании ^[14]

Никита Маслянников (ЦИАН)

Ближе к обеду с ML перескочим на DevOps. Никита Маслянников поведает историю бурного роста ЦИАН и связанных с ней изменений в архитектуре.
А именно подробно остановится на архитектуре мониторинга, оркестрации, разделении Elasticsearch на микрокластеры, настройке сети и расчете SLA. Этот опыт будет полезен, если вы только прорабатываете архитектуру или если текущая начала не справляться с нагрузками

14:00 — Пересядь с иглы TCP на UDP с миллионами пользователей ^[15]

Александр Тоболь (Одноклассники)

Что делать, если вы все оптимизировали, а данные до пользователя доходят недостаточно быстро? Конечно, разбираться с сетью. Александр Тоболь продолжит учить нас строить сетевые протоколы и расскажет, как Одноклассники пересадили десятки миллионов пользователей c TCP на UDP и что это дало. Обещается кровь, кишки и велосипеды сетевых протоколов. Хотите больше хардкора — не пропустите этот доклад.

15:00 — Отъявленные баги и как их избежать на примере ClickHouse ^[16]

Алексей Миловидов (Яндекс)

Если вы пишете код, готовьтесь к проблемам. Без проблем в разработке никуда, они обязательно будут и ожидать их стоит со всех сторон — и из вашего кода, и от компилятора, и от операционной системы, и от железа. И чем больше масштаб сервиса, тем больше и «чудесатее» баги. Алексей Миловидов за годы разработки и поддержки ClickHouse видел разное и на HighLoad++ приведет примеры наиболее нелепых, обескураживающих и безнадёжных проблем. И, конечно, объяснит, какие превентивные меры следует принимать, чтобы проблем было меньше.

16:00 — Кластер Elasticsearch на 200 Тб+ ^[17]

Пётр Зайцев (Одноклассники)

TCP/UDP — это хорошо, но еще у Одноклассников есть 4 дата-центра, 500 машин, 200Тб+ данных, до 2 млн строк в секунду в пике и требования 100% аптайма сервиса во что бы то ни стало. Пётр Зайцев расскажет, как имея всё это, выстроить кластер Elasticsearch для хранения логов в особо крупном объёме. Задача была нетривиальная, с большим содержанием подводных камней. А что получилось в итоге, узнаем на HighLoad++ 2019.

17:00 — Что может квантовый компьютер? ^[18]

Анатолий Дымарский (Сколтех)

Кажется, в конце конференции вполне логично попробовать заглянуть в будущее. Квантовые вычисления обещают произвести революцию — ускорить обработку информации и изменить всю наше индустрию. Но нам нужна конкретика: какие именно задачи можно будет решить с помощью квантового компьютера и когда. Отвечать будет Анатолий Дымарский — физик-теоретик из Сколтеха.

Заметим, что это только один поток из 16. Чтобы свободно переключаться между ними и получить доступ к видео всех докладов, вы еще можете купить доступ ^[19] к полной трансляции. Или следите за текстовой трансляцией ^[20] в телеграме — она уже идет, и там мы делимся множеством любопытных инсайдерских деталей и стараемся передать атмосферу главного события веб-разработки в России. А в соцсетях — fb ^[21], vk ^[22] — будет много-много атмосферных фоточек. Подключайтесь!

Автор: olegbunin

Источник ^[23]