Поговорим о горизонтальном масштабировании. Допустим, ваш проект вырос до размеров, когда один сервер не справляется с нагрузкой, а возможностей для вертикального роста ресурсов уже нет.
Рубрика «балансировка нагрузки» - 3
Отказоустойчивый кластер для балансировки нагрузки
2017-04-13 в 8:33, admin, рубрики: balancing, ipvs, keepalived, nginx, vrrp, балансировка нагрузки, Блог компании «NetAngels», Серверное администрирование, метки: keepalivedБалансировка нагрузки и отказоустойчивость в «Одноклассниках»
2017-02-08 в 14:34, admin, рубрики: балансировка нагрузки, видео, высокая производительность, высоконагруженные системы, выступления, одноклассники, Разработка веб-сайтов
Мы продолжаем посты с расшифровками выступлений на конференции HighLoad++, которая проходила в подмосковном Сколково 7—8 ноября 2016 года.
Здравствуйте, меня зовут Никита Духовный, и я работаю ведущим системным администратором в проекте «Одноклассники».
На данный момент инфраструктура «Одноклассников» располагается более чем на 11 тысячах физических серверов. Они расположены в 3-х основных дата-центрах в Москве. Также у нас есть точки присутствия CDN. По последним данным в час пик мы отдаем нашим пользователям свыше 1 терабита трафика в секунду.
В отделе системного администрирования мы разрабатываем и развиваем системы автоматизации. Мы занимаемся многими исследовательскими задачами. Мы помогаем разработчикам запускать новые проекты.
Сегодня мы поговорим о балансировке нагрузки и отказоустойчивости на примере нашей социальной сети.
Читать полностью »
Балансировка нагрузки с Pacemaker и IPaddr (Active-Active cluster)
2017-01-25 в 5:52, admin, рубрики: active/active cluster, ClusterIP, high availability, IP, IPaddr2, iptables, load balancing, network, networking, pacemaker, Percona, балансировка нагрузки, балансировка трафика, высокая доступность, децентрализованные сети, Настройка Linux, Сетевые технологии, системное администрирование, метки: IPaddr2, pacemaker
Хочу рассказать вам еще об одном способе балансировки нагрузки.
Про Pacemaker и IPaddr (ресурс-агент) и настройке его для Active/Passive кластера сказано уже и так достаточно много, но информации по организации полноценного Active/Active кластера, используя этот модуль я нашел крайне мало. Постараюсь исправить эту ситуацию.
Для начала расскажу подробнее чем такой метод балансировки примечателен:
- Отсутсвие внешнего балансировщика — На всех нодах в кластере настраивается один общий виртуальный IP-адрес. Все запросы отправляются на него. Ноды отвечают на запросы на этот адрес случайно и по договоренности между ссобой.
- Высокая доступность — Если одна нода падает ее обязаности подхватывает другая.
- Простота настройки — Настройка осуществляется всего в 3-5 команд.
Читать полностью »
Инфраструктура онлайн игры
2017-01-16 в 10:00, admin, рубрики: Amazon Glacier, bamboo, bitbucket, confluence, freebds, freenas, jail, jira, mongodb, NAS, nginx, node.js, owncloud, phpvirtualbox, pm2, replication, slack, SPA, support, virtualbox, VPC, vpn, vps, zfs, Анализ и проектирование систем, архитектура, базы данных, балансировка нагрузки, бекап, время выдохнуть, высокая производительность, дата-центр, домашний сервер, игры, информационная безопасность, инфраструктура, история создания, мастер тегов, масштабирование, метрики, нагрузочное тестирование, настройка сети, несколько провайдеров, обзор, онлайн игры, потеря данных, Разработка веб-сайтов, разработка игр, резервное копирование, спокойный сон, стабильность, СХД, техническая поддержка, фотография, хранение данных, ясделяль
Здравствуйте, меня зовут Александр Зеленин, и я на дуде игрец веб-разработчик. Полтора года назад я рассказывал о разработке онлайн игры. Так вот, она немного разрослась… Суммарный объём исходного кода превысил «Войну и мир» вдвое. Однако в данной статье я хочу рассказать не о коде, а об организации инфраструктуры проекта.
Однажды встретились JMeter и незнакомка…
2016-11-20 в 0:26, admin, рубрики: groovy, http, java, jmeter, jni, jupyter, pandas, wget, балансировка нагрузки, высокая производительность, плагин, Тестирование IT-систем, Тестирование веб-сервисов
Кадр из фильма «Дом у озера». Встреча (www.kinopoisk.ru)
Джим ещё не знал, как подойти к ней, с чего начать разговор и на каком языке его вести. Но он видел многое, владел языками и имел в рукаве не один козырь. И будучи уверенным в помощи верных друзей (это мы с вами) и забыв про сомнения, шёл на встречу судьбе.
Ниже рассказ о том, как Джим завоёвывал снова и снова сердце незнакомой системы. Не подумайте, что незнакомок было несколько. Она была одна, единственная, но такая разная, и от того истории будут следовать одна за другой.
Читать полностью »
Как мы сделали ровную балансировку нагрузки на фронтенд-кластере
2016-09-19 в 13:28, admin, рубрики: highload, php, балансировка нагрузки, Блог компании Badoo, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, Разработка веб-сайтов, юрий насретдиновЮрий Насретдинов (
youROCK, Badoo)
Расшифровка доклада Юрия Насретдинова на конференции HighLoad++ 2015. Юрий расскажет про то, как Badoo (крупнейшая социальная сеть для знакомств с новыми людьми) сделали практически идеально ровную балансировку нагрузки на нашем кластере. Передаём ему слово...
Чтобы обслуживать то количество пользователей, то количество реквестов в секунду, которые мы получаем, у нас около трех тысяч серверов, и на PHP-FPM конкретно приходится 70 тысяч в пике.
О том, как мы эти запросы распределяем по нашему кластеру, я расскажу.
Кратко — о чем я буду рассказывать. Во-первых, я расскажу, как «с высоты птичьего полета» устроен роутинг запросов на нашем сайте. Потом расскажу, какие, вообще, существуют алгоритмы балансировки; про то, как мы делали балансировку до того, как мы сделали автоматическую систему. Расскажу про эту автоматическую систему, ну и будут кое-какие выводы. Также хотел сказать, что эта система будет выложена в open-source после этого доклада.
Читать полностью »
Что делать, когда не работает prepend
2016-07-13 в 7:35, admin, рубрики: as-path, BGP, балансировка нагрузки, балансировка трафика, Блог компании CBS, маршрутизация, префиксы, Сетевые технологии
Хотим поделиться переводом серии заметок из блога Расса Уайта (Russ White), где он поднимает вопрос использования AS-PATH Prepend при подключении к Интернет-провайдерам по BGP.
При подключении организации к двум и более провайдерам по BGP могут возникать несколько задач. Например, избежать асимметричной маршрутизации, т. е., добиться, чтобы ответные пакеты возвращались через того же провайдера, через которого инициируется сессия. Или, наоборот, добиться равномерного распределения трафика по каналам провайдеров, не принимая во внимание асимметричную маршрутизацию. В обоих случаях влиять на маршрутизацию Интернет-провайдеров в сторону корпоративной сети можно с помощью BGP-атрибута AS-PATH. Но, к сожалению, данный подход далеко не всегда помогает добиться нужного результата. О проблемах использования AS-PATH Prepend как раз и пойдёт речь.Читать полностью »
Умпа-лумпы Интернет или как программировать DNS
2015-04-21 в 11:47, admin, рубрики: ddns, DNS, балансировка нагрузки, геотаргетирование, ит-инфраструктура, Программирование, Сетевые технологии, системное администрирование, метки: DDNS, DNS, программирование 
Если ты занимаешься администрированием сетей и тебе необходимо управлять большим, постоянно меняющимся количеством серверов, или если ты разрабатываешь приложение использующее динамическую балансировку нагрузки, или если ты разворачиваешь многоязыковый веб-сайт тебе никак не обойти внимание вопросы, связанные с правильной настройкой DNS.
Как и в любом деле в Интернет есть свои невидимые и незаметные работники, ежедневно, ежечасно… ежемиллисекундно выполняющие свои незамысловатые рутинные операции. Это конечно же маршрутизаторы, коммутаторы и другие устройства доставляющие пакеты данных из одной точки в другую. В них есть собственные регулировщики загрузки, перенаправляющие потоки другим путем в случае образования заторов. Но откуда они все знают куда доставить эти пакеты? Знающий человек скажет — «так там указан IP-адрес» и будет прав. Но обычный веб-серфер, как правило и представления не имеет об IP адресах, но тем не менее несколько миллиардов простых веб-серферов вполне себе успешно «бороздят» Интернет. Такую возможность им, да и «лицо» современной сети Интернет определяет другой «умпа-лумп» — служба DNS.
Читать полностью »
Свободная прошивка OpenWrt может расширить интернет-канал (с помощью соседа)
2015-03-30 в 9:38, admin, рубрики: Comcast, OpenWrt, Xfinity WiFi, балансировка нагрузки, Железо, информационная безопасность, маршрутизаторНе секрет, что провайдеры в разных странах всё чаще внедряют своим клиентам принудительную или опциональную услугу по раздаче гостевого WiFi. Например, так делают американский Comcast (сеть Xfinity WiFi), российский «Ростелеком», белорусский «Белтелеком» и другие интернет-провайдеры. В такой ситуации маршрутизатор пользователя используется как публичный хотспот, а сам оператор зарабатывает дополнительные бонусы, продавая карточки доступа к WiFi-сети с «глобальным покрытием», ведь его хотспоты установлены практически в каждом городском доме.
OpenWrt — мощный дистрибутив Linux, разработанный специально для встраиваемых систем, в первую очередь, для маршрутизаторов. Ею и воспользовался один из пользователей провайдера Comcast. И получил неожиданный результат.
Читать полностью »
Лишние элементы или как мы балансируем между серверами
2015-03-13 в 8:55, admin, рубрики: BGP, ivi, ivi.ru, балансировка, балансировка нагрузки, Блог компании онлайн-кинотеатр ivi.ru, ит-инфраструктура, Серверная оптимизация, Сетевые технологииПривет! Какое-то время назад люди осознали, что увеличивать мощность сервера в соответствии с ростом нагрузки просто невозможно. Тогда-то мы и узнали слово «кластер». Но как бы красиво это слово не звучало, всё равно приходится технически объединять разрозненные серверы в единое целое – тот самый кластер. По городам и весям мы добрались до наших узлов в моём предыдущем опусе. А сегодня мой рассказ пойдёт о том, как делят нагрузку между членами кластера системные интеграторы, и как это сделали мы.
Внутри публикации вас также ждёт бонус в виде трёх сертификатов на месячную подписку ivi+.
Читать полностью »