Меня зовут Леонид Талалаев, я занимаюсь разработкой внутреннего облака Одноклассников one-cloud, про которое уже рассказывали на Хабре.
Рубрика «высокие нагрузки»
Как мы оптимизировали сетевой шейпер Linux в облаке с помощью eBPF
2021-08-11 в 9:54, admin, рубрики: eBPF, linux, linux kernel, locking, qdisc, traffic control, traffic shaping, Блог компании Одноклассники, высокая производительность, высокие нагрузки, облачные сервисы, Разработка под Linux, системное администрирование, системное администрирование linuxСборка и тестирование в монорепозитории: кластер распределённой сборки DistBuild. Доклад Яндекса
2021-07-10 в 8:28, admin, рубрики: Анализ и проектирование систем, Блог компании Яндекс, высокие нагрузки, монорепозиторий, распределенные системы, системы сборкиКак собирать 7000 изменений в день в огромном монорепозитории? Я постарался рассказать об этом на недавнем Я.Субботнике. Во вводной части я напомнил, чем мы в принципе занимаемся в отделе технологий разработки Яндекса. Дальше поговорили про устройство нашего кластера, а на десерт пообсуждали, как у нас используются вычислительные ресурсы на этом кластере — насколько хорошо они утилизируются.
Чем мы занимаемся
— Итак, давайте начинать. Наверняка все из вас каким-то образом связаны с IT и знают нормальный жизненный цикл или каждодневную работу разработчика. Он приносит основную ценность тем, что пишет код.
Читать полностью »
23000 человек написали онлайн-диктант 8 апреля 2017. Как это получилось?
2017-09-22 в 15:02, admin, рубрики: Блог компании ITSumma, высокие нагрузки, Серверное администрирование, системное администрированиеВ этом году 200 тысяч человек из 858 городов мира приняли участие в образовательной акции «Тотальный диктант». Пишут диктант уже семь лет в основном на офлайн-площадках, возможность сделать это онлайн есть с 2014 года. Испытав все горести экстремальных нагрузок на сайт, в этом году организаторы акции привлекли целую команду ИТ-компаний. Сегодня мы рассказываем о своей части работы.
Архитектура растущего проекта на примере ВКонтакте
2017-02-25 в 15:11, admin, рубрики: memcached, mysql, nginx, php, Анализ и проектирование систем, Вконтакте, высокая производительность, высокие нагрузки
Алексей Акулович объясняет жизненный путь высоконагруженного проекта на PHP. Это — расшифровка Highload ++ 2016.
Меня зовут Лёша, я пишу на PHP.
К счастью, доклад не об этом. Доклад будет про ретроспективу развития сети — того, как проект развивался. Какие решения капитанские или весьма специфические для нашей нагрузки мы применяли, что можно использовать в других проектах, которые испытывают нагрузки.
Начнём.
Читать полностью »
Пулы потоков: ускоряем NGINX в 9 и более раз
2015-06-19 в 11:32, admin, рубрики: nginx, бенчмарки, высокая производительность, высокие нагрузки, многопоточность, оптимизация, пулы потоков, Серверная оптимизация, Серверное администрирование, системное администрированиеКак известно, для обработки соединений NGINX использует асинхронный событийный подход. Вместо того, чтобы выделять на каждый запрос отдельный поток или процесс (как это делают серверы с традиционной архитектурой), NGINX мультиплексирует обработку множества соединений и запросов в одном рабочем процессе. Для этого применяются сокеты в неблокирующем режиме и такие эффективные методы работы с событиями, как epoll и kqueue.
За счет малого и постоянного количества полновесных потоков обработки (обычно по одному на ядро) достигается экономия памяти, а также ресурсов процессора на переключении контекстов. Все преимущества данного подхода вы можете хорошо наблюдать на примере самого NGINX, который способен обрабатывать миллионы запросов одновременно и хорошо масштабироваться.
Каждый процесс расходует память и каждое переключение между ними требует дополнительных циклов процессора, а также приводит к вымыванию L-кэшей
У медали есть и обратная сторона. Главной проблемой асинхронного подхода, а лучше даже сказать «врагом» — являются блокирующие операции. И, к сожалению, многие авторы сторонних модулей, не понимая принципов функционирования NGINX, пытаются выполнять блокирующие операции в своих модулях. Такие операции способны полностью убить производительность NGINX и их следует избегать любой ценой.
Но даже в текущей реализации NGINX не всегда возможно избежать блокировок. И для решения данной проблемы в NGINX версии 1.7.11 был представлен новый механизм «пулов потоков». Что это такое и как его применять разберем далее, а для начала познакомимся с нашим врагом в лицо.Читать полностью »
Задай вопрос эксперту и выиграй билет на Highload!
2014-10-29 в 11:48, admin, рубрики: badoo, баду, Блог компании Badoo, Веб-разработка, высокие нагрузки, конференция, Учебный процесс в IT 
На этой неделе в Москве пройдет одна из лучших технологических конференций HighLoad 2014.
Мы хотим дать возможность «вскочить на уходящий поезд» тем, кто очень хотел попасть на конференцию, но не успел или не смог купить билет. Badoo дарит 2 билета на конференцию за самые хорошие вопросы к экспертам, которые вы оставите в комментариях.
Вопросы должны быть по теме, в которой разбираются эксперты, плюс они должны быть сложными и интересными.
Читать полностью »
Видео докладов с конференции CodeFest 2014
2014-08-18 в 11:44, admin, рубрики: badoo, CodeFest, puppet, qa, баду, Блог компании Badoo, Веб-разработка, видео, высокие нагрузки, выступления, конференции, Презентации, процесс тестирования, тестирование, Учебный процесс в ITМы рады поделиться с вами записью наших выступлений и видео с уникальной секции по высоким нагрузкам с конференции CodeFest. Вы можете задавать ваши вопросы к докладам в комментариях и мы на них обязательно ответим.
1. «Панель: Тренды разработки в высоконагруженных интернет-проектах».
Алексей fisher Рыбак (Badoo) собрал вместе лучших экспертов из Яндекса, Mail.ru, 2ГИС и Communico и обсудил с ними современные тенденции в разработке и поддержке больших высоконагруженных проектов. Плюс эксперты рассказали об интересных решениях и поделились личным опытом.
Темы:
- инфраструктурные проекты;
- clouds / paas;
- modern databases / sql;
- real-time web (push, comet, spdy) и другие.
VCStart: как мы создавали платформу
2014-08-18 в 6:35, admin, рубрики: архитектура web приложений, высокие нагрузки, масштабирование, разработкаРазработка нашей платформы началась еще в 2013 году, когда наша команда, полная вдохновения и энтузиазма, взялась за этот амбициозный и интересный проект, который позволил бы объединить средства тысяч мелких частных инвесторов и стартаперов-энтузиастов для воплощения бизнес-идей.
IBM представляет NeXtScale System – высокопроизводительную вычислительную платформу для ЦОД
2013-09-12 в 7:07, admin, рубрики: IBM, Блог компании IBM, высокая производительность, высокие нагрузки, сервер, цод, метки: IBM, высокие нагрузки, сервер, цод
Архитектура высоконагруженных приложений. Масштабирование распределенных систем. Часть первая
2013-07-02 в 8:40, admin, рубрики: badoo, nginx, php, php-fpm, pinba, web-разработка, архитектура приложений, баду, Блог компании Badoo, бэкап, Веб-разработка, высокие нагрузки, Программирование, метки: badoo, nginx, PHP, php-fpm, pinba, web-разработка, архитектура приложений, баду, бэкап, высокие нагрузки 
Некоторое время назад зам.главы московского офиса разработки Badoo Алексей Рыбак и ведущие IT-Компот записали выпуск подкаста «Архитектура высоконагруженных приложений. Масштабирование распределенных систем".
Сейчас мы сделали расшифровку подкаста, привели ее в удобный для чтения вид и разбили на 2 части.
О чем говорили в первой части:
- Общая информация о проекте Badoo: стек технологий, характер и объем нагрузки, посещаемость.
- Горизонтальное масштабирование проекта:
— веб-сервера, кеширование, мониторинг etc;
— подводные камни при масштабировании проекта;
— масштабирование баз данных, как правильно делать шардинг.