Привет! Меня зовут Дима Кривопальцев, я тимлид бэкенд‑команды Яндекс Диска (Яндекс 360). Уже больше семи лет я занимаюсь разработкой высоконагруженных распределённых систем — и в статье расскажу об одной из них.
Рубрика «высоконагруженные системы»
Очереди на PostgreSQL: антипаттерн или реальность жизни
2025-12-09 в 7:00, admin, рубрики: postgresql, sql, высоконагруженные системы, очередиПочему в космосе (пока) нет дата-центров. Часть первая: главные проблемы и их решения
2025-09-22 в 9:00, admin, рубрики: высоконагруженные системы, датацентр, космонавтика, космос, МКС, научпопПользователям нужны данные в реальном времени, а не с задержкой в сутки, но законы физики против. Ведь огромные объёмы информации нужно передавать по нестабильным каналам связи, да ещё и на ограниченный по периодам наблюдений наземный сегмент.
В этой серии статей разберёмся, почему на орбите до сих пор нет полноценных дата-центров, какие технологии приближают их появление, а что всё ещё остаётся фантастикой. Поговорим о лазерах и ретрансляторах, о проектах Китая, США и России, и реально ли охлаждать серверы в космосе.
Полмиллиона GPU за 4 месяца: как Маск строит самый мощный кластер в мире
2025-08-06 в 12:00, admin, рубрики: AI, Colossus, gpu, xai, высоконагруженные системы, искусственный интеллект, Компьютерное железо, МаксВ 2024 году компания xAI, основанная Илоном Маском, запустила суперкомпьютерный кластер Colossus в Мемфисе. Его построили всего за 122 дня, что не много для такой мощной системы. С тех пор Colossus несколько раз наращивали, и теперь его ждет следующий, еще более масштабный апгрейд. Сегодня поговорим о том, как устроен Colossus, что за технологии в нем используются и какие задачи он должен решать. Поехали!
Запустили векторный поиск в YDB: рассказываем, как он работает
2025-07-15 в 6:00, admin, рубрики: llm, ydb, базы данных, векторный поиск, высоконагруженные системы, машинное обучение, нейросети, поиск, работа с данными
В новой версии YDBЧитать полностью »
Выжимаем все соки: PGO Оптимизация ядра Linux
2022-11-22 в 9:00, admin, рубрики: linux, linux kernel, ruvds_статьи, Блог компании RUVDS.com, высокая производительность, высоконагруженные системы, Компиляторы, Настройка Linux, оптимизация, Программирование
Сложность вычислительных задач и систем растёт с каждым днём. Для бизнеса ускорение кода даже на пару процентов даёт улучшение производительности, заметное снижение издержек и уменьшение задержки(latency). В первую очередь это касается мобильных и встраиваемых систем, высоконагруженных серверов, научных вычислений и 3D-графики. Так был разработан относительно перспективный и молодой метод оптимизации — Profile-Guided Optimization, далее просто PGO-оптимизация. Данный метод эффективно используют такие известные компании, как Google, Mozilla Foundation, Intel, Oracle, IBM и другие. Практически ни один современный веб-браузер не обходится без PGO-оптимизации.
Не так давно компанией Google был предложен набор патчей, включающий PGO-оптимизацию в ядре Linux. Мною был протестирован этот набор патчей в работе и доработан. Мне хотелось бы рассказать об этом методе оптимизации ядра Linux, о том, с какими трудностями можно столкнуться, и как их решить.
Если вас заинтересовала эта тема, вам интересно развитие технологий и тренды крупных компаний, то добро пожаловать под кат.
Читать полностью »
Почему может понадобится полусинхронная репликация?
2020-03-06 в 12:37, admin, рубрики: db, highload, web-разработка, база данных, Блог компании OTUS. Онлайн-образование, высокая нагрузка, высокая производительность, высоконагруженные системы, кластер, масштабирование, Промышленное программирование, Разработка веб-сайтов, распределенные системы, репликация, репликация базы данныхВсем привет. На связи Владислав Родин. В настоящее время я преподаю на портале OTUS курсы, посвященные архитектуре ПО и архитектуре ПО, подверженного высокой нагрузке. В преддверии старта нового потока курса «Архитектор высоких нагрузок» я решил написать небольшой авторский материал, которым хочу поделиться с вами.
Введение
Из-за того, что на HDD может выполняться лишь порядка 400-700 операций в секунду (что несравнимо с типичными rps'ами, приходящимися на высоконагруженную систему), классическая дисковая база данных является узким горлышком архитектуры. Поэтому необходимо уделить отдельное внимание паттернам масштабирования данного хранилища.
На текущий момент имеются 2 паттерна масштабирования базы: репликация и шардирование. Шардирование позволяет масштабировать операцию записи, и, как следствие, снижать rps на запись, приходящийся на один сервер вашего кластера. Репликация позволяет делать тоже самое, но с операциями чтения. Именно этому паттерну и посвящена данная статья.Читать полностью »
Построение кластера PostgreSQL высокой доступности с использованием Patroni, etcd, HAProxy
2019-12-28 в 9:42, admin, рубрики: etcd, haproxy, patroni, postgresql, высоконагруженные системы, кластеризация, Серверное администрирование, системное администрированиеТак уж вышло, что на момент постановки задачи я не обладал достаточной степенью опытности, чтобы разработать и запустить это решение в одиночку. И тогда я начал гуглить.
Не знаю, в чем загвоздка, но уже в который раз я сталкиваюсь с тем, что даже если делать все пошагово как в туториале, подготовить такой же enviroment как у автора, то все равно никогда ничего не работает. Понятия не имею, в чем тут дело, но когда я столкнулся с этим в очередной раз, я решил — а напишу-ка я свой туториал, когда все получится. Тот, который точно будет работать.
Векторные представления товаров, или еще одно применение модели Word2Vec
2018-12-12 в 8:07, admin, рубрики: e-commerce, machine learning, ozon.ru, Блог компании OZON: life in tech, векторное пространство, высоконагруженные системы, машинное обучение, Разработка под e-commerce
Каждый день полтора миллиона людей ищут на Ozon самые разные товары, и к каждому из них сервис должен подбирать похожие (если пылесос все-таки нужен помощней) или сопутствующие (если к поющему динозавру нужны батарейки). Когда видов товаров тоже много, решить задачу помогает модель Word2Vec. Разбираемся, как она работает и как создавать векторные представления для произвольных объектов.
Как прогнозировать спрос и автоматизировать закупки с помощью machine learning: кейс Ozon
2018-12-04 в 7:35, admin, рубрики: big data, e-commerce, LightGBM, machine learning, Блог компании OZON: life in tech, высокая производительность, высоконагруженные системы, машинное обучение, Управление e-commerce
В интернет магазине Ozon есть примерно всё: холодильники, детское питание, ноутбуки за 100 тысяч и т.д. Значит, все это есть и на складах компании — и чем дольше товары там лежат, тем дороже обходятся компании. Чтобы выяснить, сколько и чего людям захочется заказать, а Ozon нужно будет закупить, мы использовали machine learning.
Читать полностью »