Представьте, что вам нужно ускорить работу огромной легаси-системы с 50 микросервисами, нагрузка на которую выросла в 2000 раз. При этом она обрабатывает затратные по времени операции, которые зависят друг от друга в плане данных.
Рубрика «highload»
Ускоряем приложение: никаких фреймворков — только математика
2023-05-02 в 11:46, admin, рубрики: highload, Алгоритмы, Блог компании Конференции Олега Бунина (Онтико), Блог компании Почтатех, высокая производительность, высоконагруженные приложения, Микросервисная архитектура, микросервисы, оптимизация запросовЖарим TOAST в PostgreSQL
2023-01-12 в 13:33, admin, рубрики: backend, blob, highload, json, large data, open source, postgresql, sql, toast, Блог компании Postgres Professional, хранение данных, хранилища данныхУ нас не подгорит!
В этой статье мы разберем, как PostgreSQL хранит большие (длинные) значения колонок, рассмотрим некоторые связанные с этим особенности и проблемы СУБД и предложим способы решения этих проблем. Посчитаем байтики и залезем в потроха СУБД. Будет интересно!
1. Что такое TOAST и зачем он нужен?
Как мы автоматизировали работу с Kafka: через тернии к Cruise Control
2022-10-26 в 12:34, admin, рубрики: cruisecontrol, devops, highload, open source, ozon tech, Анализ и проектирование систем, Блог компании Ozon Tech, высокая производительность, мультицодовость, отказоустойчивостьКомпьютеры быстры, но вы этого не знаете
2022-07-08 в 10:21, admin, рубрики: c++, highload, Блог компании Sportmaster Lab, высокая производительность, Программирование
Люди чертовски плохо разбираются в величинах, особенно в тех, которые не могут воспринимать биологически. Например, мы интуитивно понимаем, насколько тяжелее предмет массой 10 кг предмета массой 1 кг.
Ощущение величин можно улучшить, преобразовав их каким-нибудь образом в сигналы, знакомые мозгу.
Смотрели ли вы эти видео?
Второе нравится мне больше всего. Ежедневно я съедаю по чашке риса, так что измеряю состояние Джеффа не только наглядно, но и своим желудком.
Совсем недавно я внёс несколько оптимизаций в код, что помогло мне интуитивно понять, насколько быстро может работать компьютер. И я решил, что этим нужно поделиться.
Читать полностью »
Учимся жить с Kafka без Zookeeper
2022-06-09 в 13:56, admin, рубрики: devops, highload, высокая производительность, Кафка, распределенные системы, системное администрирование
Облегчаем жизнь PostgreSQL таблице под нагрузкой
2022-06-09 в 9:17, admin, рубрики: backend, highload, postgresql, Администрирование баз данных, Блог компании Karuna
У любого современного продукта — если он успешен — есть тот момент жизни, когда он из гадкого стартапа вдруг становится вполне себе прекрасным “энтерпрайз монолит платформ систем легаси”. Без тестов, без мониторинга, с highload и, конечно же, уймой родовых травм, вызванных быстрым развитием.
Куда уходит время? Боремся за миллисекунды в Kubernetes
2022-04-25 в 14:26, admin, рубрики: cpu, highload, kubernetes, ozon tech, Блог компании Ozon Tech, высокая нагрузка, высокая производительность, микросервисы, системное администрированиеПривет! Меня зовут Вова, я разрабатываю observability-платформу в Ozon. Как-то раз в наш уголок на 42 этаже заглянули коллеги — и поделились наблюдением. Если открыть рядом графики времён запросов и ответов двух живущих в Kubernetes и общающихся между собой микросервисов, то иногда можно наблюдать большую разницу в высоких квантилях: клиент считает, что один ответ из сотни ему приходит за сто миллисекунд, сервер же говорит, что успевает ответить за десять.
Куда ушло время? Можно ли его вернуть? Сегодня расскажу о том, с какими граблями может столкнуться микросервис, живущий в типичной инсталляции Kubernetes.
Борьба с TOAST или будущее JSONB в PostgreSQL
2022-01-23 в 21:26, admin, рубрики: high performance, highload, json, jsonb, postgres, postgresql, postgresql performance, toast, Администрирование баз данных, бенчмарки, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, исследования в it, хранилища данных
В PostgreSQL есть два типа данных: JSON и JSONB. Первый формат является текстовым хранилищем, в котором json хранится "as is", второй — бинарным, в нем ключи отсортированы (сначала по длине ключа, а потом по его названию), дубликаты удалены, а пробелы удалены. Этот SQL-запрос иллюстрирует различие между JSON и JSONB:
Как работает крупнейший маркетплейс: что у него под капотом
2021-12-31 в 10:55, admin, рубрики: calico, devops, highload, k8s, kubernetes, Microservices, network, высокая производительность, масштабирование, микросервисы, распределенные системы, Сетевые технологии, СХДВсем привет, я — Сергей Бобрецов, CTO в Wildberries.
Сегодня Wildberries — самый большой маркетплейс в России и мы так часто заняты повседневным хайлоадом, что не всегда успеваем рассказать что за всем этим стоит: какие технологии и решения под капотом, как мы справляемся с адом черной пятницы и ужасами киберпонедельника.
Почему я перешёл с Python на Go: choose your fighter
2021-12-28 в 13:18, admin, рубрики: Go, golang, highload, python, Блог компании Ozon Tech, карьера, Карьера в IT-индустрии, смена языкаПривет! Меня зовут Саша, я бэкенд-разработчик в Ozon. Пишу платформу для контента, который генерят пользователи: отзывов, комментов, вопросов, ответов. Раньше я писал на Python. Выбрал его изначально из-за лёгкого синтаксиса и большого количества вакансий для Python-разработчиков — изи катка для входа в профессию.
В один момент мне написали из Ozon: «П̶с̶с̶,̶ ̶п̶а̶р̶е̶н̶ь̶,̶ ̶п̶о̶к̶о̶д̶и̶т̶ь̶ ̶н̶а̶ ̶G̶o̶ ̶н̶е̶ ̶х̶о̶ч̶е̶ш̶ь̶?̶ Предлагаем переход на Golang с текущего стека, обучение за счёт компании».
Каждый инженер десятки раз в своей карьере сталкивается с выбором: оставаться дальше на той технологии, на которой он работает, или уходить на другую. В статье я расскажу, по каким критериям я сравнивал две технологии, и почему принял решение переехать на другой язык.
Среди разработчиков бытует мнение, что язык вторичен. Мол, главное — уметь в computer science, а на чём писать — не так уж важно. Но так считают хардкорные разработчики, они вертят деревья, смотрят на всех свысока и зарабатывают 300кк в наносекунду. Я же программист-полукровка (без высшего технического образования, а ещё мои родители — маглы) и считаю, что смена языка — важный шаг и нужно хорошенько прикинуть, прежде чем в это вписываться. Будем откровенны, если у вас за плечами десять лет на плюсах, вряд ли вам предложат должность senior iOS-разработчика на Swift. Проблема в том, что каждый язык имеет свои особенности и на их изучение требуется время.
Читать полностью »