Рубрика «высоконагруженные системы»

в 12:27, , рубрики: legacy-системы, mongodb, postgresql, ydb, анализ исходного кода, архитектурное исследование, аудит событий, высоконагруженные системы, системный анализ

Как системный аналитик получил задачу на доработку высоконагруженной системы, которую никто не мог описать целиком

Мне передали задачу по развитию подсистемы аудита крупной отраслевой платформы.

Компания появилась относительно недавно, но сама информационная система формировалась на базе нескольких ранее существовавших решений. В разные периоды их создавали разные компании и команды без единого архитектурного центра. В результате получилась распределенная платформа из сотен микросервисов, обрабатывающая большие объемы данных и обеспечивающая взаимодействие между множеством внешних организаций.

Читать полностью »

в 12:00, , рубрики: backend, Go, golang, highload, ozon tech, высоконагруженные системы, Программирование, проектирование систем
От полной выгрузки к S3 и PostgreSQL: как мы доставляем гигабайты данных в память подов - 1

Представьте себе высоконагруженный сервис, который решает, с какого из множества складов нужно отправить товар покупателю. В пике через него проходит около 600 000 RPSЧитать полностью »

в 7:52, , рубрики: c++, open source, protobuf, высоконагруженные системы, оптимизация производительности, сериализация данных

в 5:24, , рубрики: анализ данных, высоконагруженные системы, ии-модель, онтология цифрового пространства, развитие, устойчивость
Почему нейросети — это тупик? Новый взгляд на архитектуру искусственного интеллекта - 1

Владислав Зелёнин-Шумский

Независимый исследователь

Читать полностью »

в 7:00, , рубрики: postgresql, sql, высоконагруженные системы, очереди
Очереди на PostgreSQL: антипаттерн или реальность жизни - 1

Привет! Меня зовут Дима Кривопальцев, я тимлид бэкенд‑команды Яндекс Диска (Яндекс 360). Уже больше семи лет я занимаюсь разработкой высоконагруженных распределённых систем — и в статье расскажу об одной из них.

Читать полностью »

в 9:00, , рубрики: высоконагруженные системы, датацентр, космонавтика, космос, МКС, научпоп

Пользователям нужны данные в реальном времени, а не с задержкой в сутки, но законы физики против. Ведь огромные объёмы информации нужно передавать по нестабильным каналам связи, да ещё и на ограниченный по периодам наблюдений наземный сегмент.

В этой серии статей разберёмся, почему на орбите до сих пор нет полноценных дата-центров, какие технологии приближают их появление, а что всё ещё остаётся фантастикой. Поговорим о лазерах и ретрансляторах, о проектах Китая, США и России, и реально ли охлаждать серверы в космосе.

Читать полностью »

в 8:16, , рубрики: e-commerce, Go, redis, архитектура, асинхронность, база дынных, высоконагруженные системы, инвалидация кеша, кеширование, производительность

в 12:00, , рубрики: AI, Colossus, gpu, xai, высоконагруженные системы, искусственный интеллект, Компьютерное железо, Макс

В 2024 году компания xAI, основанная Илоном Маском, запустила суперкомпьютерный кластер Colossus в Мемфисе. Его построили всего за 122 дня, что не много для такой мощной системы. С тех пор Colossus несколько раз наращивали, и теперь его ждет следующий, еще более масштабный апгрейд. Сегодня поговорим о том, как устроен Colossus, что за технологии в нем используются и какие задачи он должен решать. Поехали!

Читать полностью »

в 6:00, , рубрики: llm, ydb, базы данных, векторный поиск, высоконагруженные системы, машинное обучение, нейросети, поиск, работа с данными
Запустили векторный поиск в YDB: рассказываем, как он работает - 1

В новой версии YDBЧитать полностью »

в 9:00, , рубрики: linux, linux kernel, ruvds_статьи, Блог компании RUVDS.com, высокая производительность, высоконагруженные системы, Компиляторы, Настройка Linux, оптимизация, Программирование

Выжимаем все соки: PGO Оптимизация ядра Linux - 1


Сложность вычислительных задач и систем растёт с каждым днём. Для бизнеса ускорение кода даже на пару процентов даёт улучшение производительности, заметное снижение издержек и уменьшение задержки(latency). В первую очередь это касается мобильных и встраиваемых систем, высоконагруженных серверов, научных вычислений и 3D-графики. Так был разработан относительно перспективный и молодой метод оптимизации — Profile-Guided Optimization, далее просто PGO-оптимизация. Данный метод эффективно используют такие известные компании, как Google, Mozilla Foundation, Intel, Oracle, IBM и другие. Практически ни один современный веб-браузер не обходится без PGO-оптимизации.

Не так давно компанией Google был предложен набор патчей, включающий PGO-оптимизацию в ядре Linux. Мною был протестирован этот набор патчей в работе и доработан. Мне хотелось бы рассказать об этом методе оптимизации ядра Linux, о том, с какими трудностями можно столкнуться, и как их решить.

Если вас заинтересовала эта тема, вам интересно развитие технологий и тренды крупных компаний, то добро пожаловать под кат.
Читать полностью »

12
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js