Рубрика «высокая производительность» - 73

Как Netflix эвакуируется из региона AWS за семь минут

2018-04-28 в 13:42, admin, рубрики: Amazon Web Services, AWS, Elastic Load Balancer, netflix, python, zuul, высокая производительность, Серверная оптимизация, Серверное администрирование

Netflix уменьшил время аварийного переключения с 45 до 7 минут без каких-либо затрат

Как Netflix эвакуируется из региона AWS за семь минут - 1

Изображение: Florida Memory. Доработано Opensource.com. CC BY-SA 4.0

Зимой 2012 года Netflix пережил длительный сбой, уйдя в отключку на семь часов из-за проблем с сервисом AWS Elastic Load Balancer в регионе US-East (Netflix работает на AWS — у нас нет собственных дата-центров. Всё ваше взаимодействие с Netflix происходит через AWS, кроме самого потокового видео. Как только вы нажмете Play, начинает загружаться видеопоток из нашей собственной сети CDN). Во время сбоя ни один пакет из региона US-East не доходил до наших серверов.

Чтобы такого больше не повторилось, мы решили создать систему аварийного переключения, устойчивую к сбоям базовых поставщиков услуг. Аварийное переключение (failover) — это система обеспечения отказоустойчивости, когда в случае сбоя основной системы автоматически активируется резервное оборудование.
Читать полностью »

Тестирование систем в TPC-C — быстро и просто

2018-04-27 в 7:24, admin, рубрики: TPC, tpc-c, Блог компании DataLine, высокая производительность, тест на производительность, тест системы, Тестирование IT-систем, тестирование производительности, тестирование системы

Тестирование систем в TPC-C — быстро и просто - 1

Первый шаг при работе с новыми вычислительными ресурсами, — неважно, строим ли мы их сами, или арендуем в облаке, — это оценка производительности. Для этого проводится ряд тестов, определяющих производительность нового стенда по отношению к существующему.

В идеальном мире такой тест проводится «по живому»: система копируется на новый стенд и проводится эмуляция реальной нагрузки. Но такой путь слишком трудоемкий, поэтому в реальном мире используются синтетические тесты.

Мне всегда было интересно измерить производительность наших систем и посмотреть на их место в мировых рейтингах. Кроме того, время от времени возникают задачи нагрузить сервер реальной нагрузкой и посмотреть, как ведет себя железо.

И сегодня я расскажу, как с помощью теста TPC-C измерить производительность стенда и получить результат в стандартных транзакциях в секунду.
Читать полностью »

Про утечку памяти в одном серверном приложении

2018-04-27 в 5:44, admin, рубрики: c++, DTrace, free, freebsd, malloc, memory leak, umap, unmap, высокая производительность, отладка, Программирование, утечка памяти

Про утечку памяти в одном серверном приложении - 1

Прочитав данную заметку вы узнаете, через что пришлось пройти после неожиданно возникшей утечки памяти серверного приложения в ОС FreeBSD. Какие современные средства обнаружения подобных проблем существуют в данной среде и почему самое мощное из них может оказаться совершенно бесполезным ~~в кривых руках~~.
Читать полностью »

Защита от DDoS атаки на уровне веб-приложений

2018-04-27 в 4:13, admin, рубрики: cleantalk, cms, ddos, ddos-атака, ddos-защита, highload, javascript, performance, php, Блог компании CleanTalk Anti-Spam, высокая производительность, информационная безопасность, Разработка веб-сайтов

Как известно DDoS атаки на сайт бывают разной интенсивности, имеет значение количество хостов участвующих в атаке, количество сетевых пакетов и объем передаваемых данных. В самых тяжелых случаях отбить атаку возможно только применяя специализированное оборудование и сервисы.

Если же объем атаки меньше пропускной способности сетевого оборудования и вычислительных мощностей сервера (пула серверов) обслуживающих сайт, то можно попробовать “заглушить” атаку не прибегая к сторонним сервисам, а именно включить программный фильтр трафика поступающего на сайт. Этот фильтр будет отсеивать трафик ботов участвующих в атаке, при этом пропуская легитимный трафик “живых” посетителей сайта.

Читать полностью »

Разработка нагрузочных скриптов для браузерных-мобильных игр. Часть 1

2018-04-26 в 15:47, admin, рубрики: java, jmeter, высокая производительность, нагрузочное тестирование, Тестирование веб-сервисов, Тестирование игр

Привет. В прошлой статье я рассказал об автоматизации процесса нагрузочного тестирования в игровой компании, в которой я работаю. Теперь пришло время остановится на некоторых конкретных задачах, с которыми пришлось столкнуться в ходе подготовки к процессу тестирования самих игр.

Есть большая разница между тестированием разных банковских/retail-процессов и игр. В первом случае пользователи выполняют их задачи почти изолированно друг от друга и используют только те данные и элементы, которые видят в окне своих браузеров или других клиентов в данный момент, что облегчает разработку нагрузочных скриптов. В играх же пользователи (игроки) находятся в динамично меняющемся мире и часто подвержены влиянию друг друга. В моем воображении разница выглядит примерно так:

Разработка нагрузочных скриптов для браузерных-мобильных игр. Часть 1 - 1
Читать полностью »

Каналы связи L2 и L3 VPN — Отличия физических и виртуальных каналов разного уровня

2018-04-26 в 9:11, admin, рубрики: L2, L2VPN, L3VPN, виртуализация, высокая производительность, каналы связи, Терминология IT, хостинг

Каналы связи L2 и L3 VPN — Отличия физических и виртуальных каналов разного уровня - 1

С доброй улыбкой теперь вспоминается, как человечество с тревогой ожидало в 2000 году конца света. Тогда этого не случилось, но зато произошло совсем другое событие и тоже очень значимое.

Исторически, в то время мир вошел в настоящую компьютерную революцию v. 3.0. – старт облачных технологий распределенного хранения и обработки данных. Причем, если предыдущей «второй революцией» был массовый переход к технологиям «клиент-сервер» в 80-х годах, то первой можно считать начало одновременной работы пользователей с использованием отдельных терминалов, подключенных к т.н. «мейнфреймам» (в 60-х прошлого столетия). Эти революционные перемены произошли мирно и незаметно для пользователей, но затронули весь мир бизнеса вместе с информационными технологиями.

При переносе IT-инфраструктуры на облачные платформы и удаленные ЦОД (центры обработки данных) ключевым вопросом сразу же становится организация надежных каналов связи от клиента к дата-центрам. В Сети нередко встречаются предложения провайдеров: «физическая выделенная линия, оптоволокно», «канал L2», «VPN» и так далее… Попробуем разобраться, что за этим стоит на практике.
Читать полностью »

История про хранилище изображений. Или как велосипед спас от костыля

2018-04-25 в 4:52, admin, рубрики: Анализ и проектирование систем, Блог компании 2ГИС, высокая производительность, Программирование, Проектирование и рефакторинг, проектирование систем, работа с изображениями, хранение изображений

История про хранилище изображений. Или как велосипед спас от костыля - 1

На днях мы порелизили новую фичу — Дорожные события в навигаторе. Теперь пользователи мобильных приложений могут не только посмотреть на дорожные пробки и места расположения скоростных камер, но и участвовать в обмене информацией на дорогах: указать места ДТП, дорожных работ, перекрытий, а также просто пообщаться. Помимо указанных мест сориентироваться в ситуации помогут добавленные фотографии.

В статье расскажу, как мы разработали сервис, способный хранить миллионы фотографий и обслуживать тысячи запросов в секунду.
Читать полностью »

Осталось 7 дней, чтобы повлиять на программу Highload++ Siberia

2018-04-24 в 7:08, admin, рубрики: Блог компании Конференции Олега Бунина (Онтико), высокая производительность, высоконагруженные проекты, конференция, Программирование

Сначала о главном, а потом обо всем по порядку. Через 7 дней, то есть 30 апреля закрывается приём докладов на Highload++ Siberia.
Осталось 7 дней, чтобы повлиять на программу Highload++ Siberia - 1

Стоп, что это вообще

Мы посчитали, что одного HighLoad++ в год недостаточно. Пораскинули мозгами и решили заодно расширять географию. Новосибирск — это крупный IT-хаб в России, там базируется целый ряд крупных IT-компаний и развивается сибирская Долина — Академпарк. Поэтому, все едем в Новосибирск 25 и 26 июня.

Highload++ Siberia это форк нашей самой крутой конференции для разработчиков высоконагруженных систем, но это будет совершенно самостоятельное мероприятие со своими будущими традициями и своей программой. То есть, если вам чего-то все время не хватало на Highload++, то самое время, а точнее последний шанс, деятельно на это повлиять.
Читать полностью »

Гибридное хранилище для дома «из коробки» и возможности High Availability от Synology

2018-04-23 в 6:37, admin, рубрики: backup, DSM, high availability, LUN, NAS, raid, SAN, Synology, xpenology, виртуализация, высокая производительность, гибридное хранилище, кластер, резервирование, резервное копирование, сервер, СХД, хранение данных, хранилища данных

Гибридное хранилище для дома «из коробки» и возможности High Availability от Synology - 1 Несколько лет назад, при выборе первого хранилища для дома, я смотрел в сторону «коробочных решений» по причине не особой осведомлённости в построении системы хранения на базе открытого ПО и обычного ПК. В тот раз выбор пал на 2-дисковую NAS — Shuttle KD20. Хранилище было компактным и тихим. RAID1 обеспечивал необходимую надёжность, а потребности в высокой производительности и расширенном функционале на тот момент не было. Этот NAS проработал почти 4 года, пока в один прекрасный момент не накрылась линия питания вентилятора. Диски раскалились до 60 градусов и чудом выжили. Я запаял вентилятор напрямую к материнке, но стал подбирать вариант на замену. В качестве второй NAS я выбрал 4-дисковую Synology. Задачи оставались те же, поэтому в функционал DiskStation Manager (DSM) я особо не вникал. Это продолжалось до тех пор, пока я не решил установить домашнее видеонаблюдение на несколько каналов. Не смотря на то, что Synology имеет собственный сервис видеонаблюдения, я остановился на Macroscop — была потребность в расширенном функционале и серьёзной аналитике. На своё счастье, я обнаружил в DSM новый пакет Virtual Machine Manager — гипервизор, с помощью которого я создал виртуальную машину и установил на неё Windows и Macroscop. На запись система работала нормально, встроенный Pentium 1,6 ГГц с трудом, но успевал отрабатывать задачи СХД и виртуальной машины. Но как только активировалась какая-либо аналитика — сервис отваливался по перегрузке процессора. В результате, я был вынужден начать поиски отдельного бюджетного Windows-девайcа с адекватной производительностью для реализации сервера видеонаблюдения, так как Synology необходимого уровня стоит недёшево. В тот самый момент я в очередной раз наткнулся в сети на статьи, посвящённые установке DSM на обычное железо и мой проект XPenology начался…
Читать полностью »

Проектирование Schemaless хранилища данных Uber Engineering с использованием MySQL

2018-04-22 в 22:34, admin, рубрики: high availability, mysql, nosql, uber, высокая производительность

Designing Schemaless, Uber Engineering’s Scalable Datastore Using MySQL

By Jakob Holdgaard Thomsen
January 12, 2016

https://eng.uber.com/schemaless-part-one/

Проектирование Schemaless хранилища данных Uber Engineering с использованием MySQL. Это первая часть из трех частей серии статей о Schemaless хранилище данных.

В Project Mezzanine мы описали, как мы перенесли данные о поездках Uber из одного экземпляра Postgres в Schemaless — наше высокопроизводительное и надежное хранилище данных. В этой статье описывается его архитектура, роль в инфраструктуре Uber и история проектирования.
Читать полностью »

Информация

Комментарии

Рекомендуем