Рубрика «высоконагруженные приложения»

Сегодня в этом посте весь день будет вестись текстовая трансляция конференции HighLoad++ 2016, проходящей в Сколково 7 и 8 ноября. HighLoad++ — это более 200 экспертов высочайшего класса с докладами о высоконагруженных сервисах, проблемах работы с ними и вопросах администрирования. Более 15 залов, плотный график, честный и полезный опыт спикеров — HighLoad++ умеет собирать крутые темы, задавать тон дискуссии и всё на одном дыхании.
Если вы хотите смотреть видео из главного зала и включения из мобильной студии Хабрахабра, то вам на страницу спецпроекта. Если почитать онлайн и поообщаться в кооментариях — под кат.

Текстовая трансляция HighLoad++ 2016. День первый - 1
Читать полностью »

В современном WEB Конструировании очень часто возникают задачи, когда необходимо оповестить пользователя о каком-нибудь событии: пришло новое сообщение, изменился курс на бирже или статус заказа, с конвертировался видео-контент или подскочила температура больной бабушки.

Есть несколько вариантов решения такого класса задач. Наиболее оптимальное и распространенное решение – это подписка на события. Как это реализуется в нагруженных проектах?
Читать полностью »

Предыстория

image Есть сайт на Laravel с посещаемостью real-time в 700-1000 человек. Ранее сайт использовал чат стороннего разработчика. Он использовал WebSockets.

Всё было прекрасно, пока в один прекрасный момент разработчик чата отказался его поддерживать в связи с высокой нагрузкой. С этого момента начались поиски альтернативных чат-систем…
Читать полностью »

В прошлом году писали о тестировании IBM RamSan FlashSystem 820. Н а этот раз, благодаря одному крупному заказчику, в наши руки попала IBM FlashSystem 840. Системе около года от роду, «детские болезни» уже позади т.е. самое время оценить её профессиональные возможности.

Тестирование флеш СХД. IBM FlashSystem 840 - 1

Методика тестирования

В ходе тестирования решались следующие задачи:

  • исследования процесса деградации производительности СХД при длительной нагрузке на запись (Write Cliff) и влияния заполненности СХД;
  • исследование производительности СХД IBM FlashSystem840 при различных профилях нагрузки;

Читать полностью »

В середине 2012-го года EMC заплатила $430 миллионов за открытый 3-мя годами ранее израильский стартап. Еще на стадии разработки, фактически за полгода до предполагаемого появления первого XtremIO устройства. К заказу, первые устройства стали доступны только в конце 2013-го.

Основная отличительная особенность XtremIO заключена в его архитектуре и функциональности. Во-первых, в архитектуру изначально заложены постоянно работающие и неотключаемые сервисы, такие как инлайн-дедупликация, компрессия и thin provisioning, которые позволяют экономить место на SSD. Во-вторых, XtremIO — это горизонтально-масштабируемый кластер из модулей (X-Bricks), между которыми автоматически равномерно распределяются данные и нагрузка. При этом, используется стандартное x86-оборудование и SSD, а функциональность реализована программно. В итоге, получается не просто быстрый диск, а массив, который позволяет экономить емкость за счет дедупликации и компрессии, особенно в таких задачах, как серверная виртуализация, VDI или базы данных с несколькими копиями.

Тестирование флеш СХД. EMC XtremIO - 1


Любовь к различного рода тестам не является сильной стороной компании EMC. Тем не менее, благодаря инициативной помощи локального офиса, для нас, в недрах удаленной лаборатории, был собран стенд включавший 2 X-Brick системы. Что позволило нам провести ряд тестов максимально приближенных к разработанной нами методике.

Тестирование проводилось на версии кода 2.4, сейчас доступна версия 3.0, в которой заявлены вдвое меньшие задержки.
Читать полностью »

В ходе тестирований производительности ведущих флеш-систем мы, в какой то момент, задались вопросами: Каково же влияние файловой системы на производительность реальной СХД? Насколько оно существенно и от чего зависит?

Известно, что файловая система является инфраструктурным программным слоем, реализуемым на уровне ядра ОС (kernel space) или, что реже — на пользовательском уровне (user space). Будучи промежуточным слоем между прикладным/системным ПО и дисковым пространством, файловая система должна вносить свою паразитную нагрузку, влияющую на показатели производительности системы. Следовательно, при расчетах реальной производительности СХД следует учитывать зависимость фиксируемых параметров от реализации файловой системы и ПО, использующего данную файловую систему.
Читать полностью »

Продолжаем тему, начатую в статьях "Тестирование флеш СХД. Теоретическая часть" и "Тестирование флеш СХД. IBM RamSan FlashSystem 820". Сегодня мы рассмотрим возможности одной из наиболее «массовых» моделей компании Violin Memory. Стартап, основанный выходцами из Fusion-io, стал первопроходцем и духовным лидером идеологии построения систем хранения данных исключительно на основе флеш-памяти. Массив Violin 6232 был выпущен в сентябре 2011 года и пробыл флагманом вплоть до выхода модели 6264 в августе 2013 года.

Тестирование флеш СХД. Violin 6232 Series Flash Memory Array

Нас, как технических специалистов, в большей мере, заинтересовала архитектура массивов Violin Memory, являющаяся их отличительной особенностью и несомненным преимуществом по сравнению с конкурентами. Каждый компонент — это собственная разработка компании:

  • Собственные flash модули (VIMM);
  • Собственная операционная система VMOS, оптимизированная для работы с flash;
  • Собственный запатентованный RAID (vRAID), лишенный недостатков стандартных RAID 5,6.

Система без единой точки отказа, где все компоненты продублированы. Где замена компонентов или обновление прошивки ни только не требуют остановки работы, но и не снижают производительности: 4 контроллера, отсутствие внутреннего кэша, запись полными «страйпами», оптимальные алгоритмы «сбора мусора». Такая архитектура позволяет получить высочайшую производительность, минимизировать задержки и побочные явления (Write Cliff), обеспечивает доступность данных уровня 99,9999 и нивелирует потери производительности при возможном выходе компонентов из строя. Богатый, продуманный интерфейс управления гармонично добавляет удобства работы с оборудованием Violin.
Читать полностью »

Тестирование флеш СХД. IBM RamSan FlashSystem 820

Методика тестирования

В ходе тестирования решались следующие задачи:

  • исследовать процесс деградации производительности СХД при длительной нагрузке на запись (Write Cliff) и чтение;
  • исследовать производительность СХД IBM FlashSystem 820 при различных профилях нагрузки;

Читать полностью »

На днях мы первые в России получили новую флэш СХД от EMC. И по уже сложившейся традиции в рамках тест-драйва 4 марта я положу на стол перед вами 6 юнитов.

Заявленная производительность системы — 250.000 IOPS для случайного чтения блоками 4к. При этой нагрузке среднее время отклика массива не должно превышать 1мс. Вот и проверим, и заодно повытаскиваем немного запчастей «на живую» прямо во время высоких нагрузок.

Приглашаю на тест драйв коробки за 28 миллионов рублей – СХД EMC XtremIO
СХД EMC XtremIO приехала к нам вот в такой скромной коробке
Читать полностью »

Привет!
Пощупать и потестить железо стоимостью миллион долларов удаётся не каждый день. Так вот, у нас есть новая система Violin Memory, и я приглашаю вас на тест-драйв. Да, кстати, это именно у нас на одном из таких тест-драйвов на спор отключали рубильником работающую стойку в ЦОДе. Но в этот раз мы так делать не будем.

Что это за железо парой слов?

Это СХД, которая держит время отклика на чтение и запись около 1 мс при высокой нагрузке и при этом даёт самую маленькую цену на операцию I/O в известной галактике. Основное жизненное призвание – убирать «бутылочные горлышки» в куче случаев. Читать полностью »