Как повысить производительность систем хранения данных в дата-центре

По информации Cisco, к 2019 году один пользователь будет генерировать ^[1] 1,6 ГБ данных на облачных хранилищах ежемесячно. Увеличение объема информации — главный ^[2] фактор роста ИТ-рынка и в то же время серьезный вызов для инфраструктуры. Поэтому в этой статье посмотрим, как поднять производительность и эффективность SSD и HDD в дата-центре.

^[3]
/ кадр из видео ^[4] о дата-центре Xelent, в котором размещается ^[5] оборудование 1cloud

Что влияет на производительность HDD и SSD в дата-центрах

Проблемы производительности, связанные с хранением, упираются ^[6] в размеры блоков данных вне зависимости от архитектуры СХД — будь то традиционная инфраструктура или распределенное хранилище. Например, операции с одним и тем же объемом данных при работе с блоками требуют разного количества ресурсов: запись 100 байт в один блок или несколько займет разное время.

Другой фактор — то, как система обращается к файлам и как они хранятся на диске. Процедуры определения местоположения информации приводят к задержкам обработки в случае с HDD. При этом большие данные ^[7], размером свыше петабайта, преобразуются в огромное количество метаданных, с которыми справится не каждая файловая система.

Также на производительности систем хранения сказываются физические ограничения технологий. Есть мнение ^[8], что с ростом производительности темпы развития параметров HDD не следуют закону Мура. SSD же развиваются предсказуемо: пропускная способность вместе с емкостью растет, как того ожидает индустрия.

Однако у HDD еще осталось поле для маневра — ведутся работы ^[9] по уменьшению дисков в размерах и увеличению плотности записи, направленные на повышение эффективности запоминающих устройств. Например, только в начале октября этого года компания WD представила ^[10] новую технологию микроволновой магнитной записи (MAMR), которая, по расчётам разработчиков, позволит создавать 40-терабайтные HDD.

/ кадр из видео ^[4] о дата-центре Xelent, в котором размещается ^[5] оборудование 1cloud

Как повысить производительность систем хранения данных

Определить узкие места

Валдис Филкс (Valdis Filks), директор по исследованиям в Gartner Inc, сравнивает ^[11] поиск «утечки» производительности в системе хранения с поиском сокровищ. И отмечает, что для этого нужны специальные инструменты. Сегодня индустрия предлагает как встроенные системы для оценки работоспособности массивов хранения данных, так и стороннее программное обеспечение для управления ресурсами хранения (SRM) и мониторинга.

Например, компания Dell EMC предлагает ^[12] встроенные инструменты для управления ресурсами хранения и составления отчетов. Они позволяют сформировать статистику по емкости, конфигурации и производительности используемых массивов. Отметим, что подобные решения предоставляют ^[13] и IaaS-провайдеры, если речь об отслеживании производительности СХД в виртуальной инфраструктуре.

Оптимизировать данные

Повысить производительность СХД можно, если правильно скомпоновать накопители в пулы. Один из вариантов ^[14] — объединение дисков с низкой производительностью, которые хранят основную массу данных, и использование динамического выделения памяти и дедупликации ^[15].

Для выполнения этих функций существует большое количество современных решений. Дополнительно они обеспечивают защиту данных и виртуальных серверов. Одним из примеров может служить ^[16] решение ClearSky Data, которое устраняет дубликаты данных и предлагает возможности резервного копирования и восстановления после катастрофы.

Идея проекта заключается в следующем: кеш с бизнес-критической информацией хранится на площадке клиента, «теплые» данные помещаются в локальное облако, а «холодные» выносятся во внешнее облако. Компания разработала программное обеспечение, которое автоматически управляет данными, перемещая их между точками хранения. Алгоритмы анализируют интенсивность использования информации и требования заказчика.

Еще один проект ^[17] — это стартап Datrium. Идея разработчиков заключается в том, что дедупликация выполняется дважды: на локальной флеш-памяти до пересылки на устройство долгосрочного хранения, и после него. О других интеллектуальных системах дедупликации и резервного копирования вы можете почитать ^[18] в одном из наших материалов.

Оптимизировать кеш

Если объем данных, используемый системой, слишком велик для кеша, производительность может существенно снизиться. Решить проблему помогает ^[14] виртуализация СХД. Виртуализация точек монтирования, в которых система хранения данных связывается с сервером и ОС, позволяет задействовать DRAM для создания общего кеша.

Впоследствии его можно использовать с целью ускорения работы приложений и выполнения буферизации. Специалисты из аналитической компании StorageSwiss говорят ^[19], что такой подход хорошо показывает себя при работе с системами обработки транзакций в реальном времени.

Оптимизировать работу сети

Модернизация сети помогает в тех случаях, когда производительность страдает от недостатков на уровне адаптера главной шины, сетевого коммутатора или кабельной инфраструктуры. Кабельные соединения часто упускаются ^[20] из виду как фактор снижения эффективности хранения данных.

Еще одна причина — неэффективное управление ^[21] трафиком. Если сеть обладает ограниченной пропускной способностью, то часть канала можно отвести под критически-важные сервисы, «поджав» работу второстепенных (скажем, электронной почты).

Для повышения качества управления трафиком, специалисты консалтинговой группы Ashton Metzler & Associates Inc. советуют мониторить сеть и готовить отчеты, чтобы своевременно изменять модель распределения данных.

Как отмечают ^[22] сотрудники Viavi Solutions, один из эффективных способов трафик-менеджмента — это иерархическая система качества обслуживания (H-QoS). Она объединяет в себе сетевые политики и политики фильтрации. H-QoS снижает латентность, не требуя повышения пропускной способности сети.

Использовать особенности устройств хранения

Хотя SSD и HDD выполняют одну и ту же функцию, они основаны на разных технологиях. Поэтому к этим устройствам требуется различный подход. Например, в случае с SSD фрагментация никак не сказывается на производительности. Это означает, что дефрагментация не дает преимуществ в вопросе оптимизации. Поэтому команда PC Magazine Labs отмечает ^[23], что иногда бывает полезно отключить эту функцию для твердотельных накопителей.

Также отметим, что внутренняя реализация ряда операций, например, удаления файлов, в SSD и HDD отличается. А выполнение некоторых стандартных функций на SSD (например, форматирования) даже приводит ^[24] к ухудшению их производительности. И чтобы противостоять этому эффекту, стоит использовать команду TRIM, которая уменьшает ^[25] влияние «сборки мусора ^[26]» на SSD-устройстве.

Бывают ситуации, когда TRIM не поддерживается ОС. Для таких случаев были разработаны специальные инструменты, которые дают возможность посылать команду «вручную». Эти утилиты формируют список свободных блоков и передают его диску в виде последовательности TRIM-команд. При этом есть как универсальные инструменты (например, hdparm ^[27]), так и специализированное программное обеспечение для дисков отдельных производителей (Intel SSD Toolbox ^[28]).

P.S. Вот еще несколько статей об аппаратных решениях из нашего блога:

Автор: 1cloud

Источник ^[33]