Многие помнят публикацию о «Рэйдикс» на Хабре «Как разработчики сидели в Петербурге и тихо ели грибы», в которой партнеры кратко изложили историю появления нашего продукта. Поэтому в первой статье своего Хаброблога мы бы хотели погрузиться в математические основы технологий RAIDIX.
Рубрика «СХД» - 9
Начнем с математики. Векторизация вычислений в реализации технологии RAID-6
2017-04-19 в 9:15, admin, рубрики: raid, raid6, Алгоритмы, Блог компании RAIDIX, высокая производительность, конечные поля, контрольная сумма, математика, поля галуа, системное программирование, системы хранения данных, СХД, хранение данных
Кластер хранилища Ceph на VMWare за 10 минут
2017-03-17 в 5:00, admin, рубрики: ceph, linux, SAN, децентрализованные сети, Облачные вычисления, облачные хранилища, системное администрирование, СХД, хранение данных
Этот мануал написан для желающих попробовать гибкость и удобство распределенного файлового хранилища Ceph в виртуальной среде на домашнем ПК. Сразу поясню, что 10 минут — это время на разворачивание самого кластера (установка и настройка Ceph на виртуальных машинах). Но на создание и клонирование виртуальных машин и на установку ОС потребуется отдельное время.
К концу статьи у нас будет виртуальный кластер из трех машин, и сам ПК с Windows в качестве клиента хранилища. Следом мы скинем туда фотографии котиков, уроним одну ноду, потом поднимем, уроним другую, скачаем обратно фотографии котиков, обрадуемся.
Кто еще не в теме Ceph, можно прочитать вводную статью Знакомство с Ceph в картинках и посмотреть модное промо от производителя.
Программно-определяемые СХД: сравниваем 7 решений
2017-03-16 в 10:05, admin, рубрики: Блог компании ГК ЛАНИТ, ит-инфраструктура, Ланит, онланта, системы хранения данных, СХД, хранение данныхВ этой статье я кратко расскажу о программно-определяемых хранилищах (Software-Defined Storage, SDS) и о возможностях их применения, которые они дают при построении ИТ-инфраструктуры. В конце статьи вас ждет сравнение семи SDS-решений. Я протестировал их, когда мы с коллегами из «Онланты» прорабатывали варианты развития инфраструктуры облака OnCloud.ru. Надеюсь, что сравнительная таблица сэкономит вам кучу времени и сил при выборе продукта.
Почему февральское обновление HPE 3PAR StoreServ – самое важное с момента запуска линейки
2017-03-07 в 10:11, admin, рубрики: 3par, HPE, hpe 3par storeserv, Блог компании Hewlett Packard Enterprise, сжатие данных, СХД, хранение данныхАнонс новых функциональных возможностей HPE 3PAR StoreServ от 13 февраля 2017 года был назван некоторыми комментаторами в корпоративном блоге самым важным с момента запуска
семейства 3PAR 7000 четыре года назад. Это очень громкое заявление. За это время в индустрии многое поменялось, флеш-накопители обогнали жесткие диски по объемам продаж, а некоторые компании, производящие системы хранения, потеряли свою независимость или вообще разорились.
Интересно, что 13 февраля были объявлены, по большому счету, только программные улучшения. Единственная аппаратная новинка – это четырехпортовые адаптеры для семейства 3PAR 8000. Это важная вещь для тех, кто использует File Persona или iSCSI, но звания «самого важного анонса» не заслуживает. Так в чем же дело?
SDS, облако без облака, Aruba и компонуемая инфраструктура: новые вебинары HPE
2017-02-20 в 8:53, admin, рубрики: aruba, HPE, hpe synergy, Блог компании Hewlett Packard Enterprise, вебинары, Сетевые технологии, системное администрирование, СХДС февраля по май мы проведем вебинары по нескольким полезным темам:
- создание программно определяемых хранилищ на базе HPE StoreVirtual VSA;
- удобное управление гиперконвергентными системами через новый интерфейс HPE HyperConverged 2.0;
- сетевые решения HPE Aruba (цикл вебинаров): ArubaOS 8, Aruba OS-Switch, системы управления AirWave и Central, платформа безопасности ClearPass;
- платформа для компонуемой инфраструктуры HPE Synergy (цикл вебинаров).
Узнайте подробнее о конкретных вебинарах и зарегистрируйтесь.
Дизайн виртуализованного ЦОД
2017-02-04 в 9:30, admin, рубрики: vdc, виртуализация, Облачные вычисления, сервер, СХД, хранение данных, метки: vdc
Введение
Информационная система с точки зрения пользователя хорошо определяется в ГОСТ РВ 51987 — «автоматизированная система, результатом функционирования которой является представление выходной информации для последующего использования». Если рассматривать внутреннюю структуру, то по сути любая ИС является системой реализованных в коде взаимосвязанных алгоритмов. В широком понимании тезиса Тьюринга-Черча алгоритм (а сл-но ИС) осуществляет трансформацию множества входных данных в множество выходных данных.
Можно даже сказать, что в трансформации входных данных и есть смысл существования информационной системы. Соответственно ценность ИС и всего комплекса ИС определяется через ценность входных и выходных данных.
Исходя из этого проектирование должно начинаться и брать за основу данные, подстраивая архитектуру и методы под структуру и значимость данных.
Хранимые данные
Ключевым этапом подготовки к проектированию является получение характеристик всех наборов данных, планируемых к обработке и хранению. Эти характеристики включают в себя:
— Объем данных;
— Информация о жизненном цикле данных (прирост новых данных, срок жизни, обработка устаревших данных);
— Классификация данных с т.з. влияния на основной бизнес компании (то триаде конфиденциальность, целостность, доступность) вместе с финансовыми показателями (напр. стоимость утери данных за последний час);
— География обработки данных (физическое расположение систем обработки);
— Требования регуляторов по каждому классу данных (напр. ФЗ-152, PCI DSS).
Инфраструктура онлайн игры
2017-01-16 в 10:00, admin, рубрики: Amazon Glacier, bamboo, bitbucket, confluence, freebds, freenas, jail, jira, mongodb, NAS, nginx, node.js, owncloud, phpvirtualbox, pm2, replication, slack, SPA, support, virtualbox, VPC, vpn, vps, zfs, Анализ и проектирование систем, архитектура, базы данных, балансировка нагрузки, бекап, время выдохнуть, высокая производительность, дата-центр, домашний сервер, игры, информационная безопасность, инфраструктура, история создания, мастер тегов, масштабирование, метрики, нагрузочное тестирование, настройка сети, несколько провайдеров, обзор, онлайн игры, потеря данных, Разработка веб-сайтов, разработка игр, резервное копирование, спокойный сон, стабильность, СХД, техническая поддержка, фотография, хранение данных, ясделяль
Здравствуйте, меня зовут Александр Зеленин, и я на дуде игрец веб-разработчик. Полтора года назад я рассказывал о разработке онлайн игры. Так вот, она немного разрослась… Суммарный объём исходного кода превысил «Войну и мир» вдвое. Однако в данной статье я хочу рассказать не о коде, а об организации инфраструктуры проекта.
Развертывание тестового кластера VMware Virtual SAN 6.2
2016-12-22 в 20:04, admin, рубрики: ESXi, HCI, SDS, storage, VMware, VSAN, vSphere, виртуализация, системное администрирование, СХД, хранение данныхВведение
Передо мной была поставлена задача — развернуть кластер VMware Virtual SAN 6.2 для тестирования производительности, анализа возможностей, особенностей и принципов работы гиперконвергентной программной СХД от VMware.
Кроме того, созданный тестовый стенд должен стать платформой для разработки и апробирования методики тестирования распределенных СХД, в т.ч. для гиперконвергентных инфрастуктур (HCI).
Результатов тестирования и описания его методики в данной статье не будет, вероятно этому будет посвящена отдельная публикация.
Данная статья будет полезна специалистам, которые впервые сталкиваются с развертыванием кластера VMware Virtual SAN 6.2. Я постарался указать подводные камни, на которые можно напороться при поднятии кластера, что позволит значительно сократить время и нервы на их обход.
Читать полностью »
«Пьяная» база данных: как на 1 базе мы сделали 7 тестовых площадок, причём у каждой — свой собственный инкремент и дифф
2016-12-06 в 7:05, admin, рубрики: Delphix, Администрирование баз данных, база данных, Блог компании КРОК, инфраструктура, ит-инфраструктура, программно-определяемая СХД, системное администрирование, СУБД, СХД, тестовые стенды, хранение данныхПредставьте себе компанию «Ингосстрах» с продуктивной базой 30 Тб. Она лежит на большой такой железной хранилке, её обслуживает очень-очень тяжёлый сервер. Всё красиво. Теперь представьте, что вы написали фичу или кусок функционала, и вам нужно протестировать её на боевой базе. Кусочек базы отщипнуть нельзя по ряду причин.
Что вы сделаете? Ну, традиционный путь — взять ещё одну хранилку на 30–35 Тб (но подешевле раз в пять, помедленнее, попроще, без резервирования) и отреплицировать базу на неё. А затем работать с копией. Хороший план?
Нет. Дело в том, что когда у вас несколько команд разработки (а в нашем случае их количество выросло от 4 до 10), нужно, соответственно, от 4 до 10 тестовых площадок. Или даже больше. Покупать такое железом просто нереально, поэтому нужно решение, которое позволит один раз реплицировать боевую базу, а затем «показывать» её каждому серверу как отдельную тестовую, но храня все изменения тестовой площадки. Вот так:
Расскажу, как на одном узле с физической базой мы развернули 7 тестовых площадок, изолированных друг от друга. Читать полностью »
Под капотом у новой поделки Dell + EMC — флешового хранилища по цене дискового
2016-11-29 в 7:22, admin, рубрики: EMC, flash, ssd, storage, unity, VNX, Блог компании КРОК, ит-инфраструктура, Серверное администрирование, системное администрирование, СХД, хранение данных, хранилище, хрррСразу скажу главное — заявление про «цену дисковой» касается только специальных акционных цен на Unity, которые EMC дало нам как официальному партнеру в России под промо новой модели СХД. Акция касается не всех, детали в почту. Обычные же цены — просто крепкий хороший midrange под свою специфику.
Итак, поехали. EMC уже много лет неравнодушна к флешам, но в прошлом году конкретно заморочилась, решив, что будущее за ним. И выпустило рабочую и не очень дорогую штуку. Это почти что обычный мидрейндж с SSD-дисками (нюансы чуть позже). Никаких «втыкаем лом, а она продолжает работать», но зато внушительная производительность под базы данных и виртуалки плюс разные мелкие фишки.
Вот яркий пример оптимизации — раньше тут был отдельный ИБП-модуль в своём кожухе, и он менялся «на горячую». А теперь — Li-ion батарея с полиэтиленовой защитой от протечки внутри контроллера.
А ещё они наступили многим вендорам на любимую мозоль и сделали цену поддержки одинаковой на всё время. А то, знаете ли, многие большие вендоры любят ставить такую цену на 4-й и 5-й год, что проще заменить железо на новое. Ну и да, у этих ребят выход из строя диска по износу считается гарантийным случаем, не в пример некоторым любителем звездочек и мелкого шрифта в гарантийной политике.
Всё, теперь пошли втыкать в неё лом и тестировать. Забегая вперёд скажу, что с 9 дисков сняли 80 тысяч иопсов. Читать полностью »