Рубрика «кластер» - 4

Наверное многие из нас, решая задачу организации небольшой IT-инфраструктуры, сталкивались с проблемой выбора гипервизора. Каким функционалом должен обладать софт и сколько за это стоит платить? А будет ли та, или иная часть решения совместима с тем, что уже есть?
И как бы, всё это погонять на стенде, чтобы убедиться в правильности выбора?
С учетом курса одной, всем известной валюты, хочется чего-то простого, без излишеств и, по возможности, бесплатного. Тем более, когда речь идет о малой или средней компании (стартапе), ограниченной в бюджете.

Что нам требуется?

image

  • Совместимый с оборудованием гипервизор
  • Кластер, с доступом к админке через веб-интерфейс
  • High Availability для виртуальных машин в кластере
  • Функция бэкапа и восстановления из коробки
  • Доступность для понимания и работы среднему администратору (вчерашнему школьнику-студенту).

Из Open-Source решений, наиболее простым в установке и настройке является Proxmox. Чтобы не оскорблять любителей oVirt и пр. (это не рекламная статья), оговорюсь, что изначальное требование к простоте установки и администрирования, на мой взгляд, у Proxmox все же более выражено. Также, повторюсь, у нас не ЦОД, а всего лишь кластер из 2-3-х нод для небольшой компании.
В качестве гипервизоров он использует KVM и LXC, соответственно держит KVM ОС (Linux, *BSD, Windows и другие) с минимальными потерями производительности и Linux без потерь.
Читать полностью »

CEPH-кластер: хронология работ по апгрейду нашего файлового хранилища на новую архитектуру (56Gb-s IB) - 1

Запустив наше облако, мы стали предоставлять сервис хранения, аналогичный S3 Амазона (с совместимым API, чтобы российские заказчики могли использовать стандартные клиенты для работы с S3, изменив только endpoint для подключения). Основная задача сервиса — хранение снапшотов виртуальных машин и различных файлов клиентов. Амазон был взят за образец, куда надо развиваться, и в начале 2014 года стало понятно, что имеющееся файловое хранилище устарело, заказчики требовали современных фичей, недоступных у нас и так нравящихся им у AWS. Но доработка существующего решения светила огромными трудозатратами, поэтому было принято решение построить новое S3-совместимое хранилище с нуля.

Дальше — долгий процесс поиска и сравнений имеющихся решений, потом тесты на производительность и отказоустойчивость решения, написание кипы бумаг, затем — несколько неудачных тестовых миграций, исправления багов в архитектуре, работа над полученными ошибками и итоговая фоновая онлайн-миграция всех данных через два месяца работы.

Это было чертовски долго, но всё прошло спокойно.Читать полностью »

Большинство организаций должны поддерживать непрерывность оказания услуг или доступа к корпоративным ресурсам в виртуальной среде. Поэтому администраторы ищут возможности легко и быстро решать проблемы с конфигурированием отказоустойчивых кластеров Hyper-V. Теперь такая конфигурация доступна не только большим компаниям, но даже малым и средним предприятиям, используя возможности недорогого продукта — 5nine Manager, который известный эксперт Trevor Pott назвал культовым для SMB в нашумевшей статье. Материал может быть интересен также администраторам vSphere, которые ищут альтернативу удобному, но дорогому решению VMware.
Читать полностью »

Этим материалом мы открываем цикл статей, посвященных технологии Shared DAS и ее использованию в ОС GNULinux.

В первой статье цикла описывается создание простейшего двух-узлового кластера высокой надежности и создание на его базе отказоустойчивой iSCSI-СХД с ZFS.

Настройка Linux кластера на Shared DAS и ZFS - 1
Читать полностью »

Последнее время материалы шли всё про сеть и про сеть, надо разбавить тенденцию.

Два сервера и дисковая полка JBOD — минимальный набор, который позволяет построить отказоустойчивое решение. Как минимум, это 4U места в стойке, дополнительные кабели питания и соединения серверов с хранилищем. Все это добавляет сложности для первоначальной установки и настройки системы.

Для упрощения решения, уменьшения энергопотребления, снижения стоимости и требуемого места в стойке был разработан новый класс систем — кластер в коробке. Единое шасси включает в себя два сервера, отказоустойчивые подсистемы питания, охлаждения и единое дисковое пространство.

Cluster-in-a-Box как продукт для предприятий малого и среднего бизнеса - 1

При таком подходе решение не требует специальных условий в серверной, специальных знаний в области отказоустойчивости и кластеризации, так как все соединения уже проложены. Все, что нужно сделать при монтаже — подключить систему к питанию и локальной сети.

Примерами такого решения являются наши продукты ETegro Hyperion RS420 G4 и Hyperion RS430 G4.

Читать полностью »

Последнее время материалы шли всё про сеть и про сеть, надо разбавить тенденцию.

Два сервера и дисковая полка JBOD — минимальный набор, который позволяет построить отказоустойчивое решение. Как минимум, это 4U места в стойке, дополнительные кабели питания и соединения серверов с хранилищем. Все это добавляет сложности для первоначальной установки и настройки системы.

Для упрощения решения, уменьшения энергопотребления, снижения стоимости и требуемого места в стойке был разработан новый класс систем — кластер в коробке. Единое шасси включает в себя два сервера, отказоустойчивые подсистемы питания, охлаждения и единое дисковое пространство.

Упакуй кластер в коробку! - 1

При таком подходе решение не требует специальных условий в серверной, специальных знаний в области отказоустойчивости и кластеризации, так как все соединения уже проложены. Все, что нужно сделать при монтаже — подключить систему к питанию и локальной сети.

Примерами такого решения являются наши продукты ETegro Hyperion RS420 G4 и Hyperion RS430 G4.

Читать полностью »

image

Бывает, сайты падают из-за отказа площадки хостера, каналов и так далее. Я 7 лет работаю в хостинге, и часто вижу такие проблемы.

Пару лет назад я понял, что услуга резервной площадки (без доработки их сайта или сервиса) очень важна клиентам. Теоретически тут всё просто:
1. Иметь копию всех данных в другом дата-центре.
2. При сбое переключать работу на резервный ДЦ.

На практике система пережила 2 полные технические реорганизации (сохранение основных идей со сменой значительной части инструментария), 3 переезда на новое оборудование, 1 переезд между поставщиками услуг (переезд из немецкого дата-центра в два российских). На исследование поведения разных систем в реальных условиях под клиентской нагрузкой ушло 2 года.
Читать полностью »

image

Приветствую всех.

В данной статье я опишу свой опыт по преобразованию «железного» кластера MSCS в виртуальный сервер.

Наш кластер работал с 2008 года, задач накопилось много, в том числе критических, а поднять новый сервер было нереально. К тому же износившееся оборудование вот-вот должно было выйти из строя. Для нас выход был только один – виртуализация сервера в наш ЦОД, на VMware. Причем для меня была поставлена задача — уйти от кластеризации. Изучив кучу информации в сети, подходящей пошаговой инструкции я не нашел, поэтому решил составить свою.
Читать полностью »

В последнее время штат Айова стал весьма популярным местом среди операторов дата центров. Компания Facebook официально объявила об открытии первого здания своего новейшего модульного ЦОД с воздушным охлаждением в городе Алтуна. Представители соцсети также сообщили, что этот дата центр станет самым длинным во всем мире.

Facebook запускает ЦОД с новой сетевой архитектурой - 1Читать полностью »

Intro

image
PHP + Java. Картинка взята отсюда

В этом комментарии к статье под названием «Пишите код каждый день» я сказал, что скоро покажу свой проект, на который я выделял ежедневно 1 час (кроме выходных). Так как в последнее время моя работа связана с написанием распределенных Java приложений, которые используют in-memory data grid (IMDG) в качестве хранилища данных, то мой проект связан именно с этим.

Подробнее про IMDG можно почитать в моих предыдущих статьях (1, 2). Но если кратко, то это кластерное распределенное хранилище объектов по ключам, которое держит все данные в памяти, за счет чего достигается высокая скорость доступа к данным. Позволяет не только хранить, но и обрабатывать данные, не извлекая их из кластера.
И если интерфейс для обработки данных у каждого конкретного IMDG свой, то интерфейс доступа к данным обычно идентичен хеш-таблице.

О чем эта статья

Большинство IMDG написано на Java и поддерживают API для Java, C++, C#, при этом API для веб языков программирования (Python, Ruby, PHP) не поддерживается, а протокол для написания клиентов сильно ограничен. Именно этот факт я и считаю основным тормозом для проникновения IMDG в массы — отсутствие поддержки самых массовых языков.

Так как производители IMDG пока не предоставляют поддержку веб языков, то веб программисты не имеют возможностей по такому же легкому масштабированию приложений, какие есть у серверных Java разработчиков. Поэтому я решил сделать нечто подобное самостоятельно и выложить в open source, взяв в качестве движка open source IMDG JBoss Infinispan (компания JBoss, принадлежащая Red Hat, довольно хорошо известна в кругу java разработчиков). Мой проект называется Sproot Grid, пока доступен только для PHP, но если у сообщества будет интерес, то сделаю и интеграцию с Ruby и Python.

В этой статье я еще раз расскажу про in-memory data grid и про то, как конфигурировать, запускать и использовать Sproot Grid.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js