Рубрика «кластер» - 4

Последнее время материалы шли всё про сеть и про сеть, надо разбавить тенденцию.

Два сервера и дисковая полка JBOD — минимальный набор, который позволяет построить отказоустойчивое решение. Как минимум, это 4U места в стойке, дополнительные кабели питания и соединения серверов с хранилищем. Все это добавляет сложности для первоначальной установки и настройки системы.

Для упрощения решения, уменьшения энергопотребления, снижения стоимости и требуемого места в стойке был разработан новый класс систем — кластер в коробке. Единое шасси включает в себя два сервера, отказоустойчивые подсистемы питания, охлаждения и единое дисковое пространство.

Упакуй кластер в коробку! - 1

При таком подходе решение не требует специальных условий в серверной, специальных знаний в области отказоустойчивости и кластеризации, так как все соединения уже проложены. Все, что нужно сделать при монтаже — подключить систему к питанию и локальной сети.

Примерами такого решения являются наши продукты ETegro Hyperion RS420 G4 и Hyperion RS430 G4.

Читать полностью »

image

Бывает, сайты падают из-за отказа площадки хостера, каналов и так далее. Я 7 лет работаю в хостинге, и часто вижу такие проблемы.

Пару лет назад я понял, что услуга резервной площадки (без доработки их сайта или сервиса) очень важна клиентам. Теоретически тут всё просто:
1. Иметь копию всех данных в другом дата-центре.
2. При сбое переключать работу на резервный ДЦ.

На практике система пережила 2 полные технические реорганизации (сохранение основных идей со сменой значительной части инструментария), 3 переезда на новое оборудование, 1 переезд между поставщиками услуг (переезд из немецкого дата-центра в два российских). На исследование поведения разных систем в реальных условиях под клиентской нагрузкой ушло 2 года.
Читать полностью »

image

Приветствую всех.

В данной статье я опишу свой опыт по преобразованию «железного» кластера MSCS в виртуальный сервер.

Наш кластер работал с 2008 года, задач накопилось много, в том числе критических, а поднять новый сервер было нереально. К тому же износившееся оборудование вот-вот должно было выйти из строя. Для нас выход был только один – виртуализация сервера в наш ЦОД, на VMware. Причем для меня была поставлена задача — уйти от кластеризации. Изучив кучу информации в сети, подходящей пошаговой инструкции я не нашел, поэтому решил составить свою.
Читать полностью »

В последнее время штат Айова стал весьма популярным местом среди операторов дата центров. Компания Facebook официально объявила об открытии первого здания своего новейшего модульного ЦОД с воздушным охлаждением в городе Алтуна. Представители соцсети также сообщили, что этот дата центр станет самым длинным во всем мире.

Facebook запускает ЦОД с новой сетевой архитектурой - 1Читать полностью »

Intro

image
PHP + Java. Картинка взята отсюда

В этом комментарии к статье под названием «Пишите код каждый день» я сказал, что скоро покажу свой проект, на который я выделял ежедневно 1 час (кроме выходных). Так как в последнее время моя работа связана с написанием распределенных Java приложений, которые используют in-memory data grid (IMDG) в качестве хранилища данных, то мой проект связан именно с этим.

Подробнее про IMDG можно почитать в моих предыдущих статьях (1, 2). Но если кратко, то это кластерное распределенное хранилище объектов по ключам, которое держит все данные в памяти, за счет чего достигается высокая скорость доступа к данным. Позволяет не только хранить, но и обрабатывать данные, не извлекая их из кластера.
И если интерфейс для обработки данных у каждого конкретного IMDG свой, то интерфейс доступа к данным обычно идентичен хеш-таблице.

О чем эта статья

Большинство IMDG написано на Java и поддерживают API для Java, C++, C#, при этом API для веб языков программирования (Python, Ruby, PHP) не поддерживается, а протокол для написания клиентов сильно ограничен. Именно этот факт я и считаю основным тормозом для проникновения IMDG в массы — отсутствие поддержки самых массовых языков.

Так как производители IMDG пока не предоставляют поддержку веб языков, то веб программисты не имеют возможностей по такому же легкому масштабированию приложений, какие есть у серверных Java разработчиков. Поэтому я решил сделать нечто подобное самостоятельно и выложить в open source, взяв в качестве движка open source IMDG JBoss Infinispan (компания JBoss, принадлежащая Red Hat, довольно хорошо известна в кругу java разработчиков). Мой проект называется Sproot Grid, пока доступен только для PHP, но если у сообщества будет интерес, то сделаю и интеграцию с Ruby и Python.

В этой статье я еще раз расскажу про in-memory data grid и про то, как конфигурировать, запускать и использовать Sproot Grid.
Читать полностью »

Обнаружена крупнейшая из известных звёзд

Крупнейшая из когда-либо открытых звёзд может дать учёным лучшее понимание того, как массивные умирающие звёзды распространяют материю по вселенной. Звезда W26, расположенная в большом кластере Westerlund 1 в 16 000 световых лет от нас, почти в 1500 раз больше Солнца, что делает её самой большой из известных нам звёзд. Красный сверхгигант приближается к концу своего жизненного цикла и в конечном итоге превратится в сверхновую.

Звёзды с массой в десятки раз больше солнечной проживают очень короткие и драматические жизни по сравнению со своими менее массивными «родственниками». Жизненный цикл некоторых наиболее массивных звёзд составляет всего несколько миллионов лет, прежде чем они не истощат своё ядерное топливо и превратятся в сверхновые. В самом конце жизни такие звёзды становятся очень нестабильными и испускают значительное количество материи из своей внешней оболочки.
Читать полностью »

Цель статьи: хочу поделится опытом создания трех вычислительных кластеров Matlab, а также их удаленного администрирования.

Небольшое вступление

При исследовании/моделировании разных природных явлений (и не только), изредка появляется потребность в больших вычислительных способностях с которыми домашний ПК справится уже не в силе (каким бы мощным он небыл). В конце концов, эта потребность появились и у меня.

Моделирование, связанное с решением систем нелинейных дифференциальных уравнений на длинном промежутке относительного времени занимает достаточно много процессорного времени, поэтому было принято решение это все дело «расспаралелить».

Итак, обо всем — по порядку

Железо в наличии:

Дома: комп (Phenom II x4 840, 7x64) и ноут (Athlon II Dual-Core M320, 7x64) соединенные в одну сеть старым добрым маршрутизатором DIR-300.

Дома у девушки: комп (i5 4440, 7x64).

На работе: 10 компов (Athlon II Dual-Core, XPx86) (связанных в одну сеть) в одном помещении и 4 (Athlon II Dual-Core, XPx86) в другом (тоже связанных в одну сеть). Локальной сети между помещениями нет.

На всех вышеперечисленных ящиках присутствует доступ в интернет.
Читать полностью »

Знакомимся с RabbitMQ

Переводы на хабре:
RabbitMQ tutorial 1 — Hello World
RabbitMQ tutorial 2 — Очередь задач
RabbitMQ tutorial 3 — Публикация/Подписка

Сразу дополню некоторые недочеты. И кратко повторю основные термины.

Принцип работы архитектуры использующей rabbitMq

image

Читать полностью »

Автор: Грег Елкинбард

Моя коллега Анна Френд (Anne Friend) и я недавно представляли вебинар на тему “Как справиться с планированием аппаратного обеспечения для вашего облака OpenStack“ . Во время вебинара мы обещали дать вам ответы на вопросы, которые не успели озвучить в прямом эфире. Эта статья и будет посвящена ответам на данные вопросы.Читать полностью »

ETegro Fastor FS200 G3– отказоустойчивый сервер хранения данных

Сегодня мы вам хотим рассказать о еще одном продукте нашего производства: СХД ETegro Fastor FS200 G3. Его основной и крайне привлекательной, как мы считаем, чертой является то, что он является отказоустойчивым сервером хранения, построенным на двухузловом кластере под управлением Windows Storage Server 2012.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js