Рубрика «кластер»

Packer, Terraform и Ansible: деплой кластера Kubernetes за час - 1

Привет, меня зовут Андрей Щукин, я помогаю крупным компаниям мигрировать сервисы и системы в Облако КРОК. Вместе с коллегами из компании Southbridge, которая проводит в учебном центре «Слёрм» курсы по Kubernetes, мы недавно провели вебинар для наших заказчиков.

Я решил взять материалы отличной лекции Павла Селиванова и написать пост для тех, кто ещё только начинает работать с инструментами provisioning’а облаков и не знает, с чего начать. Поэтому я расскажу про стек технологий, которые используются у нас в обучении и продакшене Облака КРОК. Поговорим о современных подходах к управлению инфраструктурой, про связку компонентов Packer, Terraform и Ansible, а также про инструмент Kubeadm, с помощью которого мы будем производить установку.

Под катом будет много текста и конфигов. Материала много, поэтому я добавил навигацию по посту. Также мы подготовили небольшой репозиторий, куда сложили всё необходимое для нашего учебного деплоя.

Не давайте имён курам
Печёные пирожки полезнее жареных
Начинаем печь. Packer
Terraform — инфраструктура как код
Запуск Terraform
Структура кластера Kubernetes
Kubeadm
Репозиторий со всеми файлами
Читать полностью »

Всем привет. На связи Владислав Родин. В настоящее время я преподаю на портале OTUS курсы, посвященные архитектуре ПО и архитектуре ПО, подверженного высокой нагрузке. В преддверии старта нового потока курса «Архитектор высоких нагрузок» я решил написать небольшой авторский материал, которым хочу поделиться с вами.

Почему может понадобится полусинхронная репликация? - 1


Введение

Из-за того, что на HDD может выполняться лишь порядка 400-700 операций в секунду (что несравнимо с типичными rps'ами, приходящимися на высоконагруженную систему), классическая дисковая база данных является узким горлышком архитектуры. Поэтому необходимо уделить отдельное внимание паттернам масштабирования данного хранилища.

На текущий момент имеются 2 паттерна масштабирования базы: репликация и шардирование. Шардирование позволяет масштабировать операцию записи, и, как следствие, снижать rps на запись, приходящийся на один сервер вашего кластера. Репликация позволяет делать тоже самое, но с операциями чтения. Именно этому паттерну и посвящена данная статья.Читать полностью »

Пирамида вместо сферы: нестандартная кластеризация атомов золота - 1

Мир, окружающий нас, является совместным результатом множества явлений и процессов из самых разных наук, выделить самую главную из которых фактически невозможно. Несмотря на некоторую степень соперничества, многие аспекты тех или иных наук обладают схожими чертами. Возьмем для примера геометрию: все, что мы видим, имеет определенную форму, из которых одной из самых распространенных в природе является окружность, круг, сфера, шар (тенденция на лицо). Стремление быть шарообразным проявляется как у планет, так и у атомных кластеров. Но в правилах всегда есть исключение. Ученые из Левенского университета (Бельгия) выяснили, что атомы золота формируют не сферические, а пирамидальные кластеры. Чем обусловлено такое необычное поведение атомов золота, какими свойствами обладают драгоценные пирамиды и как на практике можно применить это открытие? Об этом мы узнаем из доклада ученых. Поехали.Читать полностью »

Исследовательская группа из японского Национального института информационных и коммуникационных технологий (NICT) разработала оптоволоконный сетевой кластер с суммарной пропускной способностью в 1 Пбит/c. Официально разработка была представлена на европейской технологической выставке ECOC 2019, которая прошла в сентябре в Дублине.

Японцы из NICT представили рабочий оптоволоконный кластер с пропускной способностью в 1 Пбит-с - 1
Испытательный стенд в NICT // www.nict.go.jp

Японцы показали публике сетевой кластер, в основе которого лежат 22 оптоволоконные жилы и MEMS-контроллер сигнала с системой мультиплексирования на трехжильные и семижильные подключения, которые сейчас внедряются или уже используются в магистральных сетях связи и дата-центрах.

Разработка японских инженеров доказывает, что мы способны значительно увеличить пропускную способность сетевых подключений не только через увеличение числа жил оптоволоконных кабелей, но в том числе за счет совершенствования систем коммутации и маршрутизации сигнала.
Читать полностью »

Кластер системы видеоконференцсвязи на базе Yealink Meeting Server - 1Эта статья является продолжением цикла публикаций, посвященного комплексному решению ВКС Yealink Meeting Server (YMS).

В прошлой статье Yealink Meeting Server 2.0 — новые возможности видеоконференцсвязи мы описали существенный прорыв в функционале решения:

  • добавился собственный сервис записи конференций, интегрированный в YMS
  • появился новый тип лицензии — Broadcast, который позволяет оптимизировать стоимость асимметричных конференций
  • обеспечена интеграция с решением Skype for Business и Teams

В этой статье мы рассмотрим возможность каскадирования YMS — установку и настройку системы в режиме «кластер».
Читать полностью »

Создание высокопроизводительного кластера с 12 узлами NanoPi-Fire3 менее чем за £100 (£550, включая двенадцать Fire3)

Мой прошлый кластер на Raspberry Pi 3 в прошлом году немало заинтересовал публику, так что я попробовать сделать аналогичные проекты на других отличных одноплатных компьютерах, которые есть на рынке. FriendlyARM из Китая очень щедро отправила мне 12 своих последних 64-битных ARM плат NanoPi-Fire3, на каждой из которых восьмиядерный ARM A53 SoC, работающий на частоте 1,4 ГГц, с гигабитным Ethernet.

96-ядерный суперкомпьютер на одноплатниках NanoPi Fire3 - 1


Читать полностью »

Эта статья является свободной интерпретацей официального руководства Creating Highly Available Clusters with kubeadm для Stacked control plane nodes. Мне не нравятся сложный язык и примеры использованные в нем, поэтому я написал свое руководство.

Если у вас появятся какие-либо вопросы или вам будет что-то неясно, обратитесь к официальной документации или спросите Google. Все этапы описаны здесь в максимально простой и сдержанной форме.

Читать полностью »

Это правильные пчелы: механическая адаптация к динамическому воздействию - 1

Разработка искусственных нейронных сетей нацелена на воссоздание своего рода искусственного мозга. Все нейроны связаны друг с другом, передают сигналы друг другу и зависят друг от друга. Чем их больше, тем сложнее и развитие будет сеть. Сегодня мы обратим внимание не на искусственные сети, а на те, что мы можем наблюдать в природе, ибо многое в технологиях человека позаимствовано именно от-туда. Но что можно сравнить с мозгом человека или с искусственной нейронной сетью? Ответ нестандартный — рой пчел. По отдельности пчелы не так интересны ученым, как в рое. Все мы знаем насколько слаженно и эффективно работает рой на благо улья. Каждая пчела выполняет определенную задачу, не мешая другим, а дополняя собой общий механизм улья, работающий безостановочно. Сегодня мы будем разбираться в необычном исследовании, пытающемся пояснить как рой пчел справляется с опасностями внешней среды и как индивидуальные особи в таких ситуациях взаимодействуют. Какую опасность ученые преподнесли бедным пчела, как они с ней справились и что это может значить для человека и науки? Ответы будем искать в докладе. Поехали.Читать полностью »

Автор иллюстрации — Anton Gudim

«Подготовленный человек тоже наступает на грабли.
Но с другой стороны — там, где ручка.»

Elasticsearch — прекрасный инструмент, но каждый инструмент требует не только настройки и ухода, но и внимания к мелочам. Некоторые — незначительны и лежат на поверхности, а другие спрятаны так глубоко, что на поиск уйдет не один день, не один десяток кружек кофе и не один километр нервов. В этой статье расскажу про девять замечательных граблей в настройке эластика, на которые я наступил.
Читать полностью »

Представьте ситуацию. Субботний вечер. Вы — администратор PostgreSQL, после тяжелой трудовой недели уехали на дачу за 200 км от любимой работы и чувствуете себя прекрасно… Пока Ваш покой не нарушает смс от системы мониторинга Zabbix. Произошел сбой на сервере СУБД, база данных с текущего момента недоступна. На решение проблемы отводится короткое время. И Вам ничего не остается, как с тяжелым сердцем оседлать служебный гироскутер и мчаться на работу. Увы!

Кластер pacemaker-corosync без валидола - 1
А ведь могло быть по-другому. Вам приходит смс от системы мониторинга, что произошел сбой на одном из серверов. Но СУБД продолжает работать, поскольку отказоустойчивый кластер PostgreSQL отработал потерю одного узла и продолжает функционировать. Нет надобности срочно ехать на работу и восстанавливать сервер БД. Выяснение причин сбоя и работы по восстановлению спокойно переносятся на рабочий понедельник.

Как бы то ни было, стоит подумать о технологиях отказоустойчивы кластеров с СУБД PostgreSQL. Мы расскажем о построении отказоустойчивого кластера СУБД PostgreSQL с помощью программного обеспечения Pacemaker&Corosync.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js