Рубрика «glusterfs»

в 20:16, , рубрики: devops, glusterfs, k8s, metallb, Блог компании Southbridge, Серверное администрирование, системное администрирование

Настройка HA-кластера Kubernetes на «голом железе» с GlusterFS & MetalLB. Часть 2-3 - 1

Часть 1/3 тут

Привет и с возвращением! Это вторая часть статьи о настройке кластера Kubernetes на «голом железе». Ранее мы настраивали НА-кластер Kubernetes с помощью внешнего etcd, схемы «ведущий-ведущий» и балансировки нагрузки. Ну а теперь пришло время настроить дополнительную среду и утилиты, чтобы сделать кластер полезнее и максимально приближенным к рабочему состоянию.

В этой части статьи мы сосредоточимся на настройке внутреннего балансировщика нагрузки сервисов кластера — это будет MetalLB. Также мы установим и настроим распределенное хранилище файлов между нашими рабочими нодами. Будем использовать GlusterFS для постоянных томов, которые доступны в Kubernetes.
После выполнения всех действий схема нашего кластера будет выглядеть следующим образом:

Настройка HA-кластера Kubernetes на «голом железе» с GlusterFS & MetalLB. Часть 2-3 - 2

Читать полностью »

в 8:46, , рубрики: dispersed volume, Erasure Coding, glusterfs, Блог компании Облачные сервисы КРОК, виртуализация, гластер, глюстер, Серверное администрирование, файловая система, хранение данных

Гластер в России мало у кого есть, и любой опыт интересен. У нас он большой и промышленный и, судя по дискуссии в прошлом посте, востребованный. Я рассказывал о самом начале опыта переноса бекапов с Enterprise хранилища на Glusterfs.

Это недостаточно хардкорно. Мы не остановились и решили собрать что-то более серьёзное. Поэтому здесь речь пойдёт о таких вещах, как erasure coding, шардинг, ребалансировка и её троттлинг, нагрузочное тестирование и так далее.

Glusterfs + erasure coding: когда надо много, дешево и надежно - 1

  • Больше теории волюмы/сабволюмы
  • hot spare
  • heal / heal full / rebalance
  • Выводы после ребута 3 нод (никогда так не делайте)
  • Как влияет на нагрузку сабволюма запись с разной скоростью от разных ВМ и shard on/off
  • rebalance после вылета диска
  • fast rebalance

Читать полностью »

в 22:19, , рубрики: drbd, glusterfs, nbd, qemu, raid, sheepdog, виртуализация, файловые системы, Форматы данных, хранение данных

image

В QEMU есть несколько способов подключить блочное устройство для виртуальной машины. Изначально это было реализованно следующим способом:

 -hda /dev/sda1

Таким образом виртуальные диски подключались в давние дни виртуализации. Его можно использовать и сегодня, если мы просто хотим протестировать некоторые liveCD. К сожалению, он имеет свои недостаткиЧитать полностью »

в 6:58, , рубрики: glusterfs, Блог компании Облачный блог КРОК, виртуализация, гластер, глюстер, Серверное администрирование, файловая система, хранение данных

Как мы ломали Glusterfs - 1

История началась год назад, когда к нам пришёл наш друг, коллега и большой эксперт по энтерпрайз стораджам со словами: «Парни, у меня тут завалялась шикарная хранилка со всеми модными фичами. 90Tb». Особой необходимости мы в ней не видели, но, естественно, отказываться не стали. Настроили туда пару бекапов и на какое-то время благополучно забыли.

Периодически возникали задачи типа переброса больших файлов между хостами, сборка WAL для реплик Postgre и т. д. Постепенно мы начали перекладывать в этот холодильник всё разбросанное добро, так или иначе связанное с нашим проектом. Настроили ротейт, оповещения об успешных и не очень попытках выполнения бекапа. За год эта хранилка стала одним из важных элементов нашей инфраструктуры в группе эксплуатации.

Всё было хорошо, пока к нам опять не пришёл наш эксперт и не сказал, что свой подарок он хочет забрать. И вернуть его надо срочно.

Выбор был небольшой — распихивать всё опять куда попало либо собирать свой собственный холодильник из блэкджека и палок. К этому моменту мы уже были наученные, насмотрелись на множество не совсем отказоустойчивых систем, и отказоустойчивость стала нашим вторым я.

Из множества вариантов наш взгляд особенно зацепил Глустер, Гластер. Всё равно, как называть. Лишь бы результат был. Поэтому мы начали над ним измываться.
Читать полностью »

в 16:16, , рубрики: glusterfs, lizardfs

Интересная кластерная файловая система. На одном не очень большом проекте мы ее внедрили и работает она лучше популярных решений GlusterFS или NFS. Использует FUSE при подключении на стороне клиента. Мы думали, что будет это работать не лучше чем другие кластерные ФС, но в реальности оказалось все очень даже позитивно.
Читать полностью »

в 13:18, , рубрики: devops, docker, glusterfs, Блог компании centos-admin.ru, Настройка Linux, Серверное администрирование, системное администрирование

Использование GlusterFS с кластером Docker swarm - 1

В этой статье я описал создание в AWS состоящего из трех нод кластера Docker Swarm и подключение к нему общего для всех нод реплицируемого тома GlusterFS.

Читать полностью »

в 14:37, , рубрики: glusterfs, Настройка Linux, распределенные файловые системы, Серверное администрирование, системное администрирование

Нашел несколько статей на хабре о базовой установке и настройке GlusterFS, но не нашел ничего о типах распределения контента, которые он поддерживает и с которыми я долго игрался. О чем и пойдет речь в данной статье.
Читать полностью »

в 7:46, , рубрики: active directory, file server, glusterfs, howto, linux, NAS, nix, samba, samba4, SLES 11, windows, домены, метки: , , , , , , , , , , ,

    В этой статье я рассмотрю по шагам подготовку к использованию Samba4 в роли контроллера домена вкупе с дополнительным файловым сервером так же на базе Samba4. Что в итоге мы получим? Два настроенных сервера с samba4, первый в роли domain controller, второй в роли member server с файлами пользователей. Функционирования этой связки я добивался около месяца, за сим, не поделится конечным рецептом просто не имею права…

Samba4 в роли AD + файловый сервер

    Немного предыстории: в компании используется файловый сервер на базе samba3.6 с LDAP Backend, который содержит список всех пользователей и групп с правами доступа. Права доступа на каталоги выставляются с помощью xattr_acl (Extended file attributes), в LDAP хранится список пользователей с соответствием группам доступа. Собственно требуется переехать с этой инфраструктуры на samba4…
Читать полностью »

в 13:01, , рубрики: glusterfs, linux, распределенные файловые системы, системное администрирование, метки: ,

Всем привет.

В прошлый раз (Взрослеем с GlusterFS) я описывал как настроить для своих нужд GlusterFS 3.0.x. Недавно мы сделали апгрейд GlusterFS до 3.2.х., и так как между этими версиями обнаружилось масса различий в настройке, то решил описать процесс для общего ИТ разума.

Сразу оговорюсь, что переход на новую версию был обусловлен глюками старой.
Дело было после очередных сбоев Амазоновских EBS. Читать полностью »

в 12:48, , рубрики: glusterfs, nfs, распределенные файловые системы, системное администрирование, метки: , ,

Всем привет.

Компания в которой я работаю довольно динамично развивается, соответвенно и растет количество серверов, пользователей. Вопросы отказоустойчивости становятся все более актуальными, чем ранее.
Исторически сложилось, что некоторые данные лежат в файлах и подключены клиентами к бекендам по NFS. Однако не хотелось, что бы центральный сервер был точкой отказа.
Rsync-варианты отмели сразу. После изучения вопроса и опыта других людей, а также некоторых тестов s3fs, которая к слову была кандидатом №1 на распределенное хранилище, была выбрана GlusterFS.
Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js