Всем привет! На связи Вадим Лазовский, SRE-инженер продукта Deckhouse Observability Platform от компании «Флант», и Владимир Гурьянов, solution architect. Сегодня мы поделимся кейсом, который произошёл у нас при работе с Ceph. При этом его решение может быть применимо для любого другого ПО.
Рубрика «ceph»
Как несвязанные коммиты в пакетах Linux привели к неожиданным проблемам. Практические истории из SRE-будней. Часть 7
2024-02-07 в 7:21, admin, рубрики: ceph, containerd, devops, docker, kubernetes, linux, sre, systemd, кластер, хранилище данныхИсследование производительности свободных хранилищ LINSTOR, Ceph, Mayastor и Vitastor в Kubernetes
2022-05-05 в 6:27, admin, рубрики: benchmark, ceph, deckhouse, devops, drbd, kubernetes, Linstor, mayastor, open source, SDS, vitastor, Блог компании Флант, производительность, хранилища данныхКажется, это уже стало традицией: каждый раз, когда я выхожу на новое рабочее место, моя деятельность начинается с бенчмарков различных SDS-решений. Мой приход во «Флант» не стал исключением. Я попал в команду разработки Kubernetes-платформы Deckhouse, где решили развивать возможность запуска виртуальных машин в Kubernetes. Но для этого сначала потребовалось найти простое и надежное хранилище блочного типа, которое можно предложить клиентам платформы.
Практические истории из наших SRE-будней. Часть 5
2022-01-28 в 7:12, admin, рубрики: ceph, devops, kubernetes, redis, shell-operator, Блог компании Флант, системное администрированиеНовый эпизод нашего сериала о любопытных историях из практики. Использовать эти истории для развлечения или как практические рекомендации — решать вам, но мы сразу предупреждаем, что приводимые в них инструкции зачастую далеки от универсальных. Вместо этого вы можете встретить обходные пути для решения специфичных проблем в специфичных условиях. Зато они всегда расширяют кругозор и помогают посмотреть на некоторые технологии и их применение под новым углом.
Хранение данных в кластере Kubernetes
2020-09-14 в 21:30, admin, рубрики: awsElasticBlockStore, ceph, ConfigMap, Container Storage Interface, Controller plugin, devops, emptyDir, google cloud, hostPath, k8s, kubernetes, Node Plugin, PersistentVolume, PersistentVolumeClaim, secret, Storage class, volumeMounts, volumes, Блог компании Southbridge, Серверное администрирование, системное администрированиеНастроить хранение данных приложений, запущенных в кластере Kubernetes, можно несколькими способами. Одни из них уже устарели, другие появились совсем недавно. В этой статье рассмотрим концепцию трёх вариантов подключения СХД, в том числе самый последний — подключение через Container Storage Interface.
Tips & tricks в работе с Ceph в нагруженных проектах
2020-04-08 в 10:16, admin, рубрики: ceph, Блог компании Флант, Серверное администрирование, системное администрирование, файловые системы
Используя Ceph как сетевое хранилище в разных по нагруженности проектах, мы можем столкнуться с различными задачами, которые с первого взгляда не кажутся простыми или тривиальными. Например:
- миграция данных из старого Ceph в новый с частичным использованием предыдущих серверов в новом кластере;
- решение проблемы распределения дискового пространства в Ceph.
Разбираясь с такими задачами, мы сталкиваемся с необходимостью корректно извлечь OSD без потери данных, что особенно актуально при больших объемах данных. Об этом и пойдет речь в статье.
Описанные ниже способы актуальны для любых версий Ceph. Кроме того, будет учтен тот факт, что в Ceph может храниться большой объем данных: для предотвращения потерь данных и других проблем некоторые действия будут «дробиться» на несколько других.Читать полностью »
Ceph через iSCSI — или на лыжах стоя в гамаке
2020-01-14 в 16:32, admin, рубрики: ceph, hyper-v, VMwareЕсть ли среди нас (цефоводов) те, кто не любит «профессиональный экстрим»?
Вряд ли — иначе бы мы не кувыркались с этим чрезвычайно интересным и забавным продуктом.
Многие из тех, кто занимались эксплуатацией Ceph, встречали один не слишком частый (а скорее даже очень нечастый) но иногда востребованный кейс — подключить Ceph по iSCSI или FC. Зачем? Ну, например, подать образ с Ceph на почему-то еще не виртуализированный сервер Windows или Solaris. Или на виртуализированный, но посредством гипервизора, который не умеет Ceph — а их, как мы знаем, хватает. Например? Ну, например, HyperV или ESXi, которые активно используются. И если возникает задача подать образ с Ceph в гостевую машину, это превращается в весьма увлекательную задачу.
Читать полностью »
Больше чем Ceph: блочное хранилище облака MCS
2019-10-23 в 13:19, admin, рубрики: ceph, devops, linux, Mail.Ru Cloud Solutions, Блог компании Mail.Ru Group, виртуализация, облачные сервисы, хранилища данныхЯ работаю в Mail.ru Cloud Solutons архитектором и разработчиком, в том числе занимаюсь нашим облаком. Известно, что распределенной облачной инфраструктуре нужно производительное блочное хранилище, от которого зависит работа PaaS-сервисов и решений, построенных с их помощью.
Изначально при развертывании такой инфраструктуры мы использовали только Ceph, но постепенно блочное хранилище эволюционировало. Хотелось, чтобы наши базы данных, файловое хранилище и различные сервисы работали с максимальной производительностью, поэтому мы добавили локализованные хранилища и наладили расширенный мониторинг Ceph.
Расскажу, как это было — возможно, эта история, проблемы, с которыми мы столкнулись, и наши решения будут полезны тем, кто тоже использует Ceph. Кстати, вот видеоверсия этого доклада.
Читать полностью »
От High Ceph Latency к Kernel Patch с помощью eBPF-BCC
2019-07-04 в 10:00, admin, рубрики: ceph, linux kernel, Блог компании Selectel, отладка, системное администрирование
В Linux есть большое количество инструментов для отладки ядра и приложений. Большинство из них негативно сказываются на производительности приложений и не могут быть использованы в продакшене.
Читать полностью »
Сeph — от «на коленке» до «production» часть 2
2019-07-01 в 14:25, admin, рубрики: BGP, ceph, ospf, Сетевые технологии, хранение данных, хранилища данных(первая часть тут: https://habr.com/ru/post/456446/)
CEPH
Введение
Поскольку сеть является одним из ключевых элементов Ceph, а она в нашей компании немного специфична — расскажем сначала немного о ней.
Тут будет сильно меньше описаний самого Ceph, в основном сетевая инфраструктура. Описываться будут только сервера Ceph-а и некоторые особенности серверов виртуализации Proxmox.
Сeph — от «на коленке» до «production»
2019-06-17 в 13:23, admin, рубрики: ceph, хранение данных, хранилища данныхВыбор CEPH. Часть 1
У нас было пять стоек, десять оптических свичей, настроенный BGP, пару десятков SSD и куча SAS дисков всех цветов и размеров, а ещё proxmox и желание засунуть всю статику в собственное S3 хранилище. Не то чтобы это всё было нужно для виртуализации, но раз начал использовать opensource — то иди в своём увлечении до конца. Единственное, что меня беспокоило — это BGP. В мире нет никого более беспомощного, безответственного и безнравственного, чем внутренняя маршртутизация по BGP. И я знал, что довольно скоро мы в это окунёмся.
Задача стояла банальная — имелся CEPH, работал не очень хорошо. Надо было сделать "хорошо".
Доставшийся мне кластер был разнородным, настроенным на скорую руку и практически не тюнингованным. Он состоял из двух групп разных нод, с одной общей сеткой выполняющей роль как cluster так и public network. Ноды были набиты четырьмя типами дисков — два типа SSD, собранными в два отдельных placement rule и два типа HDD разного размера, собранными в третью группу. Проблема с разными размерами была решена разными весами OSD.
Саму настройку разделили на две части — тюнинг операционной системы и тюнинг самого CEPH и его настроек.