Всем привет! На связи Вадим Лазовский, SRE-инженер продукта Deckhouse Observability Platform от компании «Флант», и Владимир Гурьянов, solution architect. Сегодня мы поделимся кейсом, который произошёл у нас при работе с Ceph. При этом его решение может быть применимо для любого другого ПО.
Рубрика «хранилище данных»
Как несвязанные коммиты в пакетах Linux привели к неожиданным проблемам. Практические истории из SRE-будней. Часть 7
2024-02-07 в 7:21, admin, рубрики: ceph, containerd, devops, docker, kubernetes, linux, sre, systemd, кластер, хранилище данныхKeyDB и Redis: в поисках серебряной пули — in-memory replicated DB (Replicated IMDB)
2023-07-21 в 8:24, admin, рубрики: devops, KeyDB, kuber, kubernetes, node.js, nosql, redis, Администрирование баз данных, базы данных, Блог компании Флант, хранилище данныхНа кластерах клиентов, которые мы обслуживаем, есть как «одноголовые» инсталляции Redis (обычно для кэшей, которые не страшно потерять), так и более отказоустойчивые решения — Redis Sentinel или Redis Cluster. По нашему опыту, во всех трех вариантах можно безболезненно переключиться с Redis на KeyDB и получить прирост производительности. Точнее, избавиться от бутылочного горлышка Redis в одно ядро. Хотя в новых версиях Redis(r) появилась обработка I/O в отдельных тредах, иногда этого бывает недостаточно.
Консолидация баз данных: этапы, методы и примеры
2023-05-02 в 9:00, admin, рубрики: data engineering, etl, ruvds_статьи, Администрирование баз данных, базы данных, Блог компании RUVDS.com, виртуализация данных, консолидация баз данных, хранение данных, хранилище данныхСейчас во всём мире объёмы данных растут с невероятной скоростью, и чтобы эффективно использовать их потенциал, требуется правильное хранение и управление информацией. Одним из наиболее эффективных способов решения этой проблемы является консолидация баз данных. Но что это такое и как её правильно реализовать? В этой статье мы разберёмся, какую пользу может принести консолидация баз данных и как её провести на практике. Если вы хотите оптимизировать свою работу с данными, то эта статья для вас!Читать полностью »
Что в глубинах Data Lake? Строим архитектуру, укладываем слои, распределяем ответственность
2022-03-15 в 12:52, admin, рубрики: big data, data governance, data lake, data mesh, Hadoop, Администрирование баз данных, архитектура, базы данных, Блог компании МТС, хранение данных, хранилища данных, хранилище данных
Для создания Data Lake нужен итерационный подход – agile и все, что с этим связано. Еще необходимо правильно организовать работу команд, синхронизировать их распределить ответственность между участниками. Тогда получится прямая связь между пользователями и людьми, которые развивают витрины данных или домены. В этой статье поговорим о задачах, архитектуре и проблемах развития Data lake, а также обсудим способы решения возникающих проблем, специфику процессов и перспективы развития. Читать полностью »
Репликация ClickHouse без костылей: ожидание и реальность
2021-09-09 в 7:01, admin, рубрики: clickhouse, devops, Администрирование баз данных, базы данных, Блог компании Туту.ру, системное администрирование, хранилища данных, хранилище данныхПро ClickHouse есть много разной информации, но мало про то, как готовить инфраструктуру с ним. Мы потратили примерно полгода вялого набивания шишек, чтобы это заработало именно так, как нас наконец-то устраивает. Нужно было найти конфигурацию эффективную и в плане денег, и в плане работы базы как таковой.
На момент написания статьи хранилищем и результатами его работы пользуются 16+ команд (11+ аналитиков и 2 data scientist, 70+ разработчиков, руководители и менеджерский состав).
Ежесуточно в хранилище поступает ~1,2 ТБ данных, пользователи и автоматика для построения отчётности генерируют ~35 000 запросов в сутки на выборки различной сложности. Подробнее про наше хранилище и то, какие задачи для бизнеса им решаем, можно почитать по ссылке.
Читать полностью »
ClickHouse: путь джедая, искавшего дом для своих данных
2021-09-07 в 7:12, admin, рубрики: big data, clickhouse, data lake, Блог компании Туту.ру, хранение данных, хранилище данныхКак мы переезжали на новую версию GitLab и внедряли LFS. А потом чинили бэкапы
2021-08-19 в 15:45, admin, рубрики: Git, gitlab, lfs, Блог компании Lightmap, бэкапы, разработка игр, системы сборки, Системы управления версиями, хранилище данныхИсторически мы использовали GitLab 8, который работал на хосте Mac на VirtualBox. Потом конфигурация перестала устраивать, поэтому в локальной сети завели отдельную полноценную Ubuntu-машину. Заодно и GitLab обновили до версии 11.2.1-ee.
Ставили все по официальному Читать полностью »
Ещё одна 0-Day-уязвимость угрожает многим пользователям Western Digital
2021-07-04 в 11:21, admin, рубрики: My Cloud OS, MyBook Live, NAS, western digital, Блог компании VDSina.ru, информационная безопасность, Компьютерное железо, Накопители, хранилище данныхВ прошлом месяце из-за бага в линейке продуктов, которую компания прекратила поддерживать в 2015 году, а также из-за ранее неизвестной уязвимости «нулевого дня» бесчисленное количество покупателей Western Digital потеряло данные на сетевых накопителях MyBook Live. Но подобные серьёзные уязвимости «нулевого дня» присутствуют в гораздо большем количестве более новых сетевых накопителей Western Digital MyCloud. Они не устраняются у тех покупателей, которые не могут или не желают обновляться до последней версии операционной системы.
Проблема с удалённым исполнением кода присуща всем NAS-устройствам Western Digital с операционной системой MyCloud OS 3, которую компания перестала поддерживать только недавно.
Читать полностью »
Из хлама в NAS и немного темы майнинга
2021-06-18 в 9:01, admin, рубрики: chia, NAS, rdp, ruvds_статьи, smb, Блог компании RUVDS.com, Компьютерное железо, Криптовалюты, майнинг, старое железо, хранилища данных, хранилище данных
Начну с того, что очень часто, рядом со мной аккумулируется разного рода железо (в простонародье хлам), а так как я по своей природе Плюшкин, в том плане, что я очень редко выкидываю технику, а если и случается предварительно вытаскиваю оттуда всё, что может хоть как-то пригодиться. И что бы ничего не выкидывать, периодически приходится находить применение всему этому железу, об этом сегодня и будет идти речь.
Итак мы имеем: ПК 11 летней давности в состоянии «трэш».
Если подробнее: у блока питания вздуты все конденсаторы на выходе, у жёсткого диска взорванный полимерный конденсатор на входе питания, видеокарта тоже не стартует. По моим догадкам, по 12в линии явно пошло сильно больше 12в. При этом материнка с процессором остались живы. Чудо!
Читать полностью »
ZFS: архитектура, особенности и отличия от других файловых систем
2020-12-01 в 9:00, admin, рубрики: copy-on-write, linux, Mail.Ru Cloud Solutions, zfs, Блог компании Mail.Ru Group, Настройка Linux, системное администрирование, хранение данных, хранилище данныхЯ, Георгий Меликов, являюсь контрибьютором проектов OpenZFS и ZFS on Linux. Также я занимаюсь разработкой IaaS в команде облачной платформы Mail.ru Cloud Solutions. Хотя в продакшене нашего подразделения мы и не используем ZFS, но хозяева подкаста SDCastЧитать полностью »