Допустим, вам нужно перенести хранилище данных из одного кластера в другой. А выключать его нельзя, потому что это может вызвать незначительный (или значительный) коллапс сервисов, которые с ним работают. В статье мы расскажем о не самом очевидном и популярном способе переноса etcd из одного облачного кластера Kubernetes в другой. Такой способ поможет избежать простоя и связанных с ним последствий. Согласно стартовым условиям, оба кластера находятся в облаке, а потому нам предстоит столкнуться с некоторыми ограничениями и трудностями — им мы уделим особое внимание.
Рубрика «Администрирование баз данных»
Как настроить миграцию etcd между облачными кластерами Kubernetes и избежать простоев
2023-05-25 в 6:05, admin, рубрики: deckhouse, devops, etcd, k8s, kubernetes, Администрирование баз данных, базы_данных, Блог компании Флант, миграция, облако, облачные сервисы, системное администрирование, ФлантSQL миграции в Postgres. Часть 2
2023-05-20 в 18:22, admin, рубрики: migrations, postgres, postgresql, sql, Администрирование баз данных, миграция бдВ первой части мы рассмотрели базовые операции, такие как добавление новых атрибутов, создание индексов и ограничений и т.д.
Эта статья посвящена двум более сложным миграциям:
-
обновление большой таблицы
-
разделение таблицы на две
Содержание
Консолидация баз данных: этапы, методы и примеры
2023-05-02 в 9:00, admin, рубрики: data engineering, etl, ruvds_статьи, Администрирование баз данных, базы данных, Блог компании RUVDS.com, виртуализация данных, консолидация баз данных, хранение данных, хранилище данных
Сейчас во всём мире объёмы данных растут с невероятной скоростью, и чтобы эффективно использовать их потенциал, требуется правильное хранение и управление информацией. Одним из наиболее эффективных способов решения этой проблемы является консолидация баз данных. Но что это такое и как её правильно реализовать? В этой статье мы разберёмся, какую пользу может принести консолидация баз данных и как её провести на практике. Если вы хотите оптимизировать свою работу с данными, то эта статья для вас!Читать полностью »
Способы организации инфраструктуры с базами данных: от простого к сложному и эффективному
2023-03-28 в 9:12, admin, рубрики: L3VPN, managed databases, mysql, postgresql, selectel, Администрирование баз данных, базы данных, Блог компании Selectel, глобальный роутер, инфраструктура, облачные базы данных, облачные технологии, сетевая связность, Сетевые технологии
За простыми UML- и ER-диаграммами архитектур скрываются витиеватые способы организации IT-инфраструктуры. Самый яркий пример — связь между веб-сервером и базой данных.
Какие есть варианты организации инфраструктуры с базами данных? Чем они отличаются и какие у них преимущества и недостатки? С такими же вопросами к нам приходят клиенты. Поэтому мы постарались расставить все по полочкам, а также показать, как связать сервер с базой данных через L3 VPN-соединение. Подробности под катом.
Читать полностью »
Как устроено индексирование баз данных
2023-03-22 в 13:00, admin, рубрики: B-дерево, bitmap-индексирование, gist, ruvds_перевод, Администрирование баз данных, Алгоритмы, базы данных, Блог компании RUVDS.com, индексирование, полнотекстовый индекс, Программирование, хэш-индекс
Индексирование баз данных — это техника, повышающая скорость и эффективность запросов к базе данных. Она создаёт отдельную структуру данных, сопоставляющую значения в одном или нескольких столбцах таблицы с соответствующими местоположениями на физическом накопителе, что позволяет базе данных быстро находить строки по конкретному запросу без необходимости сканирования всей таблицы. Применяются разные типы индексов, однако они занимают пространство и должны обновляться при изменении данных. Важно тщательно продумывать стратегию индексирования базы данных и регулярно её оптимизировать.
Читать полностью »
6 книг по MySQL для старта работы и погружения в технологию
2023-03-01 в 12:14, admin, рубрики: mysql, Администрирование баз данных, базы данных, Блог компании Selectel, подборка книг, Профессиональная литература, СУБД
MySQL — реляционная СУБД, использующая декларативный язык программирования SQL. Она предлагает все необходимые возможности для создания баз данных и написания серверных приложений.
В нашей подборке — 6 книг по MySQL, которые будут полезны как на старте, так и для развития навыков. Рекомендуйте свои книги в комментариях!
Читать полностью »
Сможет ли Event Sourcing перерасти базы данных?
2023-02-27 в 13:00, admin, рубрики: crud, event sourcing, ruvds_перевод, Администрирование баз данных, архитектурные шаблоны, базы данных, Блог компании RUVDS.com, хранение данных, хранилища данных
Event sourcing — не новый термин. Если вы работаете с технологиями, то должны были с ним сталкиваться. Это мощный инструмент, используемый многими крупными организациями в качестве архитектуры баз данных. Он имеет возможность масштабирования и отвечает потребностям современной отрасли обработки данных.
В этой статье мы глубже рассмотрим ES и расскажем о причинах его популярности. Также мы поразмыслим над популярным вопросом: перерастёт ли event sourcing базы данных?
Читать полностью »
8 книг по PostgreSQL: от баз данных с «нуля» для самоучек до руководства про БД в облаках
2023-02-07 в 14:35, admin, рубрики: DBaaS, postgresql, sql, Администрирование баз данных, базы данных, Блог компании Selectel, облако, Профессиональная литература
В целом, эта объектно-реляционная СУБД в дополнительном представлении не нуждается. Разработанная более 20 лет назад, она предназначена для создания и поддержки баз данных серверных приложений, в том числе ресурсоемких аналитических БД. Одна из особенностей PostgreSQL — открытый исходный код. Мы любим ее за развитое комьюнити и возможность развернуть «постгрю» самостоятельно и бесплатно.
Подготовили подборку полезных книг для тех, кто только начал или собирается работать с PostgreSQL. В нее вошли актуальные руководства на русском и английском языках. Если знаете еще одну-две отличных книги, смело рекомендуйте в комментариях.
Читать полностью »
Генерация конвейеров обработки данных в Dataflow
2022-12-23 в 13:00, admin, рубрики: big data, dataflow, netflix, pyspark, R, ruvds_перевод, scala, Администрирование баз данных, Блог компании RUVDS.com, конвейеры данных, пайплайны, рабочие потоки
Эта статья посвящена всем практикующим специалистам по данным, заинтересованным в освоении запуска, стандартизации и автоматизации пакетных конвейеров данных в Netflix.
О Dataflow мы писали в статье под названием Data pipeline asset management with Dataflow. Та статья представляла подробное знакомство с одним из наиболее технических аспектов Dataflow, но сам этот инструмент толком не описывала. На сей раз мы оправдаем заявленное вступление, после чего сосредоточимся на одной из основных возможностей Dataflow — образцах рабочих потоков. Для начала же мы коротко разберём Dataflow в общем.Читать полностью »
Оптимизация поиска по большому полю
2022-12-21 в 7:01, admin, рубрики: Microsoft SQL Server, MS Sql Server, search, sha256, sql, tsql, Администрирование баз данных, Блог компании «Лаборатория Касперского», ПрограммированиеВновь привет, уважаемые читатели ! Работая с одной из систем хранения метаданных о файлах в «Лаборатории Касперского» вспомнил, что давно хотел написать об оптимизации поиска по большому полю в базах данных. О чем далее и расскажу более подробно.
В данной публикации будет рассмотрена оптимизация поиска по полю бинарного массива и, в частности, по равномерно распределенным данным, а также сравнение между собой выявленных способов.
Итак, представьте: у вас есть таблица в базе данных MS SQL, в которой десятки миллиардов строк данных. И в эту таблицу вставляются и удаляются суммарно десятки и сотни тысяч строк в секунду. Назовем эту таблицу dbo.metadata.
Замечание. Для проведенного анализа ниже была создана новая база данных TEST, в которой были созданы две таблицы dbo.metadata и dbo.sha256_checksum (о второй таблице будет написано ниже) и сгенерированы синтетические данные на 1+ млрд строк в каждую. После каждого вызова запроса проводился полный сброс кэша планов для базы данных TEST (DBCC FREEPROCCACHE), чтобы план для запроса каждый раз строился заново, а не брался уже готовый.
Таблица dbo.metadata упрощенно выглядит так:
Определение таблицы dbo.metadata
Читать полностью »