Рубрика «Администрирование баз данных» - 20

в 7:32, , рубрики: mysql, postgresql, proxysql, sql, tarantool, Администрирование баз данных, Блог компании DevConf

Продолжаем голосовать за интересные доклады в секции «Хранилища данных (Storage)» на DevConfX, которая пройдет уже через неделю. Обратите внимание на доклад о сертификации специалистов PostgreSQL, оставайтесь всегда в курсе последних событий в мире баз данных.
Сертификация администраторов баз данных и многое другое на юбилейном DevConfX (21-22 июня в Москве) - 1
Заявки на секцию Storage

Успей зарегистрироваться до 15 июня на юбилейной DevConfX!
Читать полностью »

в 9:31, , рубрики: highload, in-memory database, Lua, replication, tarantool, Администрирование баз данных, Блог компании Mail.Ru Group, высокая производительность, Серверная оптимизация

Привет, я занимаюсь созданием приложений для СУБД Tarantool — это разработанная в Mail.ru Group платформа, совмещающая в себе высокопроизводительную СУБД и сервер приложений на языке Lua. Высокая скорость работы решений, основанных на Tarantool, достигается в частности за счет поддержки in-memory режима СУБД и возможности выполнения бизнес-логики приложения в едином адресном пространстве с данными. При этом обеспечивается персистентность данных с использованием ACID-транзакций (на диске ведется WAL-журнал). В Tarantool имеется встроенная поддержка репликации и шардирования. Начиная с версии 2.1, поддерживаются запросы на языке SQL. Tarantool имеет открытый исходный код и распространяется под лицензией Simplified BSD. Также имеется коммерческая Enterprise-версия.

Высокоуровневая репликация в СУБД Tarantool - 1
Feel the power! (...aka enjoy the performance)

Все перечисленное делает Tarantool привлекательной платформой для создания высоконагруженных приложений, работающих с БД. В таких приложениях часто возникает необходимость репликации данных.
Читать полностью »

в 13:34, , рубрики: mongodb, nosql, Администрирование баз данных, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, шардированиеб шардинг

Все хорошие стартапы либо быстро умирают, либо дорастают до необходимости масштабироваться. Мы смоделируем такой стартап, который сначала про фичи, а потом про перфоманс. Перфоманс будем улучшать с MongoDB — это популярное NoSQL-решение для хранения данных. С MongoDB легко стартовать, и многие проблемы имеют решения «из коробки». Однако, когда нагрузка растет, вылезают грабли, о которых вас заранее никто не предупреждал… до сегодняшнего дня!

image

Моделирование проводит Сергей Загурский, который отвечает за инфраструктуру бэкенда вообще, и MongoDB в частности, в Joom. Также был замечен в серверной части разработки MMORPG Skyforge. Как сам себя описывает Сергей — «профессиональный набиватель шишек собственным лбом и граблями». Под микроскопом — проект, который использует стратегию накопления для управления техническими долгом. В этой текстовой версии доклада на HighLoad++ будем двигаться в хронологическом порядке от возникновения проблемы до решения с помощью MongoDB.
Читать полностью »

в 4:16, , рубрики: data breach, data leak, elasticsearch, Администрирование баз данных, госуслуги, информационная безопасность, платежные системы, утечки данных, утечки информации

Помните я писал на Хабре и у себя в Telegram-канале, как в открытом доступе оказались подробности платежей в пользу ГИБДД и ФССП пользователей сайтов оплатагибдд.рф, paygibdd.ru, gos-oplata.ru, штрафов.net и oplata-fssp.ru?

Опять сотни тысяч платежей граждан в ГИБДД и ФССП находились в открытом доступе - 1

Только не надо смеяться, это вовсе не шутка — тот же самый сервер с данными той же самой системы снова оказался открытым для всего мира.

Ну что, поехали разбираться…

Читать полностью »

в 6:02, , рубрики: docker, ITSumma, k8s, kubernetes, Администрирование баз данных, базы данных, Блог компании ITSumma, виртуализация, высокая производительность, контейнеризация, контейнерная виртуализация, контейнеры

Живут ли базы данных в Kubernetes? - 1

Как-то так исторически сложилось, что IT-индустрия по любому поводу разбивается на два условных лагеря: которые «за» и которые «против». Причем предмет споров может быть абсолютно произвольным. Какая ОС лучше: Win или Linux? На смартфоне Android или iOS? Хранить все в облаках или заливать на холодные RAID-хранилища и класть винты в сейф? Имеют ли PHP-шники право называться программистами? Эти споры носят, временами, исключительно экзистенциальный характер и не имеют под собой никакой прочей, кроме спортивного интереса, базы.

Так уж получилось, что с появлением контейнеров и всей этой любимой нами кухни с докером и условным k8s начались и споры «за» и «против» использования новых возможностей в различных сферах бэкэнда. (Заранее оговоримся, что хотя чаще всего в данном рассуждении в качестве оркестратора будет указываться Kubernetes, принципиального значения выбор именно этого инструмента не имеет. Вместо него можно подставить любой другой, какой вам кажется наиболее удобным и привычным.)

И, казалось бы, был бы это простой спор между двумя сторонами одной медали. Такой же бессмысленный и беспощадный, как извечное противостояние Win vs Linux, в котором адекватные люди вполне себе существуют где-то посередине. Вот только в случае контейнеризации не все так просто. Обычно в таких спорах не бывает правой стороны, но в случае «применять» или «не применять» контейнеры для хранения БД все становится с ног на голову. Потому что в определённом смысле правы и сторонники и противники подобного подхода.
Читать полностью »

в 13:47, , рубрики: bytes, database, mariadb, python, python3, restore, Администрирование баз данных, Восстановление данных

image

Предыстория

Так произошло, что сервере был атакован вирусом шифровальщиком, который по "счастливой случайности", частично отставил не тронутыми файлы .ibd (файлы сырых данных innodb таблиц), но при этом полностью зашифровал файлы .fpm (файлы структур). При этом .idb можно было поделить на:

  • подлежащие восстановлению через стандартные средства и гайды. Для таких случаев, есть отличная статься;
  • частично зашифрованные таблицы. Преимущественно это большие таблицы, на которые (как я понял), злоумышленниками не хватило оперативной памяти на полное шифрование;
  • ну и полностью зашифрованные таблицы, не подлежащие восстановлению. Читать полностью »

в 8:11, , рубрики: postgresql, sql, Администрирование баз данных, Блог компании Mail.Ru Group, высокая производительность, индексы, никто не читает теги
Используем все возможности индексов в PostgreSQL - 1

В мире Postgres индексы крайне важны для эффективной навигации по хранилищу базы данных (его называют «куча», heap). Postgres не поддерживает для него кластеризацию, и архитектура MVCC приводит к тому, что у вас накапливается много версий одного и того же кортежа. Поэтому очень важно уметь создавать и сопровождать эффективные индексы для поддержки приложений.

Предлагаю вашему вниманию несколько советов по оптимизации и улучшению использования индексов.

Примечание: показанные ниже запросы работают на не модифицированном образце базы данных pagila.
Читать полностью »

в 10:49, , рубрики: elastic, elasticsearch, ITSumma, k8s, open source, security, Администрирование баз данных, безопасность, Блог компании ITSumma, информационная безопасность, фейл

На днях в блоге Elastic появилась запись, в которой сообщается о том, что основные security-функции Elasticsearch, выведенные в open source-пространство более года назад, теперь являются бесплатными для пользователей.

В официальной блогозаписи содержатся «правильные» слова о том, что open source должен быть бесплатным и что владельцы проекта строят свой бизнес на прочих дополнительных функциях, которые предлагаются ими для enterprise-решений. Теперь в базовые сборки версий 6.8.0 и 7.1.0 включены следующие security-функции, ранее доступные только по gold-подписке:

  • TLS для шифрованной связи.
  • Файл и native-реалм для создания и управления пользовательскими записями.
  • Управление доступом пользователей к API и кластеру на базе ролей; допускается многопользовательский доступ к Kibana с использованием Kibana Spaces.

Однако перевод security-функций в бесплатную секцию — это не широкий жест, а попытка создать дистанцию между коммерческим продуктом и его главными болячками.

А они у него есть и серьезные.
Читать полностью »

в 8:39, , рубрики: cloud, high availability, postgresql, Администрирование баз данных, Блог компании Mail.Ru Group, Настройка Linux, Серверное администрирование

Как мы построили надёжный кластер PostgreSQL на Patroni - 1

На сегодняшний день высокая доступность сервисов требуется всегда и везде, не только в крупных дорогих проектах. Временно недоступные сайты с сообщением «Извините, проводится техническое обслуживание» ещё встречаются, но обычно вызывают снисходительную улыбку. Прибавим к этому жизнь в облаках, когда для запуска дополнительного сервера нужен лишь один вызов к API, причем думать о «железной» эксплуатации не надо. И уже не остается оправданий, почему критичная система не была сделана надежно с использованием кластерных технологий и резервирования.

Мы расскажем, какие решения мы рассматривали для обеспечения надёжности баз данных в своих сервисах и к чему пришли. Плюс демо с далеко идущими выводами.
Читать полностью »

в 4:32, , рубрики: elasticsearch, Администрирование баз данных, информационная безопасность, утечка данных, утечка информации, утечки информации

Сегодня рассмотрим сразу два кейса – данные клиентов и партнеров двух совершенно разных компаний оказались в свободном доступе «благодаря» открытым серверам Elasticsearch с логами информационных систем (ИС) этих компаний.

Два в одном: данные туристов и билеты на культурные мероприятия находились в открытом доступе - 1

В первом случае — это десятки тысяч (а может и сотни тысяч) билетов на различные культурные мероприятия (театры, клубы, речные прогулки и т.п.) продаваемые через систему «Радарио» (www.radario.ru).

Во втором случае — это данные о туристических поездках тысяч (возможно нескольких десятков тысяч) путешественников, купивших туры через турагентства, подключенные к системе «Слетать.ру» (www.sletat.ru).

Сразу отмечу, что отличаются не только названия компаний, допустивших попадание данных в открытый доступ, но и подход этих компаний к признанию инцидента и последующая реакция на него. Но обо всем по порядку…

Читать полностью »

1...10...192021...3040...64
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js