С учетом роста данных в наше время все чаще говорится о программно-определяемых и распределенных хранилищах данных, причем немало внимания традиционно уделяется открытой платформе Сeph. Сегодня мы хотим рассказать о тех выводах, к которым мы пришли в процессе реализации проекта по хранению данных для одного крупного российского ведомства.
Читать полностью »
Рубрика «СУБД» - 10
Сeph как подключаемое хранилище: 5 практических выводов из крупного проекта
2018-07-19 в 10:38, admin, рубрики: api, ceph, linux, open source, PG Conf, postgresql, RESTful, Блог компании RedSys, распределенное хранилище данных, СУБД, хранение данных, хранилища данных, цодКурсы по администрированию PostgreSQL
2018-06-26 в 14:49, admin, рубрики: dba, postgresql, администрирование, Блог компании Postgres Professional, СУБД, учебные курсы, Учебный процесс в ITПоводом к написанию статьи стал выход нового учебного курса DBA3 «Администрирование PostgreSQL 10. Резервное копирование и репликация». Мысли о его появлении и возможном содержании были у нас давно. Но обо всем по порядку.
Читать полностью »
А нам все «вертикально» — СУБД Vertica
2018-06-25 в 6:48, admin, рубрики: big data, Vertica, Администрирование баз данных, Блог компании Сбербанк, СУБД, хранение данных, хранилища данныхПривет! Меня зовут Сергей, я работаю главным инженером в Сбертехе. В ИТ-сфере я примерно 10 лет, из которых 6 занимаюсь базами данных, ETL-процессами, DWH и всем, что связано с данными. В этом материале я расскажу о Vertica — аналитической и по-настоящему колоночной СУБД, которая эффективно сжимает, хранит, быстро отдает данные и отлично подходит в качестве big data решения.
Дайджест новостей из мира PostgreSQL. Выпуск №7
2018-06-09 в 10:27, admin, рубрики: dbms, postgres, postgresql, rdbms, базы данных, Блог компании Postgres Professional, СУБД
Мы продолжаем знакомить вас с самыми интересными новостями по PostgreSQL.
Релизы
Как и обещано, бета-версия PostgreSQL 11 вышла 25-го мая. Ее новшества по отношению к 10.х в основном уже перечислены в сводке Что заморозили на feature freeze.
Postgres Pro 10.4.1
Компания Postgres Professional выпустила новые релизы Postgres Pro Standard/Enterprise 10.4.1, созданные на базе PostgreSQL 10.4 и Postgres Pro 10.3.2. В них вошли все улучшения версии PostgreSQL 10.4, а также ряд важных доработок:
- обновлён модуль jsquery, отвечающий за запросы к типу данных jsonb;
- утилита pg_probackup для управления резервным копированием и восстановлением кластеров баз данных обновлена до версии 2.0.17 и дополнена новыми возможностями; например, добавлен режим DELTA, в котором считываются все файлы данных в каталоге и создаётся инкрементальная копия для страниц, изменённых со времени предыдущего копирования;
- модуль
pg_pathman, отвечающий за секционирование больших и распределённых баз данных, обновлён до версии 1.4.11, в которой исправлен ряд ошибок; - исправлена сортировка букв «Ё» и «Й» в модуле mchar, предоставляющем дополнительные типы данных для совместимости с Ms SQL Server;
- доработана версия для Windows.
Битва при MERGE. Хроника с выводами и моралью
2018-05-31 в 9:27, admin, рубрики: data mining, dbms, postgres, postgresql, базы данных, Блог компании Postgres Professional, разработка, СУБДНесколько недель перед важным комитфестом — последним перед feature freeze версии PostgreSQL 11 — читатели рассылки hackers, сжимая в левой пакет с чипсами, следили за триллером MERGE. Режиссер триллера, глава компании 2ndQuadrant Саймон Риггс (Simon Riggs), с впечатляющей настойчивостью и изобретательностью пытался протащить в версию патч, реализующий синтаксис команды MERGE. Риггс комитер с 2009 года, а со статусом комитера можно самому утверждать патчи. Ему противостояли не менее уважаемые комитеры и ветераны PostgreSQL. Страсти кипели явно и подспудно, до прямых оскорблений все же не дошло — факт удивительный для завсегдатаев многих отечественных форумов. Однако некоторое напряжение осталось до сих пор, когда вопрос утрясли, и спорить уже не о чем.Читать полностью »
Нефтегазовая дилемма: в поиске альтернативных СУБД
2018-05-28 в 6:07, admin, рубрики: db2, oracle, postgresql, sql, tmaxsoft, Администрирование баз данных, альтернатива, Блог компании TmaxSoft, нефтегаз, санкции, СУБД, Управление проектом
Как известно, в начале этого года американская корпорация Oracle в соответствии с требованиями правительства США об ужесточении санкций в отношении российских нефтегазовых компаний изменила условия предоставления им своих продуктов и услуг. Введен запрет как на новые сделки, так и на продление существующих контрактов. Эти ограничения непосредственно касаются многих нефтегазовых структур, включая предприятия «Газпрома», «Роснефти», «Лукойла» и «Сургутнефтегаза». Под санкции попали 283 российских компании.
Читать полностью »
Кластер pacemaker-corosync без валидола
2018-05-24 в 10:56, admin, рубрики: cluster, dbms, high availability, postgres, postgresql, базы данных, Блог компании Postgres Professional, кластер, СУБДПредставьте ситуацию. Субботний вечер. Вы — администратор PostgreSQL, после тяжелой трудовой недели уехали на дачу за 200 км от любимой работы и чувствуете себя прекрасно… Пока Ваш покой не нарушает смс от системы мониторинга Zabbix. Произошел сбой на сервере СУБД, база данных с текущего момента недоступна. На решение проблемы отводится короткое время. И Вам ничего не остается, как с тяжелым сердцем оседлать служебный гироскутер и мчаться на работу. Увы!
А ведь могло быть по-другому. Вам приходит смс от системы мониторинга, что произошел сбой на одном из серверов. Но СУБД продолжает работать, поскольку отказоустойчивый кластер PostgreSQL отработал потерю одного узла и продолжает функционировать. Нет надобности срочно ехать на работу и восстанавливать сервер БД. Выяснение причин сбоя и работы по восстановлению спокойно переносятся на рабочий понедельник.
Как бы то ни было, стоит подумать о технологиях отказоустойчивы кластеров с СУБД PostgreSQL. Мы расскажем о построении отказоустойчивого кластера СУБД PostgreSQL с помощью программного обеспечения Pacemaker&Corosync.
ETL: качественные данные для принятия управленческих решений
2018-05-22 в 9:30, admin, рубрики: BI, CDC, Change Data Capture, etl, IBM DataStage, mdm-система, Universal Serial Bus, бизнес-анализ, Блог компании RedSys, госсектор, СУБДОрганизационные изменения, рано или поздно происходящие в жизни любой компании, чаще всего влекут за собой необходимость интеграции различных информационных систем. Для чего нужна интеграция? Она необходима для того, чтобы разные системы могли использовать единое информационное пространство, осуществлять обмен данными, хранить, анализировать и обрабатывать их для последующего принятия управленческих и оперативных решений. Если принимать решения на основании данных, полученных только из одной системы, рано или поздно возникнет хаос, прежде всего по причине разнородного представления и детализации одних и тех же данных в различных системах, наличия ошибок, вызванных человеческим фактором и т.д. Как показывает опыт, наиболее эффективным способом хранения информации для ее последующего анализа и обработки, являются аналитические хранилища с витринами данных, на основе которых пользователь может осуществлять любые аналитические запросы и получать те или иные необходимые показатели.
Дайджест новостей из мира PostgreSQL. Выпуск №6
2018-05-16 в 12:59, admin, рубрики: dbms, postgres, Postgres Pro, postgresql, базы данных, Блог компании Postgres Professional, СУБД
Мы продолжаем знакомить вас с самыми интересными новостями по PostgreSQL.
Релизы
PostgreSQL 11 Beta
Релизная команда PostgreSQL определилась с датой выпуска бета-версии: 24 мая 2018.
Вышел PostgreSQL 10.4
В отличие от версии 10.3, которая была внеплановой (нужно было срочно закрыть важные дыры в безопасности), эта версия вышла в соответствии с графиком.
В новой версии много поправок. Из заплаток, привлекших внимание: излишне либеральный доступ (ACL) к функции pg_logfile_rotate(); ослаблены блокировки во время планирования фоновых процессов автовакуума, которые сильно мешали распараллельнию работы. Вместе с 10.4 вышли обновления 9.6.9, 9.5.13, 9.4.18, 9.3.23.
DevConf 2018 — голосование за доклады
2018-05-02 в 9:40, admin, рубрики: devconf, devops, Go, javascript, php, python, ruby, sql, Блог компании DevConf, Разработка веб-сайтов, СУБД18 мая 2018 в Digital October(Москва) пройдет DevConf — большая ежегодная конференция для веб-разработчиков, где обсуждают обо всем самом новом в мире программирования для веб. Программа определяется голосованием за доклады.
В секции BackEnd: будущее PHP, мышление агрегатами, сервис-ориентированная архитектура, немного про блокчейн, трудности переписывания проекта, tracing, profiling, etc.
В секции FrontEnd: React, GraphQL, Node.JS, WebRTC видеозвонки, телевизоры, тесты и разработчик PhantomJs.
В секции Storage: PostgreSQL, MySQL, ProxySQL, SphinxSearch, ClickHouse и немного(много) про сжатие данных.
Читать полностью »