- PVSM.RU - https://www.pvsm.ru -
Мы продолжаем знакомить вас с самыми интересными новостями по PostgreSQL.
Microsoft приобрела Citus Data
Безусловно, главная новость в мире PostgreSQL. Об этом есть сообщение на сайте [1] Citus, равно как и на сайте MS [2].
Postgres Pro Enterprise Certified
СУБД Postgres Pro Enterprise получила сертификат ФСТЭК, и теперь в наборе Postgres Pro есть и «Сертифицированная версия Postgres Pro Enterprise». До этого сертификат, необходимый для работы с персональными данными, имела только Postgres Pro Standard («Сертифицированная версия Postgres Pro»). Подробности на сайте [3].
credativ: PostgreSQL Competence Center
Германская фирма credativ, до того известная в Европе и Азии, приобрела [4] фирму OmniTI, чтобы выйти на американский рынок. credativ специализируется на развертывании и поддержке проектов open source
. Теперь в США откроется PostgreSQL Competence Center, который будет заниматься высококритичными проектами и поддерживать БД в течение всего их жизненного цикла.
Postgres On The Beach (Ibiza)
Пляжи Ибицы ждут [5] докладчиков и слушателей 21-22 июня, а еще лучше прилететь 20-го и остаться до вечера 24-го из-за богатой развлекательной программы на уикэнд.
PGConf.Russia 2019
Конференция прошла [6] 4-6 февраля на Экономическом факультете МГУ, собрав рекордное число участников — более 700. Было много нового. В отдельный поток выделили доклады по теме Postgres и 1С. Всего же в трех потоках состоялось 55 докладов, 9 мастер-классов и 3 круглых стола. Самую бурную дискуссию вызвал круглый стол «Импортозамещение системного и инфраструктурного программного обеспечения», организованный при поддержке АРПП «Отечественный софт».
Призы за лучшие доклады на конференции получили:
О некоторых докладах мы планируем написать подробнее. Пока можно посмотреть презентации [10].
Turkish PostgreSQL
Конференция пройдет [11] уже 24 февраля в Анкаре.
PostgreSQL@SCaLE
Двухдневная двухпоточная конференция пройдёт [12] 7-8 марта в городе Пасадена (США) как часть SCaLE 17X.
Postgres Conference 2019
Конференция состоится [13] в Нью-Йорке 18-22 марта.
Prague PostgreSQL Developer Day 2019
Конференция P2D2 2019 в Праге уже идёт [14] 13-14 февраля.
PostgreSQL 11.2
Вышли все апдейты поддерживаемых версий PostgreSQL: 11.2, 10.7, 9.6.12, 9.5.16 и 9.4.21. В этих версиях есть важные поправки: прежде всего, изменено поведение PostgreSQL при вызове fsync()
. Также исправлены некоторые недостатки секционирования и 70 других ошибок, накопившихся за последние 3 месяца. Подробности здесь [15].
pgAdmin4 4.2
Вышел [16] pgAdmin 4 v4.2:
Исправлено 40 багов (а в v4.1 — 7, v4.0 — 26). Список багфиксов здесь [17].
Загружать отсюда [18].
pgBadger 10.2
Сразу две новости по поводу pgBadger (перлового графического анализатора логов). Вышла версия 10.2. Но если вы пойдете по ссылке (например, в новостной ленте Дэвида Феттера), вы не придете никуда. Потому что проект переехал с гитхаба Dalibo на гитхаб github.com/darold/pgbadger [19] и сайт pgbadger.darold.net [20] разработчика — Жиля Дароля (Gilles Darold). Из чейнджлога [21] следует, что в новой версии:
exclude-db
, то есть можно пропускать информацию, относящуюся к указанной БД;ftp
и http
. При этом лог анализируется при загрузке и на диск не сохраняется. Можно задать адреса логов на разных серверах (на удаленном и на локальном, например);ssh
лог разбирается на месте. Можно задавать файлы для анализа, используя *. Опция -r
для удаленных серверов пока сохранена для совместимости, но будет упразднена.И исправлены баги, разумеется.
barman 2.6
2ndQuadrant сообщила [22] о выходе нового релиза. Что в нём есть:
put-wal
, чтобы можно было запускать archive_command
СУБД, используя скрипт barman-wal-archive
, который есть в пакете barman-cli
;check
теперь поддерживает ANSI-коды цветов;Все изменения и багфиксы по этому адресу [22]. Исходники здесь [23].
Ora2Pg
Вышла юбилейная — 20.0 — версия утилиты Ora2Pg. Это произведение того же автора — Жиля Дароля. Из нового:
bytea
теперь делается при помощи функции PL/SQL, которая извлекает данные из BFILE и преобразует их к виду, подходящему для INSERT или COPY в PostgreSQL;Есть и другие изменения, исправлено много багов. Чейнджлог здесь [24]. О релизе на гитхабе разработчика здесь [25].
pg_probackup 2.0.26
Новая версия утилиты для бэкапа и восстановления от Postgres Professional. В ней, кроме исправленных багов:
pg_probackup
и версия, созданная резервной копией. Работа pg_probackup
с копией более свежей версии явно запрещена (то есть отсутствие прямой совместимости);PGDATA
.
Об изменениях можно прочитать здесь [26]. Документация по pg_probackup
здесь [27].
datasketches 1.0.0 и другие новинка PGXN
На PGXN [28] выложено новое расширение — datasketches 1.0.0
авторства Александра Сайдакова [29]. Это расширение подключает [30] библиотеки Datasketches
, в которых есть алгоритмы приблизительных оценок для Big Data. На сайте PGXN [28], созданном Дэвидом Уилером (David Wheeler), можно найти еще много новых расширений. Например, Citus 8.1.1 [31] — СУБД, которая работает как расширение PostgreSQL. Там же можно увидеть расширение tsvector2 1.0.0 [32] — это альтернатива типу tsvector
, который используют для полнотекстового поиска (улучшена компрессия и нет ограничения в 1 МБ). tsvector2 выложен на PGXN в декабре, а двумя месяцами раньше там появилась последняя версия [32] расширения pg_pathman — 1.5.2, тоже разработки Postgres Professional. Одновременно с pg_pathman
выложена и последняя версия [33] pg_partman — 4.0.0 Кита Фиске (Keith Fiske).
PAF v2.2.1
Вышла новая версия PostgreSQL Automatic Failover (PAF). Исправлены баги, в том числе, вызывавшие распухание логов. Загружать исходники, RPMы или DEBы можно с гитхаба проекта [34]. Документация лежит здесь [35]. Имеется демо [36]. Лицензия PostgreSQL.
check_pgactivity v2.4
Это плагин для Nagios [37]. В новой версии можно, например, фильтровать результаты по application_name
в longest_query
и oldest_idlexact
. Подробности здесь [38]. Лицензия BSD.
pgCenter 0.6.0 и 0.6.1
Это Go-
утилита Алексея Лесовского (Alexey Lesovsky) из Data Egret. В версии 0.6.0 появились [39]:
wait_event
представления pg_stat_activity
[40], который помогает исследовать долгоиграющие запросы и выяснять, где они проводят время;.rpm
и .deb
;Go
;Релиз 0.6.1. минорный и не рассматривается как несущий важные изменения. Гитхаб pgCenter здесь [43].
Учебник «Основы технологий баз данных»
Вслед за учебником «PostgreSQL. Основы языка SQL» [44] вышла из печати первая часть учебника Б.А. Новикова и Е.А.Горшковой «Основы технологий баз данных» [45]. Учебник можно приобрести в издательстве ДМК Пресс [46], в интернет-магазинах ozon.ru [47], Labirint.ru [48] и розничных книжных сетях. В формате PDF первую часть книги можно скачать [49] свободно с сайта Postgres Professional. Вторая часть книги готовится к публикации. Учебник охватывает теорию баз данных, методы и алгоритмы, применяемые при реализации СУБД, а также их особенности в системе PostgreSQL.
Видео учебного курса «Основы технологий баз данных»
Выложены [50] слайды и видео первых двух частей курса Б.А.Новикова.
Книжка-малютка «Postgres: первое знакомство»
Вышло [51] новое, уже 5-е издание книжки-малютки «Postgres: первое знакомство» [52]. Начиная с 4-го издания эта книга издается и на английском.
Обновление курса DBA2
Прежний курс DBA2 по версии PostgreSQL 9.5 назывался «расширенным» и включал в себя темы, дополняющие и углубляющие материал DBA1. Новый курс DBA2 по версии PostgreSQL 10 получился более сфокусированным за счет выделения части материала в самостоятельные курсы и получил название «Настройка и мониторинг». Если в DBA1 рассматривается механизм настройки сервера, то в этом курсе объясняется, какие именно параметры нужно настраивать и как это делать осмысленно, с пониманием внутреннего устройства PostgreSQL и на основе обратной связи от мониторинга. Материал курса существенно обновлен [53], добавлен модуль про различные виды блокировок.
Новый курс QPT
Оптимизация запросов, ранее рассматривавшаяся в курсе DBA2 по версии PostgreSQL 9.5, теперь выделена в отдельный курс [54], одинаково необходимый как администраторам, так и прикладным разработчикам. Курс обновлен с учетом новой версии PostgreSQL, в частности, добавлен материал по параллельному выполнению запросов. Все примеры курса теперь используют демонстрационную базу данных [55].
Postgres в ретроспективе
Елена Индрупская перевела [56] посвященную Postgres главу «Looking Back at Postgres» из книги Джозефа Хеллерстайна (Joseph M. Hellerstein) о лауреатах Премии Тьюринга. Оригинал в PDF можно бесплатно прочитать [57] на arXiv.org.
Three Factors of Authentication
Брюс Момджан обнародовал [58] в своем блоге короткую, но концептуальную заметку о принципах аутентификации в PostgreSQL. По его словам, из трёх факторов:
в PostgreSQL напрямую используются только разновидности первого. С некоторыми ухищрениями, однако, можно использовать PIV-устройства, например YubiKey [59]. Предлагается подумать, встраивать ли в PostgreSQL прямую поддержку аутентификации вида 2 и 3 или просто подробно просветить желающих при помощи документации. Обратите внимание, перед этим Брюс писал аж о 15 методах аутентификации [60].
One Security System for Application, Connection Pooling and PostgreSQL — The Case for LDAP
Здесь рассматривается [61] конфигурация корпоративной системы с
PostgreSQL 10, сервером приложений Wildfly, LDAP, pgbouncer. Даны примеры с конфигурационными файлами и кодом.
Миграция с Mongo на Postgres: опыт газеты The Guardian
Это перевод [62] статьи Bye bye Mongo, Hello Postgres [63] из самой Guardian.
Scheduling Backups En Masse with the Postgres Operator
Джонатан Кац (Jonathan S. Katz) рассказывает [64], как делать по расписанию полный и дифференциальный бэкап. Пишет о политиках резервного копирования, как создать само расписание, приводит примеры команд.
An Overview of JSON Capabilities Within PostgreSQL
Венката Наготи (Venkata Nagothi) пишет [65] в том числе о полнотекстовом поиске и приводит примеры правильного и неправильного использования операторов @>
и #>
Lessons learned scaling PostgreSQL database to 1.2bn records/ month
Статья [66] Гайуса Кюзинаса (Gajus Kuizinas) — это история воплощения крупного проекта с Kubernetes
-кластером. Исследовали четыре варианта размещения данных: Google, Amazon, Aiven.io и у себя. Баг в Cloud SQL for PostgreSQL и вялая реакция службы поддержки заставил отказаться от Google; Amazon RDS не поддерживает расширение TimescaleDB [67], которое решили использовать для секционирования; у Aiven.io [68] не обнаружилось решающих недостатков, но и с преимуществами слабовато. В результате развернули проект собственными силами. Для резервного копирования в этом проекте используют barman [69], детище 2ndQuadrant. Напоминаем, что только что вышел barman 2.6
.
PostgreSQL Performance in AWS, GCP, Azure, DO and UpCloud
Эта статья [70], конечно, ангажированная: ее написал CEO компании Aiven.io Оскари Сааренмаа (Oskari Saarenmaa), но в ней немало информации об облачных решениях с PostgreSQL 10 от пяти облачных провайдеров.
pg_sampletolog: An extension to log a sample of statements
Статья [71] Адриена Найра (Adrien Nayrat) из французской компании Doctolib [72] рассказывает, зачем автор сделал расширение pg_sampletolog
[73] и как оно семплирует транзакции в логи (выбирая, например, 10% транзакций).
The most useful Postgres extension: pg_stat_statements
Крейг Керстенс (Craig Kerstiens) сделал выжимку [74] из своего доклада о расширениях PostgreSQL на конференции FOSDEM в Брюсселе, касающуюся pg_stat_statements
, так как именно это расширение вызвало наибольший интерес.
Серия статей Postgres 12 highlight Мишеля Пакье
В своём standalone
-блоге [75] Мишель рассказывает о:
Maintaining feature branches and submitting patches with Git
Питер Айзентраут (Peter Eisentraut) из 2ndQuadrant делится опытом [76] использования git
, советует, как работать в собственных ветках, как мерджить и коммитить.
Eye or the Tiger: Benchmarking Cassandra vs. TimescaleDB for time-series data
Разработчики TimescaleDB, расширения PostgreSQL для работы с временными рядами, утверждают [77], что их детище работает на 5 узлах быстрее, чем Cassandra на 30, что вставка работает быстрее, а запросы ускорились до 5800 раз. И это при удешевлении железа в 10 раз, более гибкой модели данных и полной поддержке SQL.
DudeTx: Durable Transactions Made Decoupled
Эта теоретическая статья [78] рассказывает о японской разработке DudeTx. Авторы стремились соединить лучшее в подходах UNDO и REDO. При этом новая концепция опирается на возможности NVM (non-volatile memory).
Who Contributed to PostgreSQL Development in 2018?
Роберт Хаас (Robert Haas)
опубликовал [79] подсчеты — свои и Стивена Фроста (Stephen Frost) — вклада в PostgreSQL за 2018 год. В номинации «авторство патчей» лауреаты упорядочены по числу строк кода:
Рейтинг | Разработчик | Общее число строк | Вклад в % | Число патчей |
---|---|---|---|---|
18 | Александр Коротков | 2671 | 1.07 | 24 |
20 | Анастасия Лубенникова | 2345 | 0.94 | 2 |
22 | Антон Быков | 2118 | 0.85 | 2 |
24 | Никита Глухов | 1890 | 0.76 | 5 |
Автором примерно четверти всех новых строк кода является Том Лейн.
В номинации «деятельность коммитеров» из России только два коммитера, и оба из Postgres Professional:
Рейтинг | Разработчик | Общее число строк | Вклад в % | Число коммитов |
---|---|---|---|---|
3 | Фёдор Сигаев | 13646 | 11.28 | 44 |
9 | Александр Коротков | 2345 | 1.94 | 15 |
Стоит отметить, что Александр Коротков стал коммитером только в середине 2018 года, так что эти результаты он успел набрать за полгода.
Третья номинация — это «активность в переписке hackers» (порог >100 писем). В top мастеров эпистолярного жанра вошли:
Разработчик | Число писем |
---|---|
Александр Коротков | 301 |
Дмитрий Долгов | 226 |
Константин Книжник | 223 |
Андрей Бородин | 159 |
Фёдор Сигаев | 152 |
Артур Закиров | 111 |
Сергей Корнилов | 106 |
Идеи и пожелания присылайте на почту: news_channel@postgrespro.ru
Предыдущие выпуски: #12 [81], #11 (спец) [82], #10 [83], #9 [84], #8 [85], #7 [86], #6 [87], #5 [88], #4 [89], #3 [90], #2 [91], #1 [92]
Автор: Igor_Le
Источник [93]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/postgresql/308851
Ссылки в тексте:
[1] сообщение на сайте: https://www.citusdata.com/blog/2019/01/24/microsoft-acquires-citus-data/
[2] на сайте MS: https://blogs.microsoft.com/blog/2019/01/24/microsoft-acquires-citus-data-re-affirming-its-commitment-to-open-source-and-accelerating-azure-postgresql-performance-and-scale/
[3] на сайте: https://postgrespro.ru/products/postgrespro/enterprisecertified
[4] приобрела: https://www.credativ.com/blog/credativ-massively-expands-us-footprint?fbclid=IwAR2DP3h6NCIVmoLlM1v4hJJHxUhYEpp_JuOYVRJsLP--rrfw06kJgfnDwsQ
[5] ждут: https://pgibz.io/
[6] Конференция прошла: https://postgrespro.ru/blog/company/3867085
[7] Типичные ошибки приложений при работе с Postgres: https://pgconf.ru/2019/242878
[8] PostgreSQL + PostGIS + TimescaleDB — хранилище для систем мониторинга транспорта: https://pgconf.ru/2019/242909
[9] Промышленный подход к тюнингу PostgreSQL: эксперименты над базами данных: https://pgconf.ru/2019/242809
[10] презентации: https://pgconf.ru/2019/talks
[11] пройдет: https://postgresql.tubitak.gov.tr/
[12] пройдёт: https://www.socallinuxexpo.org/scale/17x/postgresscale
[13] состоится: https://postgresconf.org/conferences/2019
[14] уже идёт: https://p2d2.cz/
[15] здесь: https://www.postgresql.org/about/news/1920/
[16] Вышел: https://www.pgadmin.org/
[17] здесь: https://www.pgadmin.org/docs/pgadmin4/dev/release_notes_4_2.html
[18] отсюда: https://www.pgadmin.org/download/
[19] github.com/darold/pgbadger: https://github.com/darold/pgbadger
[20] pgbadger.darold.net: http://pgbadger.darold.net/
[21] чейнджлога: https://github.com/darold/pgbadger/blob/master/ChangeLog
[22] сообщила: https://sourceforge.net/projects/pgbarman/files/2.6/
[23] здесь: http://sourceforge.net/projects/pgbarman/files/2.6/barman-2.6.tar.gz/download
[24] здесь: https://github.com/darold/ora2pg/blob/master/changelog
[25] здесь: https://github.com/darold/ora2pg/releases
[26] здесь: https://www.postgresql.org/message-id/flat/42acfbcd-3152-c729-f706-664a36218ef4%40postgrespro.ru
[27] здесь: https://postgrespro.ru/docs/enterprise/10/app-pgprobackup
[28] PGXN: https://pgxn.org
[29] Александра Сайдакова: https://github.com/AlexanderSaydakov
[30] подключает: https://pgxn.org/dist/datasketches/1.0.0/
[31] Citus 8.1.1: https://pgxn.org/dist/citus/8.1.1/
[32] tsvector2 1.0.0: https://pgxn.org/dist/tsvector2/1.0.0/
[33] последняя версия: https://pgxn.org/dist/pg_partman/4.0.0/
[34] с гитхаба проекта: https://github.com/ClusterLabs/PAF/releases/latest
[35] здесь: https://clusterlabs.github.io/PAF/documentation.html
[36] демо: https://blog.ioguix.net/postgresql/2019/01/24/Build-a-PostreSQL-Automated-Failover-in-5-minutes.html
[37] Nagios: https://ru.wikipedia.org/wiki/Nagios
[38] здесь: https://github.com/OPMDG/check_pgactivity/releases/latest
[39] появились: https://blog.dataegret.com/2019/02/pgcenter-060-released.html
[40] pg_stat_activity
: https://www.postgresql.org/docs/current/monitoring-stats.html#WAIT-EVENT-TABLE
[41] GoReleaser: https://goreleaser.com/
[42] Go Report Card: https://goreportcard.com/
[43] здесь: https://github.com/lesovsky/pgcenter/releases/tag/v0.6.0
[44] «PostgreSQL. Основы языка SQL»: https://postgrespro.ru/blog/news/3515147
[45] «Основы технологий баз данных»: https://postgrespro.ru/education/books/dbtech
[46] ДМК Пресс: https://dmkpress.com/catalog/computer/databases/978-5-94074-820-5/
[47] ozon.ru: https://www.ozon.ru/search/?text=%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B%20%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B9%20%D0%B1%D0%B0%D0%B7%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85
[48] Labirint.ru: https://www.labirint.ru/books/676754/
[49] скачать: https://edu.postgrespro.ru/dbtech_part1.pdf
[50] Выложены: https://postgrespro.ru/education/university/dbtech
[51] Вышло: https://edu.postgrespro.ru/introbook_v5.pdf
[52] «Postgres: первое знакомство»: https://postgrespro.ru/education/books/introbook
[53] существенно обновлен: https://postgrespro.ru/education/courses/DBA2
[54] отдельный курс: https://postgrespro.ru/education/courses/QPT
[55] демонстрационную базу данных: https://postgrespro.ru/education/demodb
[56] перевела: https://habr.com/ru/company/postgrespro/blog/438890/
[57] можно бесплатно прочитать: https://arxiv.org/pdf/1901.01973.pdf
[58] обнародовал: https://momjian.us/main/blogs/pgblog/2019.html#January_14_2019
[59] YubiKey: https://www.yubico.com/solutions/smart-card/
[60] о 15 методах аутентификации: https://momjian.us/main/blogs/pgblog/2019.html#January_2_2019
[61] рассматривается: https://severalnines.com/blog/one-security-system-application-connection-pooling-and-postgresql-case-ldap
[62] перевод: https://habr.com/ru/company/itsumma/blog/436416
[63] Bye bye Mongo, Hello Postgres: https://www.theguardian.com/info/2018/nov/30/bye-bye-mongo-hello-postgres
[64] рассказывает: https://info.crunchydata.com/blog/schedule-pgbackrest-backups-with-the-postgres-operator
[65] пишет: https://severalnines.com/blog/overview-json-capabilities-within-postgresql
[66] Статья: https://medium.com/@gajus/lessons-learned-scaling-postgresql-database-to-1-2bn-records-month-edc5449b3067?fbclid=IwAR3bSUy9YPfGnA4VaipEgs368jdOcsv7ZPMoyMx4jShJ0YX7yqK494q4-Ps
[67] расширение TimescaleDB: https://www.timescale.com/
[68] Aiven.io: https://aiven.io/
[69] barman: https://www.pgbarman.org/
[70] статья: https://aiven.io/blog/postgresql-cloud-performance/
[71] Статья: https://blog.anayrat.info/en/2019/01/28/pg_sampletolog-an-extension-to-log-a-sample-of-statements/
[72] Doctolib: https://www.doctolib.fr/
[73] pg_sampletolog
: https://github.com/anayrat/pg_sampletolog
[74] сделал выжимку: https://www.citusdata.com/blog/2019/02/08/the-most-useful-postgres-extension-pg-stat-statements/
[75] блоге: https://paquier.xyz/
[76] делится опытом: https://blog.2ndquadrant.com/maintaining-feature-branches-submitting-patches-git/
[77] утверждают: https://medium.com/timescale/time-series-data-cassandra-vs-timescaledb-postgresql-7c2cc50a89ce
[78] статья: http://madsys.cs.tsinghua.edu.cn/publications/TS2018-liu.pdf
[79] опубликовал: http://rhaas.blogspot.com/2019/01/who-contributed-to-postgresql.html
[80] postgresso: https://t.me/postgresso
[81] #12: https://habr.com/company/postgrespro/blog/428275/
[82] #11 (спец): https://habr.com/company/postgrespro/blog/426745/
[83] #10: https://habr.com/topic/edit/422527/
[84] #9: https://habr.com/company/postgrespro/blog/420283/
[85] #8: https://habr.com/company/postgrespro/blog/415675/
[86] #7: https://habr.com/company/postgrespro/blog/413419/
[87] #6: https://habr.com/company/postgrespro/blog/358560/
[88] #5: https://habr.com/company/postgrespro/blog/353736/
[89] #4: https://habrahabr.ru/company/postgrespro/blog/351650/
[90] #3: https://habrahabr.ru/company/postgrespro/blog/349100/
[91] #2: https://habrahabr.ru/company/postgrespro/blog/347858/
[92] #1: https://habrahabr.ru/company/postgrespro/blog/345652/
[93] Источник: https://habr.com/ru/post/436352/?utm_campaign=436352
Нажмите здесь для печати.