Дайджест новостей из мира PostgreSQL. Выпуск №15

Мы продолжаем знакомить вас с самыми интересными новостями по PostgreSQL.

Новости

Главное событие месяца — это, конечно, Feature Freeze. Мартовский коммитфест ^[1] закрыт. Основной облик версии PostgreSQL 12 определился. Дальше будут доработки и исправления, но не изменения в функциональности. О наиболее важных фичах 12 версии в ближайшее время мы сделаем отдельную публикацию.

Уязвима ли «уязвимость»

Под загадочным кодом CVE-2019-9193 скрывается политически важная для сообщества причина беспокойства ^[2]. Речь о конструкции COPY… PROGRAM, появившейся еще в 9.3, которая дает возможность исполнять в запросе файлы ОС и писать в стандартный ввод или читать из стандартного вывода программы.
When a vulnerability is not a vulnerability
Однако, классик PostgreSQL Магнус Хагандер (Magnus Hagander) разъясняет ^[3] в своем блоге:
Эта «уязвимость» эквивалентна тому факту, что в типичной Unix-системе вы можете залогиниться рутом и создавать или редактировать файлы, и исполнять команды как root. <...> Будучи суперюзером, можно запускать файлы в ОС отнюдь не только при помощи COPY… PROGRAM." <...> Итак, уязвимости в PostgreSQL нет, зато однозначно есть уязвимые инсталляции PostgreSQL.

Релизы

pgAdmin4 V4.5
В этой версии совсем мало изменений. Среди них поддержка адаптера для Python psycopg2 v2.8 (о нем ниже) и поддержка ESLinter ^[4]. Загрузить можно с этой страницы ^[5].
До этого в версии pgAdmin4 4.4 (вышедшей после предыдущего обзора) было исправлено 35 багов. Среди нового в 4.4:

• история запросов в Query Tool доступна из разных сессий;
• поддержка колонок IDENTITY;
• документы можно строить в формате ePub
• для каталога хранения данных используется в качестве базового полный email, а не только его левая часть.

Подробности на странице PgAdmin ^[6].
До этого в версии 4.3 были добавлены в том числе кнопки Commit и Rollback в Query Tool; появилась возможность запускать в контейнерах несколько версий утилит PostgreSQL. О других 5 новых возможностях той версии можно узнать на странице ^[7] PgAdmin.

repods
Появилась ^[8] облачная платформа repods на базе PostgreSQL. Основное назначение — аналитика. Интересная визуализация схем БД и прочего.

pg_activity 1.5.0
В этой версии средства мониторинга появилось новое:

• сводка активных соединений;
• имя приложения;
• можно сохранять список активных запросов в файл CSV;
• поддержка PGSERVICE;
• при потере соединения пытается снова соединиться с PostgreSQL-кластером.

Скачать можно и с github ^[9], и с pyri ^[10].

Barman 2.7
Исправлены ^[11] ошибки параллельного копирования. Раньше неустранимая ошибка при параллельном бэкапе приводила к тому, что процесс надо было убивать вручную и затем очищать сервер от последствий неудачного бэкапа.
При работе в режиме гео-избыточности раньше падал cron при обрыве сети в процессе синхронизации. Соответственно следующие задания не выполнялись. Также исправлен баг в работе ввода-вывода в UTF-8. Подробности ^[12] и файлы для скачивания ^[13] на сайте sourceforge.

Pgpool-II
Вышла версия 4.0.4, а с нею и 3.7.9, 3.6.16, 3.5.20 и 3.4.23. Из новшеств: можно задать клиентский список шифров — ssl_ciphers. Таким образом в Pgpool-II поддержана соответствующая возможность PostgreSQL. Про релиз здесь ^[14], а RPMы можно скачать отсюда ^[15]. В разделе «статьи» мы упоминаем две публикации ветерана PostgreSQL Тацуо Ишии (Tatsuo Ishii) о новшествах будущего релиза — Pgpool-II 4.1.

padnag 1.2.4
В новой версии ^[16] этого инструмента синхронизации ролей PostgreSQL с пользователями и группами Active Directory появилось в том числе:

• Ubuntu 1604 вместо Ubuntu 1804 LTS;
• переход на AWS CodeCommit и CodeBuild;
• автоматическое тестирование на правильную интеграцию с Windows 2012R2;
• больше нет тестирования версий PostgreSQL до 9.4.

Подробности есть здесь ^[17].

temboard 3.0
В средстве удаленного мониторинга ^[18] PostgreSQL от Dalibo Labs появился плагин Maintenance ^[19], который следит за базами данных, схемами, таблицами и индексами. Помогает обнаружить распухание базы и эффективно управлять VACUUM, ANALYZE или REINDEX.

psycopg 2.8
Эта версия PostgreSQL-адаптера для Python (полностью реализующего интерфейс Python DB API 2.0) — примечательное событие: предыдущая версия вышла аж 2 года назад. В этой версии ^[20] в числе прочего появился

• мэпинг ошибок PostgreSQL на исключения Python;
• некоторые улучшения обогащают информацию о статусе соединения и результатах запроса;
• улучшено асинхронное взаимодействие и параллелизм;
• отказ от поддержки устаревших версий Python (2.6, 3.2, 3.3) позволил существенно переработать код.

pg2arrow
Утилита ^[21], которая отсылает запрос PostgreSQL и упаковывает результат в формат Apache Arrow.

pgMustard
Интерфейс для «explain analyse», способный еще и давать рекомендации по ускорению запросов. pgMustard — коммерческий софт, испытательный срок 7 дней. Отзывы приветствуются — говорят разработчики. Версия 1.0 ^[22] работает с PostgreSQL 9.6 и более поздними.

pg_snakeoil 1.0
Антивирусное расширение ^[23] PostgreSQL. Для сканирования оно использует ClamAV ^[24], который не тормозит работу PostgreSQL.

vipsql
Плагин ^[25] к vim для работы в psql.

migra
Этот инструмент ^[26] работает со схемами PostgreSQL в духе diff.

dbdot
Утилита ^[27] командной строки, которая генерит DOT-описание на основе схемы БД. Распространяется в бинарных пакетах под различные платформы.

Zedstore — compressed in-core columnar storage
Это довольно сырой патч, но на него стоит обратить внимание. Буквально за пару недель было сделано колоночное хранилище. В будущем в PostgreSQL будут подключаемые хранилища разного типа (pluggable storages), для чего сейчас сделан и прошел коммитфест патч tableam (table access method) — важная часть API для подключения хранилищ. Одно из новых хранилищ уже достаточно хорошо известно: Zheap ^[28] с UNDO вместо WAL, оно в работе. Теперь — колоночное (а есть еще расширение VOPS ^[29] для векторизованных вычислений).

Статьи и блоги

Benchmarking connection poolers
Пуллеры для Постгреса. Сравнительное тестирование производительности ^[30] различных пуллеров для Постгреса: начиная с популярного pgbouncer-а и до новичка — Odyssey и новой разработки — встроенных пуллеров от Postgres Professional. Тестировал Константин Книжник.

Imperative to Declarative to Imperative
Брюс Момджан по-прежнему с удовольствием высказывается на философские темы СУБД-строения: на этот раз в поле его зрения попала цепочка «генерация декларативного кода императивным кодом, который [в конечном счете] опять будет исполнен как императивный код» (imperative language that generates declarative output that can be converted into an imperative program and executed).
Брюс обнародовал здесь ^[31] свои соображения, имея в виду обсуждение соответствующего треда, в котором высказались Питер Гёйган (Peter Geoghegan) и Крис Траверс (Chris Travers).

Uniting SQL and NoSQL for Monitoring: Why PostgreSQL is the ultimate data store for Prometheus
Подзаголовок этой статьи (тоже не слишком короткий) поясняет: ^[32] «Как использовать Prometheus, PostgreSQL + TimescaleDB и Grafana для хранения, анализа и визуализации метрик».

What’s new in PostgreSQL 11
Маркус Винанд (Markus Winand), автор книжки PostgreSQL Performance Explained, пишет ^[33] не о будущем (PostgreSQL 12), а о настоящем: «о главной теме PostgreSQL 11 — оконных функциях». До 2018 PostgreSQL в одиночестве сражался с ними (если говорить об опен-сорс СУБД), но с тех пор некоторые из них догнали и перегнали. И вот в 11 снова рывок вперед. Разъяснено на примерах, со схемами и матрицами функциональности.

Why SQL is beating NoSQL, and what this means for the future of data
На сайте TimescaleDB большая статья ^[34] об истории битв SQL и NoSQL за господство над данными — начиная с 70-х и примеров из реляционной алгебры.

Be careful with CTE in PostgreSQL
Статья Хаки Бенита (Haki Benita), независимого разработчика, об опасностях CTE ^[35]. Сравнивает с Oracle, говорит о материализации, подзапросах как альтернативе, CTE inlining, о хинтах и прочем. Статья опубликована еще осенью, и кое-какие изменения с тех пор произошли, но многие проблемы по-прежнему актуальны.

JOIN LATERAL
Элейн Мастейн (Elein Mustein), до этого популярный автор GeneralBits, напоминает ^[36] в блоге 2ndQuadrant о возможностях JOIN LATERAL. А также об ограничениях, о мониторинге соответствующих запросов и о том, где имеет смысле использовать JOIN LATERAL, а где — нет.

Postgres-XL and global MVCC
Коичи Сузуки (Suzuki Koichi), работавший в NTT и перешедший в 2ndQuadrant, задаёт интересные вопросы ^[37] по поводу распределенных транзакций и собирается их в будущих статьях обсуждать.

Waiting for PostgreSQL 12 – REINDEX CONCURRENTLY
Depecz, то есть Хуберт Любашевски, рассказывает и приводит примеры ^[38] использования этого важного новшества.

GeoJSON Features from PostGIS
Пол Рэмси (Paul Ramsey) рассказывает ^[39], как из уже существующих в PostgreSQL средств и собственного коротенького скрипта конвертировать таблицы в GeoJSON.

Metrics to Monitor in Your PostgreSQL Database
Эта статья ^[40] продолжает тему другой статьи ^[41] — «Руководство: как мониторить PostgreSQL, используя Telegraf и InfluxDB».

PostgreSQL for a SQL Server DBA: The Tooling Stinks
В этой не слишком лояльной Постгресу статье ^[42] — «Инструменты для админа PostgreSQL тухловаты» — наблюдения человека с бэкграундом MS SQL, так что его опыт и импровизированный сравнительный анализ могут оказаться интересными для некоторых читателей-постгресистов. Автор считает главным препятствием для перехода MS SQL -> PostgreSQL относительную бедность (у меня это мягче сказано) инструментария, а не недостатки самой СУБД. Соответственно речь идет о PgAdmin, но также и о DataGrip и Novicat.

Shared Relation Cache и Statement Level Load Balancing
В своем блоге ^[43] Playing with PostgreSQL and Pgpool Тацуо Ишии (Tatsuo Ishii) пишет ^[44] о разделяемом процессами Pgpool-II кэше системного каталога, который появится в версии 4.1.
В продолжении ^[45] — речь о балансировке нагрузки, которая в Pgpool-II 4.1 возможна на уровне сессии. Поведение определяется новым параметром: statement_level_load_balance в pgpool.conf.

Конференции

Saint HighLoad++ 2019 (Санкт-Петербург)
На прошедшей конференции ^[46] много говорили о будущем. Вот слайды доклада ^[47], где Олег Бартунов суммирует новшества грядущей версии. Конференция прошла 8-9 апреля.

German-speaking PostgreSQL Conference 2019
Для желающих поупражняться в немецком и посетить Лейпциг: эта конференция ^[48] состоится 10 мая.

PGDay Warsaw
Эта конференция ^[49] проходит в контексте OpenSource Day 14-го мая.

PGDay.IT 2019
Итальянский PG-день пройдёт ^[50] в Болонье 16-17 мая.

PGCon 2019 Ottawa
Канадская конференция ^[51] состоится 28-31 мая.

Swiss PGDay 2019
На эту конференцию, которая состоится ^[52] 28 июня в Раппертсвиле, около Цюриха, еще можно (до 18 апреля) присылать заявки на доклады и регистрироваться.

PostgresLondon 2019
Эта конференция пройдет ^[53] 1-3 июля (1-го необязательный день для мастер-классов).

PGConf.Brazil 2019
Сан-Паулу ждет гостей ^[54] 1-3 августа.

Austrian pgDay
Новое мероприятие ^[55], оно состоится 6 сентября.

PostgresConf South Africa 2019
Пройдет ^[56] в Йоханнесбурге 8-9 октября. Заявки принимаются до 30 июля.

А также есть конференции в корпоративном стиле:

Percona Live Open Source Database Conference 2019
Percona проводит ^[57] эту конференцию в Техасе (Остин, столица) 28-30 мая.

Postgres Vision 2019
Эта конференция проводится ^[58] EnterpriseDB в Бостоне 24-26 июня.

На этом все. До новых встреч!

Идеи и пожелания присылайте на почту: news_channel@postgrespro.ru
Предыдущие выпуски: #14 ^[60], #13 ^[61], #12 ^[62], #11 (спец) ^[63], #10 ^[64], #9 ^[65], #8 ^[66], #7 ^[67], #6 ^[68], #5 ^[69], #4 ^[70], #3 ^[71], #2 ^[72], #1 ^[73]

Автор: Igor_Le

Источник ^[74]