В первой части мы рассмотрели базовые операции, такие как добавление новых атрибутов, создание индексов и ограничений и т.д.
Эта статья посвящена двум более сложным миграциям:
-
обновление большой таблицы
-
разделение таблицы на две
Рубрика «postgres» - 5
SQL миграции в Postgres. Часть 2
2023-05-20 в 18:22, admin, рубрики: migrations, postgres, postgresql, sql, Администрирование баз данных, миграция бдКак мой менеджер потратил миллион долларов на сервер бэкапов, который я ни разу не использовал
2023-04-03 в 13:00, admin, рубрики: mysql, postgres, ruvds_переводы, Блог компании RUVDS.com, инкрементальные бэкапы, облачные хранилища, резервное копирование данных, системное администрирование, управление проектами, хранение данных
Индустрия видеоигр — странное место: она одновременно может отставать от остальной технологической отрасли на полдесятка лет в одних областях, и на годы опережать её в других.
В эту отрасль меня привлекла не возможность работы над развлекательными продуктами или создания продуктов, которые мне понравится использовать (не могу назвать себя геймером): я люблю решать задачи, и особенно задачи, которые нелегко решать.
Когда я пришёл в Ubisoft в 2014 году, меня назначили в отдел программирования онлайна на должность руководителя Ops. Это было ужасно, потому что все работали под Windows.
Kubernetes ещё не было на горизонте, да если бы он и был, сам Docker оставался крайне сырым и пока не мог выполнять нативные двоичные файлы Windows.
Вместо него мы использовали собственную реализацию распределённых систем.
Читать полностью »
Строим OCR-ферму на базе айфонов для скрапинга мемов в Интернете
2023-01-20 в 9:45, admin, рубрики: DIY, diy или сделай сам, elasticsearch, hardware, ocr, postgres, Raspberry, Программирование, распознавание текстаКаждый, кто провел какое-то время в Интернете хорошо представляет насколько популярным стало использование мемов в онлайне. Находить новые мемы о последних событиях и делиться ими с друзьями, — это мое давнее времяпрепровождение.
Большинству мемов свойственна ироническая двойственность: чем более они нишевые, тем более забавными они кажутся. Некоторые из лучших мемов — это просто глупые шутки между моими друзьями или из невероятно нишевой индустрии информационной безопасности.
PostgreSQL 16: Часть 3 или Коммитфест 2022-11
2022-12-17 в 10:18, admin, рубрики: postgres, postgresql, sql, Блог компании Postgres ProfessionalGridComponent. Часть II. Котики, NestJS и чуть-чуть о Postman
2022-09-03 в 20:26, admin, рубрики: backend, CORS, nestjs, node.js, nodejs, postgres, Postman, sqlite3, typeorm, TypeScriptДоброго дня!
Как и обещал, в продолжение своего пет-проекта по созданию грид-компонента опишу здесь создание backend части на таком фреймворке как NestJS, попутно ознакомив читателя с дополнительными инструментами для backend разработки. Код проекта найдете здесь. Статья в основном для новичков, поэтому не пытайтесь найти здесь что-то сверхъестественное.
Сразу сделаю оговорку, что я не являюсь крутым специалистом по данному фреймворку, скорее – большим его любителем. Но почему все-таки NestJS, а не какой-нибудь Читать полностью »
PostgreSQL 16: Часть 1 или Коммитфест 2022-07
2022-08-06 в 13:34, admin, рубрики: postgres, postgresql, sql, Блог компании Postgres ProfessionalАвгуст в релизном цикле PostgreSQL месяц особенный. Еще не вышла официально 15-я версия, но уже закончился первый коммитфест 16-й версии. И мы можем посмотреть на самые интересные изменения.
Собираем сервер из исходного кода и вперед!
dconfig server_versionList of configuration parameters
Parameter | Value
----------------+---------
server_version | 16develЯндекс выложил в опенсорс бету фреймворка userver
2022-07-29 в 7:55, admin, рубрики: c++, c++17, coroutine, coroutines, dynamic changes, github, json, logs, mongo, mongodb, open source, postgres, postgresql, python, python3, redis, sql, synchronization, userver, yaml, Yandex, Блог компании Яндекс, высокая производительность, открытый кодСегодня мы анонсируем выход в опенсорс фреймворка userver для создания высоконагруженных приложений. Для нас это важный способ поделиться опытом в разработке микросервисов, который мы накопили. Вот ссылка на GitHub-репозиторий c исходным кодом, документацией, примерами, шаблоном для создания своих сервисов (с настроенным CI, сборкой и тестовым окружением) и сервисом динамических конфигов. Всё это опубликовано под лицензией Apache 2.0.
🐙userver позволяет быстро создавать эффективные микросервисы на языке C++ и уже много лет активно используется в Яндекс Go, Еде, Лавке, Доставке, Маркете, финтехе и других проектах. Вот из каких требований мы исходили в процессе разработки:
- Простота. Стажёр или студент, приходя к нам, может уже через неделю написать и отправить в продакшен новый микросервис.
- Надёжность. Многие ошибки, в том числе и связанные с многопоточностью, можно поймать на этапе компиляции. Кроме того, фреймворк даёт подсказки по исправлению проблем.
- Полнота. В userver есть всё необходимое для тестирования, работы с разными базами данных, кеширования, логирования, трейсинга, распределённых блокировок, работы с JSON, BSON, YAML, изменения параметров сервиса на лету и так далее.
Сейчас я расскажу о том, как возникла идея userver, как фреймворк развивался, в каких задачах его сейчас используют и почему именно выход в опенсорс был логичным следующим шагом. А затем приведу пример написания нового микросервиса.
Читать полностью »
Postgresso #5 (42)
2022-06-18 в 22:30, admin, рубрики: data bases, dbms, postgres, postgresql, rdbms, Блог компании Postgres Professional, рсубд, СУБД
ИТ-инфраструктура — это как водопровод, без неё жизнь уже почти невозможна. И мы продолжаем выпускать Postgresso.
Экстренный релиз, исправляющий баг при индексировании в PostgreSQL 14. Незадолго до этого был даже специальный анонс:
PostgreSQL 14 out-of-cycle release coming June 16, 2022
Сразу после выхода первой же версии PG14 стало известно, что при выполнении команд CREATE INDEX CONCURRENTLY и REINDEX CONCURRENTLY могут незаметно попортиться индексы. Наконец, в 14.4 уже не нужно осторожничать, выполняя эти команды или проверять индексы при помощи команды pg_amcheck с флагом --heapallindexed (которая, к тому же, проверяет только btree-индексы).
Но этим исправления в PostgreSQL 14 отнюдь не исчерпываются. Список их в release notes не слишком короткий.
Читать полностью »
Мгновенные снепшоты postgres на tablespace и btrfs
2022-05-01 в 3:48, admin, рубрики: btrfs, copy-on-write, linux, postgres, postgresql, мгновенный снимок состояния, Разработка под Linux, Тестирование веб-сервисовYet Another Postrges on BTRFS
Для работы бывает полезно иметь несколько копий одной реальной базы для экспериментов, фикстур или просто тестовых приложений. База растет и время копирования через разворачивание дампа или с помощью шаблона также возрастает до утомительных величин. Для решения этого кейса уже описаны варианты использования файловой системы с поддержкой CoW - Btrfs. В интернете находил такие инструкцииЧитать полностью »
Postgresso #2 за 2022 (39)
2022-03-21 в 1:19, admin, рубрики: data bases, dbms, postgreqsl, postgres, postgresql, rdbms, базы данных, Блог компании Postgres Professional, рсубд, СУБД
В эти безрадостные дни многим трудно работать, сочинять и даже читать статьи. Но ИТ-инфраструктура это как водопровод — без неё жизнь уже почти невозможна. И мы продолжаем выпускать Postgresso. По понятным причинам в этом выпуске будет много ссылок, меньше анализа. И главная тема — миграция
Миграция
Проблемы миграции с Oracle на Postgres обычно начинаются там, где приходится иметь дело с различиями в синтаксисе команд и прочими расхождениями в этих СУБД. Об этом и говорится в большинстве статей и видео.
Начнём с Oracle to Postgres Conversion
Это официальный документ сообщества PostgreSQL. Есть список инструментов миграции.
The Complete Oracle to PostgreSQL Migration Guide: Move and convert Schema, Application & Data
Довольно пространное руководство от EDB. Есть матрица возможностей миграционных инструментов.Читать полностью »