Написать свою in-memory базу данных — это своеобразный способ изучить Go под капотом и сделать значимый пет-проект. Создавать обычную обертку над mapЧитать полностью »
Рубрика «db»
qrrot — база данных со встроенным ИИ
2026-05-25 в 6:30, admin, рубрики: db, Go, golang, sql, база данных
25 железных правил проектирования баз данных в PostgreSQL
2026-02-14 в 11:16, admin, рубрики: db, orm, PostreSQL, sqp, базы данныхКаждый, кто хоть раз разбирался в три часа ночи с упавшим продом, знает: большинство катастроф в базах данных это не сбой железа и не космические лучи. Это решения, принятые на этапе проектирования схемы. «Потом поправим», «в приложении проверим», «а зачем тут индекс?» каждая из этих фраз обходилась командам в часы даунтайма и миллионы потерянных строк.
Ниже 25 правил, которые я собрал из опыта работы с высоконагруженными системами. Это не теория из учебника — это грабли, на которые уже наступили до вас. Каждое правило сопровождается примером «как надо» и «как не надо», чтобы разница была наглядной.
I. Фундамент схемы
Почти ультимативный гайд по Criteria API с продвинутыми возможностями Hibernate
2025-08-27 в 7:22, admin, рубрики: criteria, db, hibernate, java, jpa, orm, postgres, spring, spring data, sqlКак работают с реляционными СУБД в Java-приложениях
Для взаимодействий Java-приложений с реляционной БД существует несколько способов:
-
Нативные запросы, с помощью JDBC, Spring JDBC Template и т. д.;
-
JPQL/HQL;
-
Criteria API;
-
Spring Data репозитории.
Об индексах на столбцах с низкой кардинальностью
2025-08-02 в 20:45, admin, рубрики: db, dwh, index, performance, postgresОб индексах на столбцах с низкой кардинальностью
Ранее среди коллег по СУБД бытовало мнение, что не стоит использовать B-tree индексы на столбцах с малым количеством уникальных значений. Считалось, что планировщик почти никогда не будет использовать такие индексы, поскольку дешевле последовательно прочитать всю таблицу, чем использовать случайное чтение (Disk I/O) на индексе, а затем переходить по указанному TID (Tuple ID) в таблицу. В случае, если необходимо прочитать сначала большую долю индекса, а потом большую долю таблицы, то дешевле сразу прочитать таблицу, чем выполнять двойную работу.
Читать полностью »
Процесс Retrieval-Augmented Generation (RAG) представляет собой довольно сложную систему, состоящую из множества компонентов. Вопрос о том, как определить существующие методы RAG и их оптимальные комбинации для выявления лучших практик, в настоящий момент остается наиболее актуальным. В этой статье я хочу поделиться своим опытом относительно реализации подходов и практик в области RAG систем, который реализует систематический подход к решению этой проблемы.
Типовые задачи процессов RAG систем
-
Классификация запросов,
-
Деление на фрагменты
-
Векторизация данных
-
Поиск,
-
Переранжирование,
Домашний кластер разработчика
2024-02-13 в 7:01, admin, рубрики: cluster, db, docker, docker-compose, mariadb, minio, redis, s3, stack, ЛанитСколько проектов можно разрабатывать одновременно? Вопрос звучит неоднозначно. С одной стороны, на процесс влияет человеческий фактор, с другой – технические ограничения.
Если в работе используется Docker, то запуск нескольких проектов одновременно может превратиться в жонглирование контейнерами. Под таким словосочетанием я имею в виду постоянное отключение и подключение контейнеров, изменения портов, чтобы не было конфликтов, а также имена контейнеров, потому что внутри контейнера иногда необходимо выполнить скрипты.
Почему может понадобится полусинхронная репликация?
2020-03-06 в 12:37, admin, рубрики: db, highload, web-разработка, база данных, Блог компании OTUS. Онлайн-образование, высокая нагрузка, высокая производительность, высоконагруженные системы, кластер, масштабирование, Промышленное программирование, Разработка веб-сайтов, распределенные системы, репликация, репликация базы данныхВсем привет. На связи Владислав Родин. В настоящее время я преподаю на портале OTUS курсы, посвященные архитектуре ПО и архитектуре ПО, подверженного высокой нагрузке. В преддверии старта нового потока курса «Архитектор высоких нагрузок» я решил написать небольшой авторский материал, которым хочу поделиться с вами.
Введение
Из-за того, что на HDD может выполняться лишь порядка 400-700 операций в секунду (что несравнимо с типичными rps'ами, приходящимися на высоконагруженную систему), классическая дисковая база данных является узким горлышком архитектуры. Поэтому необходимо уделить отдельное внимание паттернам масштабирования данного хранилища.
На текущий момент имеются 2 паттерна масштабирования базы: репликация и шардирование. Шардирование позволяет масштабировать операцию записи, и, как следствие, снижать rps на запись, приходящийся на один сервер вашего кластера. Репликация позволяет делать тоже самое, но с операциями чтения. Именно этому паттерну и посвящена данная статья.Читать полностью »
Насильственная оптимизация запросов PostgreSQL
2018-12-12 в 13:59, admin, рубрики: db, dba, postgresql, psql proxy, query rewrite, sql, sql proxy, Администрирование баз данныхЧто делать, когда имеется приложение с закрытым исходным кодом, которое обращается к БД не самым оптимальным образом? Как потюнить запросы, не меняя приложение, а возможно и саму БД?
Если вы не задавались такими вопросами — вы очень успешный и строгий DBA.
Ну а если задавались — позвольте поделиться страданиями и опытом.
Читать полностью »
Я не буду учить твой Garbage Query Language
2018-09-10 в 6:49, admin, рубрики: db, nosql, orm, SaaS, sql, Анализ и проектирование систем, Программирование
Это будет немного напыщенная речь, но меня действительно раздражает софт, в котором люди пытаются изобрести очередной собственный язык запросов. У нас уже есть триллион различных ORM, еще триллион баз данных с собственным языком запросов каждая, и еще триллион SaaS-продуктов, для доступа к которым нужно освоить какой-нибудь очередной DSL, которые они придумали.
Верните мне мой SQL обратно. Это язык понятный каждому, существует аж с 70-х и за это время успел стать стандартом. Он прост в чтении и может использоваться кем угодно, от бизнеса до инженеров.
Однако вместо этого мне приходится изучать целый ворох разных "garbage query language", потому что люди по-прежнему пытаются изобрести колесо заново.
Производительность Joomla на больших объемах контента
2018-04-30 в 10:19, admin, рубрики: cms, db, Joomla, mysql, php, нагрузка на сервер, оптимизация, Серверная оптимизация, скорость загрузки
Joomla очень плохо переваривает базу данных даже с несколькими тысячами статей в таблице _content. При нескольких десятках тысяч запросы в базу стандартных модулей типа mod_articles_popular могут зависать на секунды.
Всё дело в ACL (Access Control List) — политике контроля доступа. Проверка законности доступа пользователя к материалам занимает свыше 98% времени выполнения запроса.Читать полностью »