Рубрика «sql» - 4
Базы данных. Основа реляционных баз
2026-01-25 в 6:16, admin, рубрики: sql, базы данных, основы реляционных баз данных, первичные ключи, проектирование баз данных, реляционные субд, СУБД
От скриншота до PostgreSQL: парсим банковские операции через Claude Vision
2026-01-17 в 11:15, admin, рубрики: AI, claude, postgresql, python, sql, telegrambot, личные финансыЭто первая статья из цикла о построении CDC-пайплайна в домашней лаборатории.
Полный путь: Telegram → PostgreSQL → Debezium → Kafka → HDFS → DWH.
Но любой пайплайн начинается с данных — и эта статья про их получение.
Проблема
Хочу видеть свои расходы в нормальной аналитике, но банки не дают API для выгрузки операций. Можно руками вбивать каждую покупку в Excel — но это путь в никуда. Можно подключить агрегаторы типа Дзен-мани — но они требуют доступ к онлайн-банку, а я параноик.
Решение: скриншоты операций → распознавание → PostgreSQL → дальше CDC pipeline.
Кто я
Очереди на PostgreSQL: антипаттерн или реальность жизни
2025-12-09 в 7:00, admin, рубрики: postgresql, sql, высоконагруженные системы, очереди
Привет! Меня зовут Дима Кривопальцев, я тимлид бэкенд‑команды Яндекс Диска (Яндекс 360). Уже больше семи лет я занимаюсь разработкой высоконагруженных распределённых систем — и в статье расскажу об одной из них.
TypeQL: SQL для аналитиков, который знает о данных всё
2025-12-06 в 11:45, admin, рубрики: BI, dashboard, dsl, sql, дизайн языков программирования, исследование данныхСколько я пользуюсь SQL, столько же он меня бесит (спасает только то, что сейчас его можно генерить с помощью LLM). Сегодня хочу рассказать про свой прототип языка для создания больших и сложных аналитических запросов, который компилируется в SQL.
Перед тем как начать восхвалять своё детище, нужно основательно поругать SQL. Итак, что же мне в нём не нравится:
Проблемы SQL
-
Нет функций и циклов (некоторые БД реализуют, но в стандарте нет). А это явно необходимо, если мы хотим писать большие запросы и переиспользовать код
-
Переусложнённый синтаксисЧитать полностью »
context-async-sqlalchemy — лучший способ использовать sqlalchemy в async python приложении
2025-12-03 в 14:16, admin, рубрики: async, asyncio, python, sql, sqlalchemyПривет! Хочу рассказать о своей новой библиотеке context-async-sqlalchemy, которая помогает очень просто работать с sqlalchemy в async python приложениях. Минимум кода для простых сценариев, но и максимум свободы для сложных.
Сначала кратко пройдемся по теории из чего состоит sqlalchemy и как ее происходит интеграция в python приложение. Посмотрим какие есть нюансы и как context-async-sqlalchemy помогает вам удобно работать. Важно что речь идет только об async python.
Краткая сводка по sqlalchemy
sqlalchemy предоставляет EngineЧитать полностью »
«База данных как API»: Почему я написал свою ORM на Source Generators и обогнал Dapper в 800 раз
2025-11-30 в 14:56, admin, рубрики: .net, AcheronSoft, sql, VisorПривет! Меня зовут Сергей Сорокин, я .NET-разработчик с 12-летним стажем. Занимаюсь бэкендом, архитектурой и высокими нагрузками.
Знаю, о чем вы подумали, прочитав заголовок: "О боже, еще одна ORM? В 2025 году? Зачем, если есть Dapper и EF Core?".
Я тоже так думал. Но когда ты работаешь в Enterprise-системах, где производительность критична, а база данных — это не просто хранилище, а мощный инструмент обработки данных, стандартные решения начинают показывать свои слабые места.
Сегодня я хочу рассказать о VisorЧитать полностью »
Создание простой поисковой системы, которая действительно работает
2025-11-23 в 10:51, admin, рубрики: php, sql, индексация, оптимизация, поиск, поисковая система, репозиторий, токенизацияЗачем строить свой собственный?
Зачем вообще делать что-то своё?
Я знаю, что вы можете подумать: «Почему бы просто не использовать Elasticsearch?» или «А что насчёт Algolia?» Это вполне рабочие решения, но у них есть нюансы. Нужно разбираться с их API, поддерживать инфраструктуру под них и учитывать все тонкости их работы.
Но иногда хочется чего-то более простого — такого, что:
-
работает прямо с вашей текущей базой данных;
-
не требует сторонних сервисов;
-
легко понять и отладить;
-
действительно выдаёт релевантные результаты.
Atomic insert in Clickhouse
2025-11-23 в 8:15, admin, рубрики: atomic, clickhouse, etl, insert, sql, атомарность, витрины данных, кликхаусВ этой статье мы поговорим о том, как реализовать поведение атомарной вставки в ClickHouse. Рассмотрим несколько вариантов, подсветим их сильные и слабые стороны, а также, когда каждый из них применять.
Задача
Мы хотим добиться, чтобы не было случаев, когда мы начали вставку, а пользователь прочитал данные до её завершения и получил неактуальный (неполный) набор данных.
Неатомарная вставка = риск чтения некорректного набора данных.
Сценарии, когда такое может произойти:
-
Удалили партицию и хотели начать вставлять данные взамен удалённой, но пользователь обратился к этому интервалу.
Нечёткий поиск при пересечении множеств, или Как выжать все соки из Хэширования по сигнатуре
2025-11-13 в 7:16, admin, рубрики: c#.net, hengine, mssql, sql, sqlclr, интеграция стороннего кода в SQL, нечеткое сравнение строк, расстояние Левенштейна, расстояние хэмминга, хэширование по сигнатуре
На просторах интернета легко можно найти материалы по реализации нечёткого поискаЧитать полностью »