Привет! Меня зовут Кирилл Львов, я fullstack-разработчик в компании СберАналитика. В этой статье хочу рассказать про мощный инструмент трансформации данных — DBT (Data Build Tool).
Рубрика «sql» - 8
DBT: трансформация данных без боли
2025-05-07 в 7:15, admin, рубрики: big data, data ingineering, dataops, dbt, elt, sql, аналитика данных, трансформация данныхАнализируем сложные данные в CSV-таблицах: как мы усовершенствовали RAG с помощью агентского подхода
2025-04-04 в 14:49, admin, рубрики: llm-модели, rag, sql, база знаний, генеративный ии, ии-агенты, мультиагентные системы, нейросетиПривет! Меня зовут Александр Овсов, я RnD-разработчик в компании Just AI. Занимаюсь прототипированием новых фич продукта Jay Knowledge Hub и исследованиями новых возможностей LLM. Jay Knowledge Hub — это умная платформа для поиска по неразмеченным корпоративным данным, созданная на базе RAG и AI-агентов.
Выпустили «PostgreSQL. Профессиональный SQL» для тех, кто хочет лучше понять «слона»
2025-04-02 в 15:37, admin, рубрики: postgresql, sql, библиотека, книга, Профессиональный SQL, учебник, учебное пособиеВ экосистеме PostgreSQL, где стандартный SQL является фундаментом, истинное мастерство раскрывается через понимание и применение его расширенных возможностей. Книга Евгения Моргунова «PostgreSQL. Профессиональный SQL» служит мостом от базовых знаний к продвинутому использованию языка SQL в среде PostgreSQL. Она предоставляет глубокие знания для работы со сложными запросами, аналитикой и серверной логикой.
SSDF — велосипед для ETL на SQL
2025-04-01 в 7:15, admin, рубрики: data engineering, postgresql, sql
Речь пойдет о моем пет-проекте - SSDF (super SQL data flow).
Когда-то я работал в одной компании, у нас было ХД на MSSQL и самописный велосипед для организации ETL/data flow; так и назывался - dataflow.
Выглядел он следующим образом (если описывать вкратце).
Как правильно выбрать базу данных для разработки: понимание моделей репликации
2025-03-29 в 11:15, admin, рубрики: cassandra, mongodb, nosql, postgresql, sql, web scalability, базы данных, нагрузка на сервер, разработка, сервисы
Уже через год мы будем общаться с базами данных по-русски
2025-03-28 в 16:45, admin, рубрики: sql, генерация sql, исскуственный интеллект, СУБД
По прогнозу Gartner, запросы на естественном языке вытеснят SQL уже в 2026 году. Самое главное из исследования на русском языке собрано в этом посте.
Возможно, прогноз Gartner чересчур оптимистичный, но если они и ошибаются, то только в сроках — сам переход на естественный язык в работе с БД неизбежен.
Рассмотрим потребление оперативной памяти (RAM) при загрузке pandas DataFrame из базы данных (БД).
Для этого воспользуемся мониторингом ресурсов на базе библиотеки psutil. Мониторинг фиксирует pss («Proportional Set Size») память, т. е. физически занимаемую процессом.
Используем небольшую таблицу синтетических транзакций:
Удобное сканирование в структуры в связке Go-PgX. Решение проблемы сканирования в PgX. Golang
2025-03-28 в 11:16, admin, рубрики: driver, Go, golang, golang orm, orm, pgx, sql, sqlx, орм в гоРаботая с базами данных в Go, многие из нас сталкивались с библиотекой pgx — высокопроизводительным драйвером для PostgreSQL. Однако при всей ее мощи есть одна неудобная особенность: сканирование результатов запросов в структуры может быть довольно громоздким, особенно когда речь идет о вложенных структурах или списках.
Проблема неудобного сканирования в go/pgx
Как мы искали должников при помощи Pandas
2025-03-17 в 18:12, admin, рубрики: pandas, sql, города, Петербург, Питон, урбанистикаПетербургский Фонд капитального ремонта опубликовал документы, в которых указана задолженность за каждую квартиру в городе по итогам 2024 года. Мы изучили эти файлы, чтобы ответить на вопрос: где и почему хуже всего платят за ремонт в своём доме.
Я занимаюсь анализом данных и дата-журналистикой в газете "Деловой Петербург". Расскажу о том, как объединяли информацию из множества локальных html-таблиц и приведу примеры кода на "Питоне".
Мы все знаем, насколько важен SQL для любой работы, связанной с анализом данных. Он пользуется популярностью благодаря возможности извлечения значимой информации из данных и предоставления мощных инструментов для их обработки и анализа.