Рубрика «база дынных»
Сбор сведений из открытых источников: почему это рискованно, если выкачивается информация из чужих баз данных?
2026-05-13 в 10:31, admin, рубрики: база дынных, базы данных, законодательство, защита данных, защита данных пользователей, парсинг, парсинг данных, парсинг контента, парсинг сайта, парсинг сайтов
CPU 80%. Как найти проблемный запрос в ClickHouse?
2026-03-27 в 13:15, admin, рубрики: clickhouse, data engineering, база дынных, оптимизацияCPU 80%, память на пределе, диск нагружен. Запросы тормозят. Расчёты не завершаются. Сервер на грани. Что же делать?
Расскажу как начинаю диагностику и как найти запрос, который создаёт нагрузку.
Шаг 1. Что висит прямо сейчас
Если нода прямо сейчас перегружена, начинаем с system.processesЧитать полностью »
Как отчисление одного студента может закрыть всю кафедру. Нормализуем БД и избавляемся от аномалий
2026-03-23 в 8:00, admin, рубрики: sql, база дынных, базы данных, нормализация отношений, нормальные формы, реляционные базы данных, реляционные бд, реляционные субд, функциональная зависимость
Привет! В прошлой статьеЧитать полностью »
Раскрыто дело о тайных пациентах медицинских компаний
2024-12-20 в 8:55, admin, рубрики: архитектура по, архитектура системы, база дынных, клиника, маркетинговая стратегия, маркетинговый анализ, монолит, пациенты, профиль пользователя, рекламная кампания
Медицинские компании, помимо приёма пациентов, должны качественно и безопасно хранить все данные, связанные с лечением, осмотрами и процедурами. От этого зависит не только имидж, но и лицензия организации.
Анонимизация базы данных или как быть уверенным, что ты не нарушаешь закон “О персональных данных”
2022-03-08 в 11:10, admin, рубрики: 152-фз, django, Django REST framework, flake8, gdpr, python, анонимизация, база дынных, персональные данные, плагин, Программирование, Разработка веб-сайтов, хранение данныхВ настоящее время практически все ИТ-продукты работают с персональной информацией пользователя: ФИО, телефон, e-mail, паспортные и другие идентифицирующие данные. Для обеспечения защиты прав и свобод, человека и гражданина при обработке его персональных данных в Российской Федерации существует Федеральный закон от 27.07.2006 N 152-ФЗ “О персональных данных”.
Согласно пункту 2 статьи 5 обработка персональных данных должна ограничиваться достижением конкретных, заранее определенных и законных целей, а в Читать полностью »
Как было устроено хранилище DWH в TELE2
2019-08-11 в 15:54, admin, рубрики: apex, big data, database design, dwh, edw, oracle, oracle application express, Tele2 Россия, архитектура, база дынных, биллинг, биллинговая система, биллинговые системы, теле2, телекоммуникации и связь, хранение данных, хранилища данных, хранилище данныхЗдравствуйте, дорогие друзья.
Сегодня хочу поделиться историей из жизни, как было устроено хранилище DWH в Tele2 до внедрения КХД (EDW). А в следующих статьях рассказать, как внедрялись ETL-инструменты, EDW и BI решения в Tele2.
Поступил я в ИТ подразделение Tele2 в 2012 в отдел по системам отчетности. На тот момент в компании уже было создано хранилище DWH, на котором уже крутилось много процессов по предоставлению отчетности и не только.
Немного по поводу технического стека, который там использовался на тот момент. Для хранилища использовалась Оракловая база объемом 60-100 Тб сервер T4-4 c оперативой под 1 Тб. Туда загружались данные из различных источников. Но основными из них были 4 оракловые биллинговые базы, которые были по сути платформой тарификации. И был отдел ЕРЦ (Единый расчетный центр), который занимался поддержкой этих баз и предоставлением сервисов. Разделение этих баз было по макрорегионам. Причина: слишком большие объемы. Т.е если абонент звонит, скажем, из Московской сим-карты то и расчет стоимости звонка производится в соответствующем биллинге.