Иногда legacy живёт в компании годами не потому, что он плох, а потому что «работает — не трогай». Но однажды появляется триггер, который заставляет переосмыслить подход. В нашем случае таким триггером стала миграция на Kafka 4.0.
Рубрика «BigData»
Event Sourcing в платформе данных: миграция с JSON на Avro
2026-06-29 в 11:12, admin, рубрики: BigData, ingestТоп-10 требований к ИТ-системе бюджетирования
2026-04-27 в 8:15, admin, рубрики: BigData, etl, Excel, бюджетирование, ит-системы, совместная работа, требования к системе, финансовый планВ условиях глобальной неопределенности финансовое планирование и бюджетирование перестает быть ритуалом подготовки отчетов – сегодня это живой процесс, который определяет жизнеспособность компании, развивая базовые подходы в комплексную систему интегрированного планирования.
Бюджетирование – очень важная, интересная и нетривиальная задача, которую в современном мире принято решать при помощи автоматизации. Если еще 5 лет назад в системе бюджетирования видели инструмент консолидации и план-факт анализа, то сегодня это комплексная высокотехнологична модель бизнеса.
Решение обратной задачи рекомендаций: опыт участия в VK RecSys Challenge
2026-01-19 в 5:15, admin, рубрики: BigData, huggingface, ml, recsys, recsys challenge 2025, vk-lsvd, Большие данные, коллаборативная фильтрация, рекомендации контентаВведение
В декабре 2025 года VK провёл RecSys Challenge LSVD — соревнование по машинному обучению с нестандартной постановкой задачи. Традиционные рекомендательные системы решают проблему "что показать пользователю", но здесь требовалось обратное: для каждого нового клипа определить, каким пользователям он может быть интересен. Такой подход помогает решать проблему холодного старта контента, когда новое видео только появляется в системе и не имеет истории взаимодействий.
Я принял участие в этом челлендже и хочу поделиться своим решением, архитектурой системы и практическими выводами.
Постановка задачи и данные
Анализ данных с сайта Pet911
2025-12-13 в 19:54, admin, рубрики: analysis, BigData, python, животные, питомцы, пропажа
Когда база устала искать: архитектура OpenSearch для больших данных
2025-10-29 в 6:16, admin, рубрики: acid, BigData, CDC, opensearch, pgvector, postgis, postgresql, архитектура, индексация, поискВам куда? История Uber
2025-10-19 в 5:58, admin, рубрики: BigData, uber, автономия, Алгоритмы, беспилотный автомобиль, Большие данные, доставка еды, такси, шеринг-экономика, экосистемаНажми кнопку — и поезжай. Эта идея стала началом того, что впоследствии изменило облик городского транспорта, бросило вызов регуляторам по всему миру и превратило Uber в глагол, узнаваемый по всему земному шару.
Сегодня экосистема Uber перевозит не только людей, но и еду, продукты и товары, объединяя миллионы партнёров-водителей и сотни миллионов клиентов — в десятках миллиардов поездок.
От дерзкого нарушителя правил до интегрированного партнёра — таков путь Uber.
Такси до Uber
PostgreSQL против 10 миллионов записей: оптимизация запросов, которая спасла наш проект
2025-10-03 в 14:16, admin, рубрики: BigData, explain analyze, postgresql, sql, базы данных, Большие данные, индексирование, индексы, оптимизация запросов, производительность
PostgreSQL против 10 миллионов записей: оптимизация запросов, которая спасла наш проект
Пролог: Когда база данных говорит «нет»
Это был обычный понедельник. Я пил кофе, проверял почту, и вдруг — волна уведомлений в Slack. «Сайт не грузится!», «Отчеты зависли!», «Что происходит?».
От Excel до ИИ: зачем бизнесу переходить на Smart Analytics
2025-09-05 в 12:01, admin, рубрики: BigData, teamly, аналитика данных, база знаний, умный поискВы когда-нибудь открывали папку «Архив_2017», чтобы среди файлов вроде «отчет_финал_второй_финал.xls» найти нечто, от чего зависит судьба проекта? А бывало в вашей компании такое, когда директора спорили на совещаниях: «Интуиция подсказывает — этот клиент уйдёт» — «А у нас цифры говорят, что останется»?
WAP паттерн в data-engineering
2025-08-16 в 6:15, admin, рубрики: big data, BigData, data engineering, data quality, data warehouse, DataLake, etl, warehouseВ русскоязычной части интернета присутствует много статей по теме паттернов разработки, однако я не нашел никакой информации о паттернах работы с данными.
В данной статье я хочу рассказать о паттерне Write-Audit-Publish, о предпосылках его появления, а также наглядно рассмотреть как он работает.
История зарождения
С момента появления концепции data lake, компании старались собирать как можно данных, иногда не слишком задумываясь об их качестве. Появилось четкое понимание, что данные "когда-нибудь" могут быть использованы. Так, согласно исследованиям market.usЧитать полностью »
