Рубрика «BigData»

в 8:15, , рубрики: BigData, etl, Excel, бюджетирование, ит-системы, совместная работа, требования к системе, финансовый план

В условиях глобальной неопределенности финансовое планирование и бюджетирование перестает быть ритуалом подготовки отчетов – сегодня это живой процесс, который определяет жизнеспособность компании, развивая базовые подходы в комплексную систему интегрированного планирования.

Бюджетирование – очень важная, интересная и нетривиальная задача, которую в современном мире принято решать при помощи автоматизации. Если еще 5 лет назад в системе бюджетирования видели инструмент консолидации и план-факт анализа, то сегодня это комплексная высокотехнологична модель бизнеса.

Читать полностью »

в 5:15, , рубрики: BigData, huggingface, ml, recsys, recsys challenge 2025, vk-lsvd, Большие данные, коллаборативная фильтрация, рекомендации контента

Введение

В декабре 2025 года VK провёл RecSys Challenge LSVD — соревнование по машинному обучению с нестандартной постановкой задачи. Традиционные рекомендательные системы решают проблему "что показать пользователю", но здесь требовалось обратное: для каждого нового клипа определить, каким пользователям он может быть интересен. Такой подход помогает решать проблему холодного старта контента, когда новое видео только появляется в системе и не имеет истории взаимодействий.

Я принял участие в этом челлендже и хочу поделиться своим решением, архитектурой системы и практическими выводами.

Постановка задачи и данные

Читать полностью »

в 19:54, , рубрики: analysis, BigData, python, животные, питомцы, пропажа

в 6:16, , рубрики: acid, BigData, CDC, opensearch, pgvector, postgis, postgresql, архитектура, индексация, поиск

в 5:58, , рубрики: BigData, uber, автономия, Алгоритмы, беспилотный автомобиль, Большие данные, доставка еды, такси, шеринг-экономика, экосистема

Нажми кнопку — и поезжай. Эта идея стала началом того, что впоследствии изменило облик городского транспорта, бросило вызов регуляторам по всему миру и превратило Uber в глагол, узнаваемый по всему земному шару.

Сегодня экосистема Uber перевозит не только людей, но и еду, продукты и товары, объединяя миллионы партнёров-водителей и сотни миллионов клиентов — в десятках миллиардов поездок.

От дерзкого нарушителя правил до интегрированного партнёра — таков путь Uber.

Такси до Uber

Читать полностью »

в 14:16, , рубрики: BigData, explain analyze, postgresql, sql, базы данных, Большие данные, индексирование, индексы, оптимизация запросов, производительность
Запросы к БД

Запросы к БД

PostgreSQL против 10 миллионов записей: оптимизация запросов, которая спасла наш проект

Пролог: Когда база данных говорит «нет»

Это был обычный понедельник. Я пил кофе, проверял почту, и вдруг — волна уведомлений в Slack. «Сайт не грузится!», «Отчеты зависли!», «Что происходит?».

Читать полностью »

в 12:01, , рубрики: BigData, teamly, аналитика данных, база знаний, умный поиск

Вы когда-нибудь открывали папку «Архив_2017», чтобы среди файлов вроде «отчет_финал_второй_финал.xls» найти нечто, от чего зависит судьба проекта? А бывало в вашей компании такое, когда директора спорили на совещаниях: «Интуиция подсказывает — этот клиент уйдёт» — «А у нас цифры говорят, что останется»?

Читать полностью »

в 6:15, , рубрики: big data, BigData, data engineering, data quality, data warehouse, DataLake, etl, warehouse

В русскоязычной части интернета присутствует много статей по теме паттернов разработки, однако я не нашел никакой информации о паттернах работы с данными.

В данной статье я хочу рассказать о паттерне Write-Audit-Publish, о предпосылках его появления, а также наглядно рассмотреть как он работает.

История зарождения

С момента появления концепции data lake, компании старались собирать как можно данных, иногда не слишком задумываясь об их качестве. Появилось четкое понимание, что данные "когда-нибудь" могут быть использованы. Так, согласно исследованиям market.usЧитать полностью »

в 16:06, , рубрики: BigData, computer vision, data science, python, pytorch, медицина, медицина будущего, педагогика, психиатрия, психология

в 13:15, , рубрики: BigData, COSMOS-Web, астрономия, Вселенная, космос, Научно-популярное

В июне 2025 года астрономы всего мира получили доступ к огромному массиву данных от телескопа Джеймс Уэбб (JWST). Проект COSMOS-Web, поддерживаемый NASA, выложил в открытый доступ 1,5 терабайта информации со снимками, фотометрическими каталогами и интерактивными инструментами для изучения глубокого космоса. Open-source-модель исследований, которая лежит в основе проекта, обещает «сделать звезды ближе» для всех нас. Разберемся, что это за данные, почему они важны и как меняют подход к науке.

Читать полностью »
123...10...11
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js