Рубрика «big data»
Avalon: как построить эффективный Feature Store на YDB
2026-05-08 в 11:06, admin, рубрики: big data, feature store, ydb, архитектура, СУБД
Применение Data Science в цифровом производстве
2026-04-17 в 7:15, admin, рубрики: big data, data science, жизненный цикл изделия, цифровая нить, цифровое производство, цифровой двойникЦифровое производство: принципы, данные и роль Data Science
2026-04-17 в 7:15, admin, рубрики: big data, data science, жизненный цикл изделия, машиностроение, производство, промышленность, цифровая нить, цифровое производство, цифровой двойникПиплметры: зомби из 90-х как основа рекламного рынка на ТВ
2026-03-30 в 12:15, admin, рубрики: big data, Mediascope, аналитика, история технологий, медиаизмерения, пиплметры, рейтинги, социология, телевидение, телесмотрение
Новые пути наверх
2026-03-22 в 11:15, admin, рубрики: big data, data-driven, open source, будущее it, искусственный интеллект, Кризис смыслов, социальная инженерия, Трансактный анали, Цифровая диктатураВ IT-сообществе принято считать, что мы живем в золотой век меритократии. Ты учишь стек, приносишь пользу бизнесу, растешь в грейдах и капитализируешь свои знания. Но если присмотреться к трансформации рынков за последние 10 лет, становится заметно: старые правила «капитализма свободных агентов» заменяются чем-то, что больше напоминает неосословную иерархию.
Сегодня ты не просто создаешь продукт — ты арендуешь право на существование у владельца инфраструктуры. Давайте разберем, как изменились социальные лифты в мире, где контроль над «облаком» стал важнее владения заводами.
Читать полностью »
Как перевернуло машину на пустом месте и при чем тут Big Data, компьютерное зрение и предиктивная аналитика
2026-03-16 в 9:15, admin, рубрики: ADAS, big data, IoT, V2X, Беспроводные технологии, Интернет вещей, Компьютерное зрение, машинное обучение, предиктивная аналитикаПривет. Этой статьей я открываю сезон, который многие называют «зимняя романтика и гололед», а я теперь буду называть сезоном «внезапной наледи в тени леса».
В выходные мой хороший друг решил прокатиться за город. Скорость была абсолютно штатная, даже чуть ниже разрешенной – около 80 км/ч. Асфальт сухой, солнце слепит глаза, в машине играет приятный подкаст. И тут – въезд в тень лесополосы. Обычно он знает, что там может быть сыро, но в этот раз природа подготовила сюрприз в виде наледи.
ClickHouse: MergeTree с нуля
2026-02-18 в 14:15, admin, рубрики: big data, clickhouse, data engineering, MergeTree, sql, tutorial, СУБД, хранилища данныхПривет!
Меня зовут Натаров Иван. Я занимаюсь вопросами обработки, анализа и визуализации данных.
ClickHouse сегодня стал стандартом де-факто для аналитических задач, но часто начинающие специалисты тратят слишком много времени на погружение в технологию. Документация зачастую дает либо слишком поверхностное объяснение, либо уходит в технические детали, которые сложны для восприятия новичками.
В этой статье мы разберем фундамент ClickHouse - движок MergeTreeЧитать полностью »
Аналитическая инфраструктура для сбора и исследования данных Steam: архитектура, пайплайны, результаты
2025-12-23 в 13:16, admin, рубрики: big data, Steam, Steam Web API, анализ данныхSteam — одна из крупнейших платформ цифровой дистрибуции игр, и одновременно огромный источник данных: каталоги игр, отзывы, достижения, ценовые метрики, активность игроков, региональные различия и многое другое. Однако прямого доступа к агрегированным данным у исследователей нет — их необходимо собирать вручную через Steam Web API и сторонние сервисы.
В этом проекте мы разработали полноценный программный комплекс для автоматизированного сбора, хранения и анализа данных SteamЧитать полностью »
Расширяем функционал Apache NiFi 2.0: руководство к написанию своего процессора
2025-11-23 в 16:31, admin, рубрики: apache nifi, big data, etl, javaПривет!
Потоки данных между системами стабильно увеличиваются, и в обозримом будущем эта тенденция вряд ли изменится, что создает постоянную потребность в инструментах для работы с данными.
Apache NiFi — программный продукт с открытым исходным кодом, написанный на языке Java, предназначенный для автоматизации потоков данных между системами. Главная его задача: организовывать ETL‑процессы. На GitHub у Apache NiFi имеется 5.9 тысяч звезд.
Для тех, кто не знает, что такое Apache NiFi советую прочитать отличную статью.