Рубрика «Большие данные»

Нажми кнопку — и поезжай. Эта идея стала началом того, что впоследствии изменило облик городского транспорта, бросило вызов регуляторам по всему миру и превратило Uber в глагол, узнаваемый по всему земному шару.

Сегодня экосистема Uber перевозит не только людей, но и еду, продукты и товары, объединяя миллионы партнёров-водителей и сотни миллионов клиентов — в десятках миллиардов поездок.

От дерзкого нарушителя правил до интегрированного партнёра — таков путь Uber.

Такси до Uber

Читать полностью »

Запросы к БД

Запросы к БД

PostgreSQL против 10 миллионов записей: оптимизация запросов, которая спасла наш проект

Пролог: Когда база данных говорит «нет»

Это был обычный понедельник. Я пил кофе, проверял почту, и вдруг — волна уведомлений в Slack. «Сайт не грузится!», «Отчеты зависли!», «Что происходит?».

Читать полностью »

1. Введение

Рынок BI-инструментов, как и любой другой сильно меняется в последние годы. Все чаще фокус компаний смещается в сторону open-source инструментов по понятным причинам. В этом мире высокая конкуренция - DataLens, Superset, Metabase и т.д. Есть хорошая статья с базовыми сравнениями BI-систем. Прекрасно, чтобы вкатится. Но невозможно в рамках одной статьи рассмотреть преимущества и недостатки каждой BI-системы. Поэтому мы пойдем немного другим путем - посмотрим на то, что выбирают топы рынка РФ, а затем кратко Читать полностью »

Вы когда-нибудь пытались загрузить в память CSV-файл на миллион строк и увидели что-то вроде:

PHP Fatal error:  Allowed memory size of 134217728 bytes exhausted

Даже если увеличить memory_limit, ощущение всё равно неприятное: мы держим в памяти весь массив данных, хотя работаем с ним построчно.

Решение? Ленивые вычисления — подход, при котором данные генерируются и обрабатываются только тогда, когда они реально нужны.
В PHP это можно сделать двумя способами: с помощью генераторов (yield) и через Iterator API. Сегодня разберём оба.

Что такое ленивые вычисления

Читать полностью »

Почему соцсети показывают рекламу так, словно читают мысли? Как случайная фраза превращается в недели демонстрируемого контента? Действительно ли «Большой брат» следит за каждым? Забегая наперед: ваш смартфон вас не прослушивает. Ему это и не надо. Истина оказалась куда хуже, чем в сценарии романа-антиутопии.

Читать полностью »

Привет! Буквально недавно в ИЦ прошло ежегодное мероприятие “Инновационная столица-2024”, где мой коллега, руководитель отдела цифровых сервисов, продемонстрировал обновленный АИС “Мониторинг аварийности”. 

Цифровая карта ДТП не имеет аналогов в России, поэтому в этой статье я бы хотел рассказать, чем так уникален продукт, и как он помогает снижать количество ДТП в городе. 

Для чего был создан сервис

Читать полностью »

Привет! Меня зовут Владимир Казаков, я руковожу продуктом «Обучение» в МТС Линк. А еще я с удовольствием помогаю организовывать и проводить хакатоны — это всегда десятки свежих идей, передающийся от участников драйв, новые контакты и море опыта для будущих разработчиков. Полгода назад в наш рабочий чат внезапно прилетело сообщение: «Ребят, срочно! МИФИ организуют хакатон, нужна задача, желательно отправить сегодня!». Вызов был принят, и мы подготовили задание по работе с большими данными. В этом посте расскажу, чем студенты могут удивить разработчика с 15-летним стажем, в чем их сильные стороны, а что еще надо подтянуть. Читать полностью »

Цифровая трансформация как основа непрерывного улучшения производства - 1

Всем привет! Сегодня в эфире Читать полностью »

Инструменты искусственного интеллекта могут заменить большую часть работы «белых воротничков» начального уровня на Уолл-стрит, поднимая непростые вопросы о будущем финансов.

Худшая часть карьеры на Уолл-стрит, возможно, подходит к концу Инвестиции, Трейдинг, Стартап, Акции, Кризис, Искусственный интеллект, Инвестиции в акции, Длиннопост

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js