Рубрика «bigquery»

Всем привет! Меня зовут Сергей Коньков - я работаю архитектором в компании CloudReports. Сегодня я расскажу, как мы создали продукт, который помогает пользователям работать с данными и в какой-то мере соединяет два мира аналитики: Excel и облачные хранилища данных.

Задача

BigQuery и другие аналитические хранилища в сочетании с современными BI инструментами перевернули работу с данными за последние годы. Возможность обрабатывать терабайты информации за секунды, интерактивные дашборды в DataStudio и PowerBI, сделали работу очень комфортной.

Читать полностью »

image

Мы в Skyeng очень много внимания уделяем анализу данных. Он позволяет нам правильно планировать работу и распределять ресурсы между различными задачами. Сегодня разработчик аналитики Глеб Сологуб расскажет, как он собрал для нас инфраструктуру сбора и анализа данных по всему нашему зоопарку сервисов и приложений, уложившись в годовой бюджет 12 тыс долларов.

Читать полностью »

Статья о впечатлениях перехода с Google Analytics (GA) на Firebase в контексте аналитики для мобильных приложений, а именно игр.

Итак, последовательно по пунктам:

1. Мотив перехода

Google активно продвигает Firebase, как замену GA и в своих апдейтах для Android Studio Firebase становиться неотъемлемой частью среды. Если переходить на последнее SDK, то там по умолчанию есть Firebase (как и Play Services а также и последняя Admob с новейшими функциями нативной и ревардер рекламы), а GA как отдельного пакета уже нет.

Таким образом, обновить старый Андроид проект, например, на последнее рекламное SDK(Admob) от Google без отказа от GA уже не получится.

Вопрос изучения Firebase стал ребром.
Читать полностью »

Привет, Друзья!

Я тут проанализировал 2ТБ кода и получил самые популярные слова в разных языках программирования. Результаты можно посмотреть в виде облаков тегов и простым списком:

image

Сайт находится здесь, а его исходники можно почитать на гитхабе.

Под катом описано в деталях о том как собирались данные, как строился сайт и как укладывались облака. И немножко наблюдений.

Приятного чтения!
Читать полностью »

2,8 млн репозиториев, 3 ТБ исходного кода и метаданных

База свободных репозиториев Github доступна через интерфейс BigQuery - 1

Google в сотрудничестве с Github выложила для общественного пользования полную актуальную базу всех open-source репозиториев через интерфейс BigQuery. (Проверка свободной лицензии осуществляется через API.)

Наборы данных Google BigQuery Public Datasets содержат информацию о более чем 2,8 млн свободных репозиториев, о более чем 2 млрд файлов (исходный код последних версий 163 млн файлов), 145 млн коммитов и т.д. Общий размер базы — около 3 терабайт.

Раньше архивы Github выкладывались на Github Archive. Теперь всё это богатство доступно для полнотекстового поиска и анализа через простые SQL-запросы. Github обещает обновлять наборы данных еженедельно.
Читать полностью »

В этой статье хочу поделиться способом, который позволил нам прекратить хаос с процессингом данных. Раньше я считал этот хаос и последующий ре-процессинг неизбежным, а теперь мы забыли что это такое. Привожу пример реализации на BiqQuery, но трюк довольно универсальный.
Строим надёжный процессинг данных — лямбда архитектура внутри Google BigQuery - 1
У нас вполне стандартный процесс работы с данными. Исходные данные в максимально сыром виде регулярно подгружаются в единое хранилище, в нашем случае в BigQuery. Из одних источников (наш собственный продакшн) данные приходят каждый час, из других (обычно сторонние источники) данные идут ежедневно.

В последствии данные обрабатываются до состояния пригодного к употреблению разнообразными пользователями. Это могут быть внутренние дашборды; отчёты партнёрам; результаты, которые идут в продакшн и влияют на поведение продукта. Эти операции могут быть довольно сложными и включать несколько источников данных. Но по большей части мы с этим справляется внутри BigQuery с помощью SQL+UDF. Результаты сохраняются в отдельные таблицы там же.
Читать полностью »

Сегодня мы представляем сразу несколько новостей, касающихся сервисов Cloud Platform. Вас ждут сниженные и упрощенные тарифы, облачные инструменты DevOps, управляемые виртуальные машины (VM) для App Engine, аналитика Big Data в режиме реального времени с использованием Google BigQuery, и многое другое.

Цены, которым нет равных

Облачные платформы предлагают очень простую формулу: вы пользуетесь виртуальной инфраструктурой и платите только за текущую нагрузку. Это выгоднее по сравнению с приобретением собственного оборудования. Кроме того, вам не нужно платить крупные предварительные взносы. Однако цена облачных платформ противоречит закону Мура: за последние 5 лет она падала всего на 8% в год, хотя за это же время стоимость оборудования снижалась на 20–30%.

Мы решили восстановить равновесие, упростив тарифы и снизив стоимость различных услуг «по требованию» на 30–85%:

  1. Виртуальные машины Compute Engine стали дешевле минимум на 32% независимо от размера, региона и класса.
  2. Тарифы App Engine стали более прозрачными; существенно снизились цены на фронтальные виртуальные машины и операции с базами данных.
  3. Cloud Storage теперь стоит 2,6 цента (0,026$) за 1 ГБ (в среднем на 68% ниже для большинства клиентов).
  4. Тариф BigQuery «по требованию» подешевел на 85%.

Читать полностью »

Коммерческие предприятия постоянно получают огромные объемы данных от сетевых приложений, совершающих множество транзакций, обслуживающих миллионы людей и постоянно растущее число подключенных устройств. Важнейшее условие сохранения конкурентоспособности — способность быстро реагировать на изменения в этих данных. В то же время, компании занимаются сбором, хранением и анализом больших объемов информации, иногда сотен гигабайт в день, используя системы, которые просто не способны справиться с подобным темпом работы.

Мы создали BigQuery, чтобы помочь коммерческим предприятиям справиться с этой проблемой без необходимости инвестировать в сложное дорогостоящее оборудование. Представляем две новые функции, которые смогут упростить их задачу.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js