Рубрика «big data» - 109

в 17:08, , рубрики: big data, data mining, twitter, twitter api, фолловеры

Предположим есть аккаунт в Твиттере, в который пишут на достаточно ограниченный круг тем, на который подписано несколько сотен или тысяч человек. Как понять какая доля аудитории ещё не охвачена? Как найти этих людей?

Для примера рассмотрим аккаунт @Russia_Direct. Это небольшое издание, которое освещает события в России для англоязычных читателей. Что-то типа Russia Today, но с более глубокими и академичными материалами.

Поиск потенциальных фолловеров в Твиттере - 1

Сейчас на них подписаны ~4000 человек — студенты, журналисты, преподаватели университетов:

Поиск потенциальных фолловеров в Твиттере - 2
Читать полностью »

в 12:21, , рубрики: bayesian optimization, big data, classification, github, large scale machine learning, vowpal wabbit, Алгоритмы, байесовская оптимизация, Блог компании DCA (Data-Centric Alliance), гиперпараметры, машинное обучение, метки: , , , , ,

Привет! В этой статье речь пойдет о таком не очень приятном аспекте машинного обучения, как оптимизация гиперпараметров. Две недели назад в очень известный и полезный проект Vowpal Wabbit был влит модуль vw-hyperopt.py, умеющий находить хорошие конфигурации гиперпараметров моделей Vowpal Wabbit в пространствах большой размерности. Модуль был разработан внутри DCA (Data-Centric Alliance).

Оптимизация гиперпараметров в Vowpal Wabbit с помощью нового модуля vw-hyperopt - 1


Для поиска хороших конфигураций vw-hyperopt использует алгоритмы из питоновской библиотеки Hyperopt и может оптимизировать гиперпараметры адаптивно с помощью метода Tree-Structured Parzen Estimators (TPE). Это позволяет находить лучшие оптимумы, чем простой grid search, при равном количестве итераций.

Эта статья будет интересна всем, кто имеет дело с Vowpal Wabbit, и особенно тем, кто досадовал на отсутствие в исходном коде способов тюнинга многочисленных ручек моделей, и либо тюнил их вручную, либо кодил оптимизацию самостоятельно.
Читать полностью »

в 10:10, , рубрики: big data, columnar database, data mining, olap, базы данных, Блог компании Яндекс, веб-аналитика, высокая производительность, структуры данных, хранение данных, яндекс, яндекс.метрика

Яндекс.Метрика сегодня это не только система веб-аналитики, но и AppMetrica — система аналитики для приложений. На входе в Метрику мы имеем поток данных — событий, происходящих на сайтах или в приложениях. Наша задача — обработать эти данные и представить их в подходящем для анализа виде.

Эволюция структур данных в Яндекс.Метрике - 1

Но обработка данных — это не проблема. Проблема в том, как и в каком виде сохранять результаты обработки, чтобы с ними можно было удобно работать. В процессе разработки нам приходилось несколько раз полностью менять подход к организации хранения данных. Мы начинали с таблиц MyISAM, использовали LSM-деревья и в конце концов пришли к column-oriented базе данных. В этой статье я хочу рассказать, что нас вынуждало это делать.

Яндекс.Метрика работает с 2008 года — более семи лет. Каждый раз изменение подхода к хранению данных было обусловлено тем, что то или иное решение работало слишком плохо — с недостаточным запасом по производительности, недостаточно надёжно и с большим количеством проблем при эксплуатации, использовало слишком много вычислительных ресурсов, или же просто не позволяло нам реализовать то, что мы хотим.
Читать полностью »

в 10:33, , рубрики: big data, data mining, kaggle, R, sna, Алгоритмы, алгоритмы обработки данных, анализ данных, анализ социальных сетей, Блог компании ВымпелКом (Билайн), машинное обучение, рекомендательные системы, школа данных

Фестиваль данных в музее Москвы, или как Big Data помогает жить и работать - 1

Привет Хабр,

Если вам давно было интересно, как Big Data применяется в разных областях бизнеса, науки и государственного управления и это хотелось услышать от самих людей, которые этим занимаются, то добро пожаловать на Фестиваль Данных, который будет проходить 19 декабря на Выставке Высоких Технологий SMIT в Музее Москвы.

В течение нескольких часов работы Фестиваля ведущие эксперты отрасли из Yandex, Школы Данных «Билайн», Data-Centric Alliance, Авито, ГУП «НИ и ПИ Генплана Москвы, НИУ ВШЭ расскажут гостям выставки о перспективах использования анализа данных в ближайшие несколько лет.
Читать полностью »

в 10:51, , рубрики: big data, mongodb, nosql, Администрирование баз данных, базы данных

Релиз mongodb 3.2 немного подробностей - 1
На днях вышел новый стабильный релиз mongodb. В этой версии был добавлен ряд нововведений таких как новый GUI для визуальной работы с mongodb, LEFT JOIN, валидация документа и т.д. некоторые из этих свойств мы и рассмотрим на небольших примерах ниже.

Читать полностью »

в 9:30, , рубрики: big data, sap, бизнес-модели, Исследования и прогнозы в IT, облачные технологии, онлайн-сервисы, Сбербанк, сервисы B2B, финансовые услуги, финансы в IT

Немецкий разработчик программного обеспечения SAP и Национальное агентство финансовых исследований (НАФИ) выяснили, что в 2016 году доля расходов российских банков на облачные сервисы возрастет с 5 до 10% IT-бюджетов.

В 2 раза вырастут и абсолютные затраты банков на облачные технологии, сообщила гендиректор агентства Гузелия Имаева. По данным SAP, в 2015 году они составят $51 миллион.

Исследователи опросили 250 экспертов из банковского сектора. По их мнению, главный фактор развития IT в банках – растущая популярность мобильных сервисов. В последнее время банки все больше операций (включая обслуживание юридических и физических лиц) осуществляют через интернет-каналы. В то время как ранее интернет-сервисы играли вспомогательную роль. Более того, тенденция развивается, и банки уже ищут и находят способы использовать аналитику больших данных. Например, технологии Big Data позволяют организовать точечные продажи. Читать полностью »

в 19:58, , рубрики: big data, анализ данных, бизнес-модели, Большие данные, Медиа, Монетизация IT-систем, обработка данных, платные видеосервисы, прогноз оттока клиентов, Ростелеком, спутник

«Ростелеком» открыл технологический центр в области обработки больших данных для прогнозирования оттока клиентов, расширения тарифной линейки и оптимизации услуг компании. Оператор в 2015 году планировал инвестировать в направление Big Data до 800 миллионов рублей, пишет «Коммерсант».
Читать полностью »

в 9:43, , рубрики: big data, запуск, кейсы, яндекс.погода, метки: , , ,

Яндекс сделал детализацию прогноза погоды с точностью вплоть до отдельных районов города или села. В основе прогноза на технологии Meteum лежат снимки атмосферы с метеорологических спутников, показатели метеостанций на земле, расчёты метеоагентств. Яндекс консолидирует данные разных источников и делает собственный прогноз. При этом доступные пользователям результаты намного более точны, Читать полностью »

в 10:08, , рубрики: big data, Большие данные, инвестиции в стартапы, российский рынок, Ростелеком, слияния и поглощения, яндекс

«Ростелеком» выкупит 75% акций российского разработчика ЗАО «Айкумен Ибс» за 525 миллионов рублей (почти $8 млн по курсу на 25 ноября 2015 года). Остальные 25% останутся у основателя и топ-менеджеров компании. Известно, что совет директоров «Ростелекома» уже одобрил эту сделку. Разработчик технологий для анализа «больших данных» «Айкумен Ибс» является портфельным проектом компании Sferiq Capital.

«Покупка разработчика «Айкумен Ибс» позволит реализовать ряд синергетических эффектов с нашим основным бизнесом, в том числе за счет использования технологий Big Data для повышения операционной эффективности, мониторинга качества оказываемых услуг, сегментации клиентской базы, персонификации предложений и многого другого», рассказала изданию RUSBASE старший вице-президент «Ростелекома» Мария Флорентьева.

Cделка позволит «Ростелекому» «выйти на перспективный рынок с двузначными темпами роста на горизонте ближайших пяти лет». По данным «Ростелекома», среднегодовой темп роста российского рынка Big Data в 2014-2018 годах составит 35%. Читать полностью »

в 10:15, , рубрики: big data, ibs, акселератор, Большие данные, венчурные инвестиции, инвестиции в стартапы, Монетизация IT-систем, Развитие стартапа, российский рынок, фрии, яндекс

У стратегических инвесторов Фонда развития интернет-инициатив (ФРИИ) возникли задачи, требующие анализа больших массивов данных (big data). В соответствии с их пожеланиями ФРИИ инвестирует 0,5 миллиарда рублей в развитие стартапов в этой сфере. ФРИИ создаст так называемую лабораторию «больших данных», которая займется технологическим развитием стартапов: помощью в найме нужных сотрудников, закупке и настройке оборудования, развитии программных продуктов.

В ближайшие несколько лет фонд готов инвестировать в начинающие проекты до 2 миллионов рублей в обмен на долю в 7%. Максимальная сумма, которую ФРИИ может вложить в один проект с проверенной бизнес-моделью, – 324 миллиона рублей в обмен на долю до 50% компании, рассказывает представитель ФРИИ Сергей Скрипников. По его словам, сейчас фонд нашел уже четыре прикладные задачи, которые хотят решить стратегические инвесторы. ФРИИ планирует вложиться в несколько десятков стартапов.

Лабораторию больших данных во ФРИИ возглавит Анатолий Орлов, проработавший в «Яндексе» 10 лет и покинувший компанию в сентябре. После своего увольнения из крупнейшей российской интернет-компании он заявлял, что ищет «проект второй половины жизни», а просто работа за деньги его не интересует.Читать полностью »

1...1020...108109110...120130...147
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js