Несмотря на отсутствие интереса у широкой публики к диковинной библиотеке из мира физики, продолжу обещанный рассказ о том, как можно применять полученную модель на практике, заодно попытаюсь более подробно раскрыть тему эксклюзивности TMVA.
Допустим, Вы работаете в проекте, требующем максимального быстродействия системы (геймдев, картографический сервис или же данные с коллайдера), тогда очевидно, что Ваш код написан на языке, который предельно близок к железу — C/C++. И однажды возникает необходимость добавить к сервису какую-то математику в зависимости от потребностей проекта. Обычно взгляд падает на змеиный язык, который имеет множество удобных математических библиотек для прототипирования идей, но при этом бесполезном в работе с действительно большим объёмом данных и поедающем словно удав все ресурсы машины.Читать полностью »
Рубрика «big data» - 95
Машинное обучение с помощью TMVA. Reader модели
2016-08-04 в 22:34, admin, рубрики: big data, c++, data mining, open source, машинное обучениеDeep Learning — что же делать, кого бить
2016-08-03 в 17:08, admin, рубрики: big data, BigData, deep learning, машинное обучениеНигде, наверно, нет такой насущной необходимости в синергии знаний разных областей науки — как в области машинного обучения и Deep Learning. Достаточно открыть капот TensorFlow и ужаснуться — огромное количество кода на python, работающее с тензорами внутри… C++, вперемешку с numpy, для выкладки в продакшн требующее чуток покодить «на плюсах», вприкуску с bazel (это так волнует, всю жизнь мечтал об этом!). И другая крайность — ребята из Deeplearning4j прокляли python к чертовой матери и вращают тензоры на старой и доброй java. Но дальше всех ушли, похоже, студенты из университета Нью-Йорка — люди, причем не только студенты, причем давно и серьезно жгут на Luajit + nginx (аминь по католически). Ситуация осложняется недавним демаршем Google DeepMind в отношении «дедушки torch»: все проекты переводят на свой внутренний движок, родившийся из DistBelief.
Полнейший хаос и бардак.
Читать полностью »
СМИ объединяются для борьбы с интернет-гигантами
2016-08-03 в 16:05, admin, рубрики: big data, Facebook, google news, издательский бизнес, контекстная реклама, Медиа, Монетизация веб-сервисов, реклама, сми в интернете, социальные сети, таргетинг
Изображение с сайта clever-dm.ru
Социальные сети, поисковые системы и прочие интернет-сервисы стали эффективными каналами распространения информации с точки зрения рекламодателей. Но заработок изданий и прочих представителей СМИ также зависит от лояльности рекламодателей.
А с тех пор, как Facebook и Google стали активно размещать новостные материалы в Facebook Instant Articles и Google News, ситуация накалилась еще больше. Рекламодатели посчитали, что нет смысла размещать рекламу на сайтах СМИ, если рекламную кампанию можно сделать эффективнее, заказав ее у Facebook или Google.
Instant Articles был запущен в мае 2015 года. После этого Facebook привлек к сотрудничеству несколько сотен изданий по всему миру, чтобы использовать их материалы.
Платформа Instant Articles предназначена для пользователей мобильных устройств, чтобы они могли быстро открывать материалы, загружаемые СМИ, не покидая соцсеть.
После этого СМИ поняли, что у них есть шанс получить за это денежную компенсацию как утешительный приз в связи с потерей рекламодателей.Читать полностью »
Это данные, тупица, и почему администраторы баз данных важны как никогда?
2016-07-29 в 10:06, admin, рубрики: big data, IT-стандарты, nosql, sql, администрирование, базы данных
«Специализированные базы данных, облачные технологии и DevOps не упраздняют роль администраторов, а наоборот – расширяют их функции. Возможно, дело уже не только в таблицах. Но роль администратора БД до сих пор важна, даже если у этой профессии нет названия». Син Галагер
В воображении тех из нас, кто слишком долго работает в сфере информационных технологий, должность «администратор БД» («АБД») порождает довольно-таки специфические образы. Мы представляем кого-то, рвущего на себе волосы из-за проблем с бэкапами (резервными копиями), глюков со снимками файловой системы (снапшотами), вышедших из-под контроля схем, сорванных планов наращивания мощностей в связи с новыми требованиями приложений, вялотекущих запросов и вечных настроек производительности.
Все эти функции админов старой закалки ещё кое-где встречаются, особенно на крупных предприятиях, где гигантские кластеры баз данных по-прежнему правят дата-центрами. Но виртуализация, облачные хранилища данных, микросервисы, DevOps-подход к разработке и запуску приложений и ряд других факторов существенно изменили то, как организации хранят свои данные и управляют ими. Многие традиционные роли администратора БД представляются спорными в том счастливом новом мире, который обещает нам новое поколение баз данных.
Читать полностью »
Сообщество экспертов, совместная работа над проектами и другие обновления платформы FlyElephant
2016-07-27 в 6:51, admin, рубрики: big data, blender, c++, docker, FlyElephant, gcc, gromacs, HPC, java, Julia, jupyter, Microsoft Azure, octave, OpenFOAM, openmp, python, R, SciLab, Блог компании FlyElephant, высокая производительность, научные расчёты, Облачные вычисления, параллельное программирование, стартапы
Команда FlyElephant рада анонсировать релиз платформы FlyElephant 2.0, в который вошли следующие обновления: внутреннее сообщество экспертов, совместная работа над проектами, публичные задачи, поддержка Docker и Jupyter, новое хранилище данных и работа с HPC кластерами.
FlyElephant — платформа для исследователей данных, инженеров и ученых, которая предоставляет готовую вычислительную инфраструктуру для проведения высокопроизводительных вычислений и рендеринга, помогает находить партнеров и совместно работать над проектами, а также управлять всеми ресурсами из одного места. Платформа состоит из 3-х основных компонентов:
- Compute. Быстрый доступ к вычислительному кластеру в облаке с нужным программным обеспечением или HPC кластеру, а также автоматизация проведения расчетов.
- Collaborate. Совместная работа над проектами и сообщество экспертов, где можно найти партнеров, чтобы вместе решить сложную задачу или получить квалифицированную консультацию.
- Manage. Управление лицензиями, программным обеспечением, вычислительными ресурсами, шаблонами, алгоритмами, данными и результаты в одном месте.
Среди нововведений отметим следующие:
Читать полностью »
Mail.ru Group — как и «Яндекс» — помогает финансистам с Big Data, но есть нюанс
2016-07-25 в 10:38, admin, рубрики: big data, mail.ru group, Yandex Data Factory, банки, инвестиции, кейсы, Текучка, финтех, метки: big data, mail.ru group, Yandex Data Factory, банки, инвестиции, кейсы, Текучка, ФинтехMail.ru Group разработала модель оценки кредитных рисков для бюро кредитных историй «Эквифакс». Это первый продукт направления big data. Об этом говорится в сообщении компании.
Mail.ru Group анонсировала направление big data в январе 2016 года. Отдел занимается построением математических моделей, проведением маркетинговых исследований, консалтингом и работой с большими данными. Деньги Mail.ru Group получает по подписочной модели, Читать полностью »
Strata + Hadoop 2016 review
2016-07-22 в 7:43, admin, рубрики: Apache Spark, big data, Business Intelligence, Hadoop, review, Блог компании Badoo, высокая производительность, конференции, Программирование
В последний год в Badoo стали очень активно использовать связку Hadoop + Spark и построили свою систему сбора и обработки десятков миллионов метрик при помощи Spark Streaming.
Для того чтобы расширить наши знания и познакомиться с последними новинками в этой сфере, в конце мая этого года разработчики отдела BI (Business Intelligence) отправились в Лондон, где проходила очередная конференция серии Hadoop + Strata, посвященная широкому спектру вопросов в области машинного обучения, обработки и анализа больших данных.
Читать полностью »
Создание собственного приложения для обработки графов в Giraph
2016-07-19 в 9:27, admin, рубрики: big data, giraph, java, Алгоритмы, Блог компании Mail.Ru Group, графы, метки: giraph
Be my friend by oosDesign
Перед крупными интернет-компаниями часто встают такие сложные задачи, как обработка больших данных и анализ графов социальных сетей. Помогают в их решении фреймворки, но сперва необходимо проанализировать возможные варианты и выбрать подходящий. В лаборатории при Техносфере Mail.Ru мы изучаем эти вопросы на реальных примерах из проектов Mail.Ru Group (myTarget, Поиск Mail.Ru, Антиспам). Задачи могут быть как сугубо практические, так и с исследовательской составляющей. По мотивам одной из таких задач и появилась эта статья.
Во время сборки и запуска своего первого проекта на Giraph сотрудники лаборатории анализа данных Техносферы Mail.Ru столкнулись с рядом проблем, в связи с чем родилась идея написать краткий туториал, как же собрать и запустить свой первый Giraph-проект.
В этой статье мы расскажем, как создавать свои приложения под фреймворк Giraph, который является надстройкой над популярной системой обработки данных Hadoop.
Читать полностью »
Big Data от A до Я. Часть 5.2: Продвинутые возможности hive
2016-07-18 в 11:12, admin, рубрики: big data, Hive, MapReduce, Блог компании DCA (Data-Centric Alliance)Привет! В этой статье мы продолжим рассматривать возможности hive — движка, транслирующего SQL-like запросы в MapReduce задачи.
В предыдущей статье мы рассмотрели базовые возможности hive, такие как создание таблиц, загрузка данных, выполнение простых SELECT-запросов. Теперь поговорим о продвинутых возможностях, которые позволят выжимать максимум из Hive.
Что такое большие данные, часть 1
2016-07-15 в 10:14, admin, рубрики: amazon, big data, data mining, sql, Администрирование баз данных, Большие данные, информация, история, хранение данных
Большие данные — это Большие Новости, Большая Важность и Большой Бизнес, но что это на самом деле? Что такое большие данные? Для тех, кто живёт ими, всё очевидно, а я просто тупица — задавать подобные вопросы. Но те, кто живёт ими, считают большинство людей глупыми, верно? Поэтому в начале я хочу поговорить с теми читателями, которые, как и я, не в теме. Что это вообще такое? На этой неделе я планирую хорошенько исследовать этот вопрос, и, скорее всего, опубликовать три длинных статьи (прим. переводчика: переводы следующих двух частей выйдут в ближайшие дни).Читать полностью »