Рубрика «big data» - 113

Consumer Electronics Show (CES) ежегодно привлекает 3000+ компаний — участников выставки и 150-160 тысяч посетителей и размещает их в нескольких комплексах. Центральным считается Las Vegas Convention Center (LVCC), где на нескольких этажах располагаются корпорации типа Samsung и Sony. Однако в этом году меня поразили на CES не огромные кривые зеркала (извините, телевизоры), не стаи самокоординирующихся дронов, не невесомые ноутбуки от больших корпораций, а маленькие компании, делающие маленькие вещи с большим потенциалом, которые разместили в небольшом (по сравнению с LVCC) выставочном зале Sands.

CES 2015 глазами программиста - 1

Думаю, не будет преувеличением, что в этом году произошел взрыв IoT. Если до этого IoT скромно ютилось на немногочисленных разрозненных стендах, теперь оно заняло чуть ли не целый выставочный комплекс, где можно было увидеть десятки умных часов, роботы, умеющие управлять домом и даже готовить, 3D-принтеры, фитнесс-устройства, измерители композиции мышц, жира, плотности костей, умные кровати, всевозможные wearables и даже hearables. IDC предсказывает, что к 2020 году рынок IoT будет измеряться уже в триллионах.

Это, конечно, очень интересно для нас — потребителей, но что это значит для нас — программистов?
Читать полностью »

Привет!

Social Network Analysis: Spark GraphX - 1

Сегодня мы подробно познакомимся с задачами Анализа Социальных Сетей (SNA), а также закончим обзор библиотеки Apache Spark, предназначенной для анализа Больших Данных. А именно, как и было обещано в предыдущих статьях (раз и два) мы рассмотрим одну из компонент Apache Spark, предназначенную для анализа графов — GraphX. Постараемся понять, как в этой библиотеке реализовано распределенное хранение графов и вычисления на них. А также покажем на конкретных примерах, как данная библиотека может использоваться на практике: поиск спама, ранжирование поисковой выдачи, выделение сообществ в социальных сетях, поиск лидеров мнения — далеко не полный список применений методов анализа графов.
Читать полностью »

«Чтоб тебе жить в эпоху перемен» — весьма лаконичное и вполне понятное проклятие для человека скажем старше 30 лет. Современный этап развития человечества сделал нас невольными свидетелями уникальной «эпохи перемен». И тут даже играет роль не то что бы масштаб современного научного прогресса, по значимости для цивилизации переход от каменных орудий труда к медным очевидно был куда более знаковым, нежели удвоение вычислительных способностей процессора, которое само по себе будет явно более технологичным. Та огромная, все нарастающая скорость изменений в техническом развитии мира просто обескураживает. Если еще лет сто назад каждый уважаемый себя джентльмен просто обязан был быть в курсе всех «новинок» мира науки и техники, чтоб не выглядеть в глазах своего окружения глупцом и деревенщиной, то сейчас учитывая объемы и скорость порождения этих «новинок» отслеживать их всецело просто невозможно, даже вопрос так не ставится. Инфляция технологий, еще до недавно не мыслимых, и связанных с ними возможностей человека, фактически убили прекрасное направление в литературе – «Техническая фантастика». В ней отпала нужда, будущее стало многократно ближе, чем, когда либо, задуманный рассказ о «чудесной технологии» рискует дойти до читателя позже, нежели что-то подобное уже будет сходить с конвейеров НИИ.

Прогресс технической мысли человека всегда наиболее быстро отображался именно в сфере информационных технологий. Способы сбора, хранения, систематизации, распространения информации проходят красной нитью через всю историю человечества. Прорывы будь то в сфере технических, или гуманитарных наук, так или иначе, отзывались на ИТ. Пройденный человечеством цивилизационный путь, это череда последовательных шагов усовершенствования способов хранения и передачи данных. В данной статье попробуем более детально разобраться и проанализировать основные этапы в процессе развития носителей информации, провести их сравнительный анализ, начиная от самых примитивных — глиняных табличек, вплоть до последних успехов в создании машинно-мозгового интерфейса.

Эволюция носителей данных - 1Читать полностью »

Основная масса хранимых современными компаниями данных является неструктурированной, т.е. это данные, созданные сотрудниками компании, а не, скажем, базой данных или выгрузкой автоматического сервиса. При этом даже при идеально настроенной системе прав доступа к ресурсам нельзя гарантировать, что в отдельно взятой папке лежит действительно то содержимое, которое мы ожидаем там увидеть. Номера паспортов и кредитных карт в папке с договорами подрядчиков? Элементарно. Фоточки с без сомнения увлекательного отпуска на Гоа в папке бухгалтерской отчетности? Легко! Новинки кинопроката в каталоге для обучения сотрудников? Да запросто! Вы все еще удивлены?
Читать полностью »

На страницах нашего блога мы рассказываем о сотрудничестве с самыми разными компаниями и организациями – от локальных интернет-магазинов до университетов с мировым именем. Увы, большинство подобных кейсов описывают работу с зарубежными партнерами, но иногда попадаются интересные примеры и в России. Сегодня именно такой случай. Герой нашей новой истории – компания CineLAB, которая занимается прокатом киносъемочного оборудования, обработкой пленки, цифровым постпродакшеном, спутниковой доставкой видеоконтента и многими другими интересными задачами в «киношном» мире.

Решения Dell PowerEdge для кинотеатрального контент-провайдера - 1
Читать полностью »

Лицензирование доступа к Big Data как средство монетизации Twitter - 1

Социальная сеть Twitter до сих пор не приносит прибыли, несмотря на все усилия компании. Ранее руководство компании предпринимало несколько попыток монетизировать сервис: это и платные посты, и демонстрация пользователю рекламы, и другие схожие методы.

На самом деле, надежный способ монетизации Twitter может быть вовсе не с самим текстом, сообщениями, а поведенческими факторами пользователей. Эти факторы можно анализировать, изучать, ранжировать в зависимости от потребностей партнеров, и — продавать. При этом продаваемая информация не является личной. Это усредненные и обобщенные данные.
Читать полностью »

Roem.ru со ссылкой на официальный пресс релиз от Yandex Data Factory (Big Data подразделения поисковика) сообщает о начавшемся сотрудничестве с компанией Wargaming. Последняя занимается разработкой и поддержкой популярной онлайн-игры «World of Tanks».

Yandex Data Factory сконцентрируется на статистике оттока аудитории из игры: сколько человек и в какой момент прекратит играть в World of Tanks.
Читать полностью »

Yandex Data Factory — бигдата-проект «Яндекса» — совместно с Wargaming объявили о сотрудничестве. YDF поможет Wargaming научиться более точно предсказывать периоды оттока аудитории — сколько человек и когда прекратит играть в World of Tanks (WoT), сообщается в совместном отчете компаний.

Yandex Data Factory (Читать полностью »

Обзор наиболее интересных материалов по анализу данных и машинному обучению №37 (23 февраля — 1 марта 2015) - 1
Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения.
Читать полностью »

Как-то незаметно прошел анонс новой версии MongoDB. Изменение номера версии с 2 на 3 указывает на значительные изменения внутри базы данных. Разработчики заявляют о значительном увеличении производительности и более лучшей маштабируемости. Немного подробнее под катом.
image
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js