Рубрика «big data» - 116

Круглый стол Общественной палаты РФ согласился с предложением завкафедрой новых медиа и теории коммуникации факультета журналистики МГУ. Студенческие работы нужно выложить в открытый доступ.

Можно констатировать — это удивительное было обсуждение, потому что есть консенсус экспертов. Были представители и вузов, и российской науки, и федеральных органов власти. И у всех, в принципе, Читать полностью »

Airpal: веб-приложение для работы с SQL - 1

На днях мы выпустили в широкое обращение свой новый инструмент, Airpal. Это веб-приложение, предназначенное для работы с базами данных, которое призвано дополнить PrestoDB от Facebook при анализе информации. И в этом посте мы бы хотели рассказать о его возможностях и особенностях.
Читать полностью »

Adobe интегрировал в свой бигдата-продукт Marketing Cloud технологию электронных платежей от Vibes, об этом пишет Venture Beat со ссылкой на вице-президента мобильного подразделения Adobe Мэта Эсея (Matt Asay). Благодаря этому корпоративные юзеры смогут быстро запускать персонализированные купонные кампании.

Читать полностью »

Big Data как подростковый секс: все об этом говорят, но… - 1

Студент в Big Data получает 70 тысяч рублей в месяц, а специалист с опытом 3-4 года — 250 тысяч рублей в месяц. Это те, например, кто умеет персонализировать предложения розницы, искать в соцсети человека по анкетным данным заявки на кредит или по списку посещённых сайтов вычислять новую симку старого абонента.

Мы решили сделать профессиональный курс по Big Data без «воды», маркетинга и всяких эджайлов, только хардкор. Позвали практиков из 7 крупных компаний (включая Сбербанк и Oracle) и устроили, фактически, хакатон длиной во весь курс. Недавно у нас прошел день открытых дверей по программе, где мы напрямую спросили практиков, что же есть Big Data в России, и как компании на деле используют большие данные. Ниже ответы. Читать полностью »

Курс по Big Data: три месяца на основные знания, и зачем это нужно - 1

Студент в Big Data получает 70 тысяч рублей в месяц, а специалист с опытом 3-4 года — 250 тысяч рублей в месяц. Это те, например, кто умеет персонализировать предложения розницы, искать в соцсети человека по анкетным данным заявки на кредит или по списку посещённых сайтов вычислять новую симку старого абонента.

Мы решили сделать профессиональный курс по Big Data без «воды», маркетинга и всяких эджайлов, только хардкор. Позвали практиков из 7 крупных компаний (включая Сбербанк и Oracle) и устроили, фактически, хакатон длиной во весь курс. Недавно у нас прошел день открытых дверей по программе, где мы напрямую спросили практиков, что же есть Big Data в России, и как компании на деле используют большие данные. Ниже ответы. Читать полностью »

Обзор наиболее интересных материалов по анализу данных и машинному обучению №38 (2 — 8 марта 2015) - 1
Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения.
Читать полностью »

Consumer Electronics Show (CES) ежегодно привлекает 3000+ компаний — участников выставки и 150-160 тысяч посетителей и размещает их в нескольких комплексах. Центральным считается Las Vegas Convention Center (LVCC), где на нескольких этажах располагаются корпорации типа Samsung и Sony. Однако в этом году меня поразили на CES не огромные кривые зеркала (извините, телевизоры), не стаи самокоординирующихся дронов, не невесомые ноутбуки от больших корпораций, а маленькие компании, делающие маленькие вещи с большим потенциалом, которые разместили в небольшом (по сравнению с LVCC) выставочном зале Sands.

CES 2015 глазами программиста - 1

Думаю, не будет преувеличением, что в этом году произошел взрыв IoT. Если до этого IoT скромно ютилось на немногочисленных разрозненных стендах, теперь оно заняло чуть ли не целый выставочный комплекс, где можно было увидеть десятки умных часов, роботы, умеющие управлять домом и даже готовить, 3D-принтеры, фитнесс-устройства, измерители композиции мышц, жира, плотности костей, умные кровати, всевозможные wearables и даже hearables. IDC предсказывает, что к 2020 году рынок IoT будет измеряться уже в триллионах.

Это, конечно, очень интересно для нас — потребителей, но что это значит для нас — программистов?
Читать полностью »

Привет!

Social Network Analysis: Spark GraphX - 1

Сегодня мы подробно познакомимся с задачами Анализа Социальных Сетей (SNA), а также закончим обзор библиотеки Apache Spark, предназначенной для анализа Больших Данных. А именно, как и было обещано в предыдущих статьях (раз и два) мы рассмотрим одну из компонент Apache Spark, предназначенную для анализа графов — GraphX. Постараемся понять, как в этой библиотеке реализовано распределенное хранение графов и вычисления на них. А также покажем на конкретных примерах, как данная библиотека может использоваться на практике: поиск спама, ранжирование поисковой выдачи, выделение сообществ в социальных сетях, поиск лидеров мнения — далеко не полный список применений методов анализа графов.
Читать полностью »

«Чтоб тебе жить в эпоху перемен» — весьма лаконичное и вполне понятное проклятие для человека скажем старше 30 лет. Современный этап развития человечества сделал нас невольными свидетелями уникальной «эпохи перемен». И тут даже играет роль не то что бы масштаб современного научного прогресса, по значимости для цивилизации переход от каменных орудий труда к медным очевидно был куда более знаковым, нежели удвоение вычислительных способностей процессора, которое само по себе будет явно более технологичным. Та огромная, все нарастающая скорость изменений в техническом развитии мира просто обескураживает. Если еще лет сто назад каждый уважаемый себя джентльмен просто обязан был быть в курсе всех «новинок» мира науки и техники, чтоб не выглядеть в глазах своего окружения глупцом и деревенщиной, то сейчас учитывая объемы и скорость порождения этих «новинок» отслеживать их всецело просто невозможно, даже вопрос так не ставится. Инфляция технологий, еще до недавно не мыслимых, и связанных с ними возможностей человека, фактически убили прекрасное направление в литературе – «Техническая фантастика». В ней отпала нужда, будущее стало многократно ближе, чем, когда либо, задуманный рассказ о «чудесной технологии» рискует дойти до читателя позже, нежели что-то подобное уже будет сходить с конвейеров НИИ.

Прогресс технической мысли человека всегда наиболее быстро отображался именно в сфере информационных технологий. Способы сбора, хранения, систематизации, распространения информации проходят красной нитью через всю историю человечества. Прорывы будь то в сфере технических, или гуманитарных наук, так или иначе, отзывались на ИТ. Пройденный человечеством цивилизационный путь, это череда последовательных шагов усовершенствования способов хранения и передачи данных. В данной статье попробуем более детально разобраться и проанализировать основные этапы в процессе развития носителей информации, провести их сравнительный анализ, начиная от самых примитивных — глиняных табличек, вплоть до последних успехов в создании машинно-мозгового интерфейса.

Эволюция носителей данных - 1Читать полностью »

Основная масса хранимых современными компаниями данных является неструктурированной, т.е. это данные, созданные сотрудниками компании, а не, скажем, базой данных или выгрузкой автоматического сервиса. При этом даже при идеально настроенной системе прав доступа к ресурсам нельзя гарантировать, что в отдельно взятой папке лежит действительно то содержимое, которое мы ожидаем там увидеть. Номера паспортов и кредитных карт в папке с договорами подрядчиков? Элементарно. Фоточки с без сомнения увлекательного отпуска на Гоа в папке бухгалтерской отчетности? Легко! Новинки кинопроката в каталоге для обучения сотрудников? Да запросто! Вы все еще удивлены?
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js