Big Data глазами разных индустрий — это очередная мечта о Граале, который решит, спасет и защитит! В жизни всё точностью до наоборот: Big Data — это совершенно новые задачи, свертывания застойных проектов и увольнения неперестроившихся специалистов. Предлагаем цикл статей по практике реального применения неструктурированных Big Data в разных индустриях, становлении новых специальностей, которым еще только придумываются названия — аналитик и социолог Big Data, HiLoad-лингвист, журналист-трендист (от слова трЕнд, а не трЫндеть :-) ), — и, надеемся, плодотворных обсуждений куда должна привести новая большая дорога.
Читать полностью »
Рубрика «big data» - 115
Сериал: Big Data — как мечта. I серия
2015-03-25 в 11:51, admin, рубрики: big data, аналитика, Блог компании Brand Analytics, Исследования и прогнозы в IT, Карьера в IT-индустрии, метки: Big DataСнифаем выходную ноду Tor’а и анализируем получившийся контент
2015-03-24 в 7:46, admin, рубрики: big data, Tor, анонимность, Блог компании Журнал Хакер, даркнет, журнал хакер, информационная безопасность, метки: tor 
Концепция «сеть поверх сети» появилась далеко не вчера. Еще в середине прошлого десятилетия «Хакер» писал о луковой и чесночной маршрутизации в лице Tor и I2P и даже публиковал обзоры соответствующего софта в рубрике «Шароwarez», но настоящий интерес к ним в обществе появился на волне известных инфоповодов и громких разоблачений последнего времени. Что же представляют собой даркнеты? Кто там живет? Чем они интересуются, чем дышат, что покупают и что продают? Попробуем разобраться с этим по-хакерски: с помощью снифера и прямого погружения.
Читать полностью »
Как Big Data и «Интернет вещей» влияют на дата-центры. Энергопотребление. Часть 1
2015-03-20 в 11:33, admin, рубрики: big data, IoT, Блог компании King Servers, дата-центры, Сетевые технологии 
Big Data, «большие данные» продолжают расширяться и увеличиваться в объеме. По данным Science Daily, в 2013 году около 90% всех данных в мире были созданы в предыдущие два года. Информации становится все больше, тем более, что и количество интернет-пользователей продолжает увеличиваться взрывными темпами. В настоящий момент в мире насчитывается около 2,5 миллиарда интернет-пользователей.
Кроме того, увеличивается и количество устройств, гаджетов, подключенных к Сети. Все это устройства, включая фитнес-трекеры, камеры телефонов и даже умные кофеварки, генерируют данные, которые требуется где-то хранить. С увеличением количества данных в мире увеличивается и потребность в увеличении вычислительных мощностей и свободном объеме для хранения информации.
Читать полностью »
Нейропластичность в искусственных нейронных сетях
2015-03-20 в 7:19, admin, рубрики: big data, data mining, deep learning, inductive transfer, transfer learning, Алгоритмы, Блог компании Mail.Ru Group, глубокие сети, глубокое обучение, Компьютерное зрение, машинное обучение, нейронные сети, нейропластичность, свёрточная нейросеть 
Привет, давно не виделись. В этом посте мне хотелось бы рассказать о таком относительно новом понятии в машинном обучении, как transfer learning. Так как я не нашел какого-либо устоявшегося перевода этого термина, то и в названии поста фигурирует хоть и другой, но близкий по смыслу термин, который как бы является биологической предпосылкой к формализации теории передачи знаний от одной модели к другой. Итак, план такой: для начала рассмотрим биологические предпосылки; после коснемся отличия transfer learning от очень похожей идеи предобучения глубокой нейронной сети; а в конце обсудим реальную задачу семантического хеширования изображений. Для этого мы не будем скромничать и возьмем глубокую (19 слоев) сверточную нейросеть победителей конкурса imagenet 2014 года в разделе «локализация и классификация» (Visual Geometry Group, University of Oxford), сделаем ей небольшую трепанацию, извлечем часть слоев и используем их в своих целях. Поехали.
Читать полностью »
Техносфере — 1 год
2015-03-19 в 12:28, admin, рубрики: big data, mail.ru, Блог компании Mail.Ru Group, вмк, мгу, Программирование, Техносфера, метки: ВМК, МГУ, Техносфера 
Многие из вас, возможно, уже слышали или читали в нашем блоге о Технопарке, совместном образовательном проекте Mail.Ru Group и МГТУ им. Н. Э. Баумана. Однако постойте, есть еще и Техносфера. Что это, кто это и почему эти два проекта так похожи, и чем они различаются, я расскажу в этом посте.
В феврале исполнился ровно год с момента запуска Техносферы. Это совместный образовательный проект Mail.Ru Group и факультета вычислительной математики и кибернетики МГУ имени М. В. Ломоносова. Обучением студентов занимаются исключительно сотрудники Mail.Ru Group. Их цель — подготовить квалифицированных специалистов в области анализа больших данных (Big Data). Первые десять выпускников совсем недавно получили дипломы из рук Дмитрия Гришина, CEO Mail.Ru Group, и уже приступили к работе.
Читать полностью »
Исследование: пользователи Firefox и Chrome — лучшие работники
2015-03-19 в 8:17, admin, рубрики: big data, браузеры, персонал, Статистика в IT, тесты, Финансы в IT-индустрии 
Компания Cornerstone OnDemand, которая занимается разработкой и продажей программного обеспечения для онлайн-тестов при приёме на работу, показала результаты своих исследований из мира Big Data. Выяснилось, что те претенденты на работу, которые при прохождении теста используют Chrome или Firefox, лучше выполняют свою работу и в среднем на 15% дольше остаются на своих рабочих местах. Речь идёт о специалистах в области телекоммуникаций, продаж и гостиничном бизнесе.
Читать полностью »
Deep Learning, NLP, and Representations
2015-03-16 в 15:20, admin, рубрики: big data, глубокое обучение, Компьютерная лингвистика, нейронные сети, обработка естественного языка, Поисковые машины и технологии, рекурсивные нейронные сетиПредлагаю читателям «Хабрахабра» перевод поста «Deep Learning, NLP, and Representations» крутого Кристофера Олаха. Иллюстрации оттуда же.
В последние годы методы, использующие глубокое обучение нейросетей (deep neural networks), заняли ведущее положение в распознавании образов. Благодаря им планка для качества методов компьютерного зрения значительно поднялась. В ту же сторону движется и распознавание речи.
Результаты результатами, но почему они так круто решают задачи?
В посте освещено несколько впечатляющих результатов применения глубоких нейронных сетей в обработке естественного языка (Natural Language Processing; NLP). Таким образом, я надеюсь доходчиво изложить один из ответов на вопрос, почему глубокие нейросети работают.
Читать полностью »
Ваш персональный курс по Big Data
2015-03-16 в 13:13, admin, рубрики: big data, data mining, machine learning, python, анализ социальных сетей, Большие данные, математика, машинное обучение, Поисковые машины и технологии, социальные сети, метки: Big Data, Data Mining 
Привет!
После публикации нескольких статей по Big Data и Машинному обучению, ко мне пришло немало писем от читателей с вопросами. За последние несколько месяцев мне удалось помочь многим людям сделать быстрый старт, некоторые из них — уже решают прикладные задачи и делают успехи. А кто-то уже устроился на работу и занимается решением реальных задач. Моя цель — чтобы вокруг меня были умные люди, с которыми в том числе и я смогу работать в дальнейшем. Поэтому я хочу помочь тем, кто действительно хочет научиться решать настоящие задачи на практике. В сети присутствует большое количество мануалов о том, как стать ученым по данным (Data Scientist). В свое время я прошел все, что там есть. Однако, на практике порой нужны совсем другие знания. О том, какие именно навыки нужны — я расскажу в сегодняшней статье и постараюсь ответить на все Ваши вопросы.
Читать полностью »
Обзор наиболее интересных материалов по анализу данных и машинному обучению №39 (9 — 15 марта 2015)
2015-03-15 в 15:58, admin, рубрики: big data, data mining, data science, data science digest, high scalability, machine learning, машинное обучение 
Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения.
Читать полностью »
Магнитная лента — старый конь борозды не портит
2015-03-13 в 15:59, admin, рубрики: big data, IBM, бэкап, Восстановление данных, данные, дата-центр, ит-инфраструктура, магнитная лента, сервер, хостинг, хранение данных, хранение информацииКаждый раз когда мы встречаем словосочетание дата-центр, либо же аббревиатуру ЦОД (центр обработки данных), наше сознание моментально «подтягивает из кэша» набор стандартных лекал, которые казалось бы вполне однозначно ассоциируются с этим характерным представителем современной ИТ-инфраструктуры. Просторные помещения, серверные стойки – усеяны брызгами разноцветных светодиодов, гул блоков питания конкурирующий с еще более сильным шумом от вытяжки, что удаляет лишнее тепло из залов, переплетенные пучки кабелей всевозможных диаметров и окрасок, инженеры, рассекающие с важным видом по узким коридорам между стенами, выстроенными из высокотехнологичного оборудования. Что уже говорить о громадных счетах за электричество, это все казалось бы так естественно и безальтернативно. Не стану никого разочаровывать, в общем, так оно и есть, в 99% случаев.
