Рубрика «big data» - 129

Может ли анализ больших данных помочь в спасении жизни больных?

Сегодня большие данные в тренде и таком же большом фаворе. Недавно в этой сфере отметился и Ларри Пейдж, который заявил, что будь в открытом доступе больше информации о состоянии здоровья, то благодаря её анализу в следующем году можно будет спасти около 100 000 человек. После Агентства Национальной Безопасности США, Google занимает второе место по объёму хранимых данных. Однако Пейдж, вероятно, несколько поторопился со своим утверждением, особенно в свете того, что крупная программа Google Flu Trends (официальный сайт) продемонстрировала низкую эффективность. Большие данные не являются волшебным инструментом, способным решить все нашим проблемы, и вряд ли Пейджу с их помощью удастся спасти тысячи жизней.
Читать полностью »

Обзор наиболее интересных материалов по анализу данных и машинному обучению №7 (28 июля — 4 августа 2014)
Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения. В данном обзоре есть несколько статей, которые будут интересны новичкам. Есть несколько любопытных видеолекций по тематике Data Science. В текущем выпуске как обычно много статей по машинному обучению и анализу данных с примерами кода на языка программирования R и Python. В обзоре также могут заинтересовать несколько обзоров книг по теме анализа данных.

Читать полностью »

Заповеди навеяны содержанием книги «Большие данные: Революция, которая изменит то, как мы живем, работаем и мыслим»

Тема Больших Данных интересовала меня с самого начала её популяризации в России. Устав от агрессивного маркетинга производителей в этом направлении, пытающихся продать под видом Больших Данных всё что угодно, только не саму суть Больших Данных, и ангажированных статей ИТ-журналистов, воспевающих об эффективности и полезности Больших Данных в решении бизнес-задач, я решил прочесть книгу фаната технологического подхода Больших данных, профессора Оксфордского университета и со-автора, экономиста, в надежде найти там ответы на вопросы, раскрывающие суть Больших Данных. По мере прочтения в моей голове постепенно происходило осознание идей, заложенных в этой книге. На каком-то этапе я решил, что суть этой книги можно выразить в религиозном ключе, в виде коротких заповедей, гласящих об основных принципах и подходах, которые должны будут применяться в будущем мире Больших Данных.
Читать полностью »

В очередном выпуске обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения некоторое количество статей посвящено практическому применению различных видов регрессии. Есть интересная серия статей о применении машинного обучения в трейдинге. Как обычно много материалов посвящено алгоритмам машинного обучения (в том числе нейронным сетям). Есть несколько любопытных видеолекций, а также много статей про практическое применение языка R при анализе данных и машинном обучении.
Читать полностью »

Я угадаю эту мелодию по трем нотам!

Так может ответить сейчас специально обученный командой исследователей компьютерный алгоритм, способный определять принадлежность мелодии к различным периодам (барокко, классицизм, романтизм и постромантизм) всего по трем нотам из любой части музыкальной композиции.

Правда, саму композицию по трем нотам система идентифицировать не сможет. Но это и не требуется — разработчики поставили перед собой задачу проанализировать эволюцию музыки за период в 200 лет (1730-1930 гг), и научить компьютерную систему правильно определять принадлежность мелодии к одному из указанных выше периодов/стилей.

Читать полностью »

Представляю очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения (в том числе Deep Learning). Как всегда есть материалы по алгоритмам машинного обучения. Несколько практических статей по популярному пакету для машинного обучения Scikit-Learn для Python. Есть статьи, посвященные практическому применению языка R. Некоторое количество материалов посвящено теме Data Engineering. Присутствуют интересные статьи про популярные проекты 'Google Brain' и 'Project Adam'.
Читать полностью »

image

Здравствуй Хабр! Хочу рассказать как мы делали свою собственную Big Data.

Каждый стартап хочет собрать что-то дешевое, качественное и гибкое. Обычно так не бывает, но у нас, похоже, получилось! Ниже идёт описание нашего решения и много моего сугубо субъективного мнения по этому поводу.

И да, секрет в том, что используется 6 сервисов гугла и собственного кода почти не писалось. Читать полностью »

Победу сборной Германии обеспечил анализ больших данных

Когда в 2006 году в Германии проходил Чемпионат мира по футболу, вратарю Йенсу Леманну пришлось перед самым четвертьфиналом изучать помятые, исписанные от руки бумажные памятки, чтобы понять, как лучше противодействовать аргентинским пенальтистам. Спустя восемь лет команды Германии и Аргентины снова встретились но Чемпионате. Но в этот раз немцы использовали качественно новый инструмент, чтобы изучить будущего противника и заранее подготовить тактику борьбы.
Читать полностью »

Трансляция из морских глубин: 800 километровый канал NEPTUNE проводит интернет на дно океана
Вашему домашнему Ethernet кабелю на рабочем столе не приходится иметь дело c разными обитателями океанов, такими, например, как эта морская звезда.

Тектоническая плита Хуан де Фука — на сегодня одна из самых малых по размерам на Земле. Она находится в нескольких сотнях километров от Орегона, Вашингтон и побережья Британской Колумбии. Однако недостатки в размерах Хуан де Фука окупаются ее коммуникабельностью. Она стала домом для уникальной, высокоскоростной оптической кабельной сети, которая нашла свою дорогу через глубокое дно Тихого океана еще в конце 2009 года.

Этот канал прозвали NEPTUNE — the North-East Pacific Time-Series Underwater Networked Experiment (Северо-восточная тихоокеанская подводная экспериментальная сеть без временных перебоев — прим. переводчика). Его протяженность — более 800 километров, что сопоставимо с длиной 40 000 вагонов метро, сцепленных в один, длинный поезд.
Читать полностью »

Конфиденциальность в офисе: где черта, которую не стоит пересекать

Скажем прямо: посещение не относящихся к работе сайтов со своего рабочего места — явление обыденное. Как минимум, для тех, кто не лишен возможности это делать. Но в курсе ли вы, что начальство может следить за вашими похождениями?

С одной стороны современные инструменты анализа Big Data помогают крупным компаниям быть более продуктивными, ежедневно предоставляя сотрудникам данные полезные в их работе. С другой стороны, работодатели, почти наверняка, испытывают искушение собрать некоторые данные и о самих сотрудниках. В эпоху бурного цифрового преобразования такие компании могут отслеживать не только привычки клиентов, но и поведение собственного персонала.

Такова текущая реальность. Компании, наделенные инструментами обработки Big Data все чаще направляют свой взор внутрь. Переходят ли они при этом границу конфиденциальности на рабочем месте? — Вам решать.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js