Рубрика «big data» - 123

Только что в Париже на конференции La Web Яндекс объявил об открытии нового важного направления своей деятельности — по коммерческой обработке больших данных — Yandex Data Factory.

Мы верим, что обработка больших данных — это часть нового витка технической революции, который сделает всё человечество ещё более эффективным и приведёт нас к будущему, которое мы сейчас ещё даже не можем до конца представить. И в нём работа с большими объёмами данных будет не менее важным и распространённым, чем выработка электричества или железные дороги сегодня.

Яндекс открывает новое направление своей деятельности — Yandex Data Factory - 1

Перед публичным запуском Yandex Data Factory мы провели несколько пилотных проектов с компаниями-партнёрами. Для компании, обслуживающей линии электропередач, в Yandex Data Factory создали систему, которая анализирует сделанные беспилотниками снимки и автоматически выявляет угрозы: например, деревья, растущие слишком близко к проводам. А для автодорожного агентства проанализировали данные о загруженности дорог, качестве покрытия, средней скорости движения транспорта и аварийности. Это позволило в режиме реального времени составлять прогноз заторов на дорогах на ближайший час и выявлять участки с высокой вероятностью ДТП.
Читать полностью »

Только что в Париже на конференции La Web Яндекс объявил об открытии нового важного направления своей деятельности — по коммерческой обработке больших данных — Yandex Data Factory.

Мы верим, что обработка больших данных — это часть нового витка технической революции, который сделает всё человечество ещё более эффективным и приведёт нас к будущему, которое мы сейчас ещё даже не можем до конца представить. И в нём работа с большими объёмами данных будет не менее важным и распространённым, чем выработка электричества или железные дороги сегодня.

Yandex Data Factory - 1

Перед публичным запуском Yandex Data Factory мы провели несколько пилотных проектов с компаниями-партнёрами. Для компании, обслуживающей линии электропередач, в Yandex Data Factory создали систему, которая анализирует сделанные беспилотниками снимки и автоматически выявляет угрозы: например, деревья, растущие слишком близко к проводам. А для автодорожного агентства проанализировали данные о загруженности дорог, качестве покрытия, средней скорости движения транспорта и аварийности. Это позволило в режиме реального времени составлять прогноз заторов на дорогах на ближайший час и выявлять участки с высокой вероятностью ДТП.
Читать полностью »

Apache Hadoop — это набор утилит для построения суперкомпьютера, способного решать задачи, слишком большие для одного сервера. Множество серверов образуют Hadoop-кластер. Каждая машина в кластере носит название узла, или ноды. Если необходимо увеличить производительность системы, то в кластер просто добавляется больше серверов. Ethernet выполняет функции «системной шины» суперкомпьютера. В данной статье будут рассмотрены аспекты дизайна сетевой инфраструктуры, а также архитектура, которую Cisco предлагает использовать для таких систем.
Читать полностью »

Всем привет!

Вы наверняка слышали о конференции разработчиков высоконагруженных систем Highload++ или сами участвовали или выступали или даже перестали ездить на нее, проклиная ее в соц.сетях.

К конференции Highload у меня весьма трепетное отношение, ибо моя первая поездка на нее в 2012 стабилизировала хаотичные на тот момент знания в некую упорядоченную цепь, структуру и предоставила наиболее широкий обзор текущего рынка Highload технологий в России и за ее пределами.

В 2013 году я с удовольствием смотрел онлайн-трансляцию вечером из офиса Тамтэка, обсуждая с коллегами преимущества Rabbit MQ, дубльгисовские попытки запихать все в Neo4j, а также доклад нашего коллеги Дениса Нелюбина о сравнении производительности NoSQL баз данных (Aerospike, Couchbase, Mongo, Cassandra) на нашем тестовом фреймворке, в разработке которого я сам принимал участие годом ранее.

В 2014, 14 марта, в свой день рождения, я отправил заявку с описанием доклада на Highload и стал ждать. После полугода мне пришло подтверждение и я отправился в путь, надеясь не только познакомиться с коллегами, работающими в смежных областях, но и поднять свое Big Data сознание на новой уровень.

image

Читать полностью »

Обзор наиболее интересных материалов по анализу данных и машинному обучению №25 (1 — 7 декабря 2014) - 1
Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения.
Читать полностью »

Эпиграф:
— Пил?
— Не пил!
— Скажи Гибралтар.
— Пил.

Тема немного курьезная, но мне кажется, что именно таких в последнее время не хватает на Хабре. Особенно в пятницу.

Немцы создали библиотеку пьяных аудиозаписей - 1

Итак, немецкие ученые из двух университетов Мюнхена создали базу аудизаписей, где записа речь 162-х людей в состояние алкогольного опьянения. Данные собирались с 2007 года по 2009 и теперь на основании базы данных создается языковой корпус (статья о корпусах на Вики) Alcohol Language Corpus (ALC).Читать полностью »

Как узнать больше о ваших пользователях? Применение Data Mining в Рейтинге Mail.Ru - 1

Любой интернет-проект можно сделать лучше. Реализовать новые фичи, добавить серверов, переделать интерфейс или выпустить новую версию API. Вашим пользователям это понравится. Или нет? И вообще, что это за люди? Молодые или в возрасте? Обеспеченные или скорее наоборот? Из Москвы? Питера? Сан-Франциско, штат Калифорния? И почему, в конце концов, те сто теплых пледов, что вы закупили еще в мае, пылятся на складе, а футболки с октокотами расходятся, как горячие пирожки? Получить ответы поможет проект Рейтинг Mail.Ru. Эта статья о том, как мы применяем data mining, чтобы ответить на самые сложные вопросы
Читать полностью »

Банковские услуги существенны. Банки – нет.
Билл Гейтс

За несколько десятилетий информационные технологии изменили мир до неузнаваемости. Применительно к банковскому сектору и финансовым институтам чаще всего поднимаются вопросы государственного регулирования и защиты информации, а также вопросы противоборства отмыванию доходов, полученных преступным путем. Однако, это не единственные вызовы, стоящие перед финансовым сектором. Клиентские потребности и привычки меняются с течением времени, и информационные технологии – один из важнейших драйверов.

Так, обеспеченные клиенты уже сейчас используют мобильные устройства не только для доступа к информации по счету и оплаты счетов, но и для заключения сделок.

Информационные технологии и большие деньги - 1

Но дело не только в ежедневном использовании планшетов и смартфонов. Новое поколение клиентов требует новых каналов коммуникации и современных форм взаимодействия. При этом подобный запрос поступает, в том числе и от старшего поколения.
Читать полностью »

image

Резюме: делать краткосрочные предсказания об инвестициях в технологии относительно просто – пытаться понять, как будет развиваться ИТ-отрасль в перспективе десяти лет гораздо сложнее.

Для индустрии, которой, по крайней мере на первый взгляд, управляют логика и холодный расчет, технологическая отрасль на удивление легко поддается ажиотажу и увлекается очередными «новинками, которые изменят наше будущее».

Возможно, так случается потому что, в отличие от, скажем, сферы продаж или HR, где инновации определяются новыми стратегиями менеджмента, технологические инвестиции идут «от продукта». Покупка нового аппаратного или программного обеспечения часто влечет за собой потенциал для «подрывного» прыжка вперед к достижению более высокой продуктивности или какой-нибудь другой крайне важной бизнес-метрики. Поставщики технологий, таким образом, по праву заинтересованы в как можно более активном продвижении своих продуктов: уровень затрат на маркетинг и привлечение пользователей некоторых быстрорастущих технологических фирм может заставить многие потребительские бренды позеленеть от зависти.Читать полностью »

Друзья, разработчики и тестировщики программного обеспечения!

Мы рады сообщить вам, что регистрация на главную технологическую конференцию Microsoft DevCon 2015 открыта!

Пятая юбилейная конференция пройдет 20-21 мая 2015 года.

Открыта регистрация на конференцию DevCon 2015 - 1

Формат конференции остается неизменным — это загородное двухдневное мероприятие в природном курорте в ближнем Подмосковье, и в стоимость билета на конференцию уже все включено:

  • Питание и проживание в отеле;
  • Участие в основной программе;
  • Посещение мастер-классов;
  • Участие в круглых столах и фокус-группах;
  • Трансфер из Москвы и обратно;
  • Развлекательная и спортивная программа;
  • Вечерняя программа.

Обратите внимание, до 16 января 2015 года действует специальная более привлекательная цена, о чем подробнее можно узнать на странице «Условия участия».

Регистрируйтесь сейчас! По опыту проведения конференций мы знаем, что билеты кончаются за несколько месяцев до проведения. Торопитесь занять свое место.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js