Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения.
Читать полностью »
Рубрика «big data» - 118
Обзор наиболее интересных материалов по анализу данных и машинному обучению №36 (16 — 22 февраля 2015)
2015-02-22 в 13:51, admin, рубрики: big data, data mining, data science, data science digest, high scalability, machine learning, машинное обучениеГоспоисковик «Спутник» получит 800 млн рублей инвестиций от «Ростелекома»
2015-02-19 в 9:14, admin, рубрики: big data, венчурные инвестиции, государственные проекты, Ростелеком, спутник, Управление продуктом, финансы в IT 
Государственный поисковый сервис «Спутник» был запущен в работу в мае 2014 года. Его назначение — помощь пользователям в поиске социально значимой информации, включая здравоохранение, госуслуги и прочее. Сейчас разработчики проводят бета-тестирование системы, также планируется дальнейшее развитие проекта. Так, по данным «Коммерсанта», основной акционер проекта, компания «Ростелеком», планирует в этом году вложить до 800 миллионов рублей в развитие системы. Деньги, в частности, будут потрачены на разработку новых сервисов по обработке и анализу Big Data. Новые сервисы «Ростелеком» будет использовать и внутри компании.
По словам вице-президента «Ростелекома» Алексея Басова, новые технологии «Спутника» будут использоваться внутри самой компании, для формирования предложений и услуг, которые можно продавать заказчикам. При этом уже сейчас проводится тестирование возможностей сервиса по работе с «большими данными». По мнению Басова, все это позволяет оптимизировать общую работу сети, повысить уровень средней выручки из расчета на одного абонента (ARPU), создавать модели поведения клиента и более эффективно распоряжаться средствами.
Читать полностью »
«Спутник» займется BigData-проектами «Ростелекома»
2015-02-19 в 8:27, admin, рубрики: big data, Алексей Басов, поиск, Ростелеком, Сергей Калугин, спутник, Текучка, метки: big data, Алексей Басов, поиск, Ростелеком, Сергей Калугин, спутник, Текучка«Ростелеком» хочет больше BigData-проектов, а помочь ему в этом должен поисковик «Спутник», основным владельцем которого является оператор. Об этом пишет «Коммерсант» со ссылкой на президента «Ростелекома» Сергея Калугина.
В качестве примеров, зачем «Читать полностью »
IBM Watson for Oncology: помощь когнитивной системы в борьбе с раком
2015-02-18 в 7:22, admin, рубрики: big data, ibm watson, watson analytics, Блог компании IBM, онкологические заболевания, метки: watson analytics 
IBM Watson уже умеет ставить диагнозы в качестве терапевта, а теперь система помогает медикам бороться с раковыми заболеваниями, в рамках программы Watson for Oncology. При этом активный блок системы уже не занимает целую комнату, размер блока теперь равен примерно трем коробкам пиццы, поставленным друг на друга. Watson задаёт вопросы и делает предположения, используя данные последних медицинских исследований в области онкологии, плюс используется информация из медицинской карточки пациента и текущие симптомы. В результате каждый пациент получает индивидуальный подход – ведь одно заболевание, даже самое простое и безобидное, у разных людей протекает по-разному. Что говорить о такой сложной проблеме, как рак.
Роб Меркель, руководитель исследовательской группы здравоохранения в IBM Watson Group, утверждает, что когнитивная система способна за короткое время изучить историю болезни пациента, все записи и комментарии врачей, просмотреть последние исследования по данной теме и поставить диагноз на основе всех этих данных. Причем информация не просто суммируется, IBM Watson детально анализирует данные, сопоставляет различные факторы, проводит аналогии.
Читать полностью »
Введение в Apache Spark
2015-02-17 в 10:36, admin, рубрики: Apache, big data, data mining, Hadoop, python, spark, машинное обучение, разработка, метки: Big DataПривет!
В прошлый раз мы рассмотрели замечательный инструмент Vowpal Wabbit, который бывает полезен в случаях, когда приходится обучаться на выборках, не помещающихся в оперативную память. Напомним, что особенностью данного инструмента является то, что он позволяет строить в первую очередь линейные модели (которые, к слову, имеют хорошую обобщающую способность), а высокое качество алгоритмов достигается за счет отбора и генерации признаков, регуляризации и прочих дополнительных приемов. Сегодня рассмотрим инструмент, который более популярен и предназначен для обработки больших обьемов данных — Apache Spark.
Читать полностью »
Поиск похожих документов с MinHash + LHS
2015-02-16 в 9:31, admin, рубрики: big data, data mining, jaccard, lhs, minhash, Алгоритмы, похожие множества, метки: jaccard, lhs, minhash, похожие множества В этой публикации я расскажу о том, как можно находить похожие документы с помощью MinHash + Locality Sensitive Hashing. Описание LHS и Minhash в «Википедии» изобилует ужасающим количеством формул. На самом деле все довольно просто.
Читать полностью »
Седьмая ежегодная Летняя школа Microsoft Research. На этот раз про машинное обучение и интеллект
2015-02-16 в 9:09, admin, рубрики: big data, machine learning, microsoft, Microsoft Azure, microsoft research, Алгоритмы, Блог компании Microsoft, летняя школа, машинное обучение, наука, школаПривет!
29 июля, в очередной, уже седьмой раз, в Санкт-Петербурге откроется ежегодная Летняя школа Microsoft Research. На этот раз тема школы – машинное обучение и интеллект. В программу школы включены лекции и семинары ученых мирового уровня из ведущих университетов со всего мира, в том числе из России, а также исследователей Microsoft Research. Руководитель школы – Эвелин Виегас, директор направления «семантические вычисления» Microsoft Research Redmond. Подробности под катом.
Обзор наиболее интересных материалов по анализу данных и машинному обучению №35 (9 — 15 февраля 2015)
2015-02-15 в 12:03, admin, рубрики: big data, data mining, data science, data science digest, high scalability, machine learning 
Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения.
Читать полностью »
Основы статистики: просто о сложных формулах
2015-02-13 в 11:01, admin, рубрики: big data, data mining, R, анализ данных, статистика, метки: Анализ данныхСтатистика вокруг нас
Статистика и анализ данных пронизывают практически любую современную область знаний. Все сложнее становится провести границу между современной биологией, математикой и информатикой. Экономические исследования и регрессионный анализ уже практически неотделимы друг от друга. Один из известных методов проверки распределения на нормальность — критерий Колмогорова-Смирнова. А вы знали, что именно Колмогоров внес огромный вклад в развитие математической лингвистики?
Еще будучи студентом психологического факультета СПбГУ я заинтересовался когнитивной психологией. Кстати, Иммануил Кант не считал психологию наукой, так как не видел возможности применять в ней математические методы. Мои текущие исследования посвящены моделированию психических процессов, и я надеюсь, что такие направления в современной когнитивной психологии, как вычислительные и коннективисткие модели, смягчили бы его отношение!
Читать полностью »
Обзор наиболее интересных материалов по анализу данных и машинному обучению №34 (2 — 8 февраля 2015)
2015-02-09 в 13:53, admin, рубрики: big data, data mining, data science, data science digest, high scalability, machine learning 
Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения.
Читать полностью »