Рубрика «machine learning» - 68

Ранжирование в Яндексе: как поставить машинное обучение на поток (пост #2)

2013-04-03 в 11:23, admin, рубрики: big data, data mining, FML, learning to rank, machine learning, Блог компании Яндекс, машинное обучение, обучение ранжированию, факторы ранжирования, метки: FML, learning to rank, machine learning, машинное обучение, обучение ранжированию, факторы ранжирования

Ранжирование в Яндексе: как поставить машинное обучение на поток (пост #2) Мы продолжаем серию публикаций о нашем фреймворке FML, который автоматизировал работу с машинным обучением и позволил разработчикам Яндекса использовать его в своих задачах проще и чаще. Предыдущий пост рассказывал о том, что такое функция ранжирования и как мы научились строить её, имея на входе лишь достаточно большое число оценок от асессоров и достаточно разнообразный набор признаков (факторов) документов по большому количеству запросов.

Из этого поста вы узнаете:

почему нам нужно подбирать новую формулу ранжирования очень часто, и как именно нам в этом помогает FML;
как мы разрабатываем новые факторы и оцениваем их эффективность.

Читать полностью »

Ранжирование в Яндексе: как поставить машинное обучение на поток (пост #1)

2013-03-26 в 9:06, admin, рубрики: big data, data mining, FML, learning to rank, machine learning, Блог компании Яндекс, машинное обучение, обучение ранжированию, факторы ранжирования, метки: FML, learning to rank, machine learning, машинное обучение, обучение ранжированию, факторы ранжирования

Сегодня мы начинаем публиковать серию постов о том, как в Яндексе построена работа над улучшением так волнующей всех формулой релевантности, и более широко — качеством ранжирования. Мы сосредоточимся на наших инструментах, которые избавили разработчиков поисковой системы от рутинных действий и помогли сфокусироваться на главном — изобретении новых подходов к улучшению поиска. Почти вся работа в этой области связана с машинным обучением, поэтому о его месте в Яндексе мы тоже немного расскажем.
Читать полностью »

Энтропия и деревья принятия решений

2013-03-11 в 11:23, admin, рубрики: data mining, machine learning, искусственный интеллект, Программирование, энтропия, метки: machine learning, энтропия

Деревья принятия решений являются удобным инструментом в тех случаях, когда требуется не просто классифицировать данные, но ещё и объяснить почему тот или иной объект отнесён к какому-либо классу.

Давайте сначала, для полноты картины, рассмотрим природу энтропии и некоторые её свойства. Затем, на простом примере, увидим каким образом использование энтропии помогает при создании классификаторов. После чего, в общих чертах сформулируем алгоритм построения дерева принятия решений и его особенности.
Читать полностью »

Эволюция агентов управляемых нейронной сетью

2013-02-04 в 19:15, admin, рубрики: machine learning, Алгоритмы, генетические алгоритмы, искусственный интеллект, нейронные сети, Программирование, метки: machine learning, генетические алгоритмы, нейронные сети

Давайте рассмотрим среду: в ней могут существовать частицы «еды» и агенты. С помощью сенсоров агенты могут получать информацию о среде. Если агент находится достаточно близко к частице пищи, то она считается «съеденной» и исчезает, а в тот же самый момент в случайном месте среды появляется новая частица еды. Задача группы агентов — собирать пищу. Эффективность рассматривается исходя из суммарного количества собранной пищи.

Давайте смоделируем конкурентную среду для автоматического поиска оптимального поведения группы агентов. Алгоритм поведения агентов будем конструировать в виде нейронной сети.
Читать полностью »

Знания предметной области бесполезны. Когда предсказания становятся игрой, эксперты проигрывают

2013-01-22 в 7:03, admin, рубрики: data mining, kaggle, machine learning, random forest, Алгоритмы, машинное обучение, переводы, Статистика в IT

Знания предметной области бесполезны. Когда предсказания становятся игрой, эксперты проигрывают
Джереми Ховард — президент и «главный по науке» компании Kaggle, превратившей статистическое прогнозирование в спорт.

Peter Aldhous: Kaggle называет себя онлайн-биржей мозгов. Расскажите об этом.

Джереми Ховард: Это веб-сайт, на котором размещают конкурсы по статистическому прогнозированию. Мы провели много удивительных конкурсов. Например, разработка алгоритма оценки студенческих рефератов. Или вот недавно закончился конкурс на разработку системы обучения Microsoft Kinect жестам. Идея состояла в том, чтобы показать контроллеру жест один раз, а алгоритм должен обучиться распознавать такие жесты в будущем. Еще один конкурс — прогнозирование биологических свойств молекул при скрининге на возможные наркотические свойства.

Читать полностью »

Обзор предложений Coursera: вторые 5 курсов

2013-01-15 в 3:19, admin, рубрики: coursera, cryptography, finance, machine learning, Учебный процесс в IT, метки: coursera, cryptography, finance, machine learning

Продолжаем серию заметок, в которых даётся обзор различных курсов на прекрасном образовательном ресурсе Coursera (с первой частью этого обзора всякий желающий может ознакомиться здесь). Как я уже упоминал, с самого начала 2012 года я проходил (и продолжаю проходить) на этом образовательном ресурсе различные курсы самой разнообразной направленности (не только и не столько из рода CS, сколько по всяким другим премудростям).

Так что нынче я расскажу про следующие пять курсов, которые я прослушал где-то с середины 2012 года до его окончания. Будут рассмотрены такие курсы:

Если кто-то заинтересовался хотя бы одним из перечисленных курсов, то добро пожаловать под кат.

Читать полностью »

Cистема рекомендаций в облаке с помощью Hadoop и Apache Mahout

2012-08-28 в 10:34, admin, рубрики: Apache, apache mahout, Hadoop, machine learning, open source, windows azure, Блог компании Microsoft, Облачные вычисления, облачные сервисы

Apache Mahout™ — это библиотека машинного обучения, созданная для использования в масштабируемых приложениях машинного обучения. Системы рекомендаций — это наиболее узнаваемые приложения машинного обучения, используемые в настоящее время. При выполнении заданий этого руководства мы будем использовать интернет-архив Million Song Dataset, чтобы создать рекомендации по выбору песен для пользователей с учетом их музыкальных предпочтений.

О чем пойдет речь в данном руководстве:

Как использовать систему рекомендаций

Данное руководство состоит из следующих разделов.

Изучение и форматирование данных
Выполнение задания Mahout

Читать полностью »

Классификатор kNN

2012-08-16 в 9:23, admin, рубрики: data mining, machine learning, python, Алгоритмы, метки: data mining, machine learning, python

kNN расшифровывается как k Nearest Neighbor или k Ближайших Соседей — это один из самых простых алгоритмов классификации, также иногда используемый в задачах регрессии. Благодаря своей простоте, он является хорошим примером, с которого можно начать знакомство с областью Machine Learning. В данной статье рассмотрен пример написания кода такого классификатора на python, а также визуализация полученных результатов.
Читать полностью »

Yet another classifier

2012-08-09 в 7:25, admin, рубрики: data mining, machine learning, python, sentiment analysis, Алгоритмы, метки: machine learning, python, sentiment analysis

Вместо вступления

Лень — двигатель прогресса. Не хочешь сам молоть зерно — сделай мельницу, не хочешь сам кидать во врагов камни — сооруди катапульту, надоело гореть на кострах инквизиции и гнуть спину под феодалом — замути с ребятами ренессанс… впрочем, о чем это я.
Автоматизация, господа. Берешь какой-нибудь полезный процесс, в котором участвует человек, заменяешь человека на сложный механизм, получаешь профит. Относительно недавно также стало модно заменять человека куском кода. О, сколько благородных профессий может пасть под натиском информатизации. Особенно если учесть, что кусок кода в наше время способен не только на заранее определенное поведение, но и на «обучение» какому-то поведению.
Читать полностью »

Real-world text mining using machine learning

2012-04-17 в 9:39, admin, рубрики: machine learning, sentiment analysis, text mining, Мероприятия, метки: machine learning, sentiment analysis, text mining

21-ого апреля 2012 в рамках семинара по Автоматической обработке естественного языка состоится выступление Яна Жижки (Mendel University, Брно, Чехия).
Он прочитает доклад об использовании машинного обучения для извлечения информации из текстов. Будут рассмотрены применение различных алгоритмов и интерпретация результатов.
Отдельно будут показаны результаты по применению этих методов к реальным данным на примере анализа пользовательских отзывов на отели.
Доклад будет прочитан на английском языке.

Читать полностью »

Информация

Комментарии

Рекомендуем

Рубрика «machine learning» - 68

Ранжирование в Яндексе: как поставить машинное обучение на поток (пост #2)

Ранжирование в Яндексе: как поставить машинное обучение на поток (пост #1)

Энтропия и деревья принятия решений

Эволюция агентов управляемых нейронной сетью

Знания предметной области бесполезны. Когда предсказания становятся игрой, эксперты проигрывают

Обзор предложений Coursera: вторые 5 курсов

Cистема рекомендаций в облаке с помощью Hadoop и Apache Mahout

Классификатор kNN

Yet another classifier

Вместо вступления

Real-world text mining using machine learning