Сегодня мы начинаем публиковать серию постов о том, как в Яндексе построена работа над улучшением так волнующей всех формулой релевантности, и более широко — качеством ранжирования. Мы сосредоточимся на наших инструментах, которые избавили разработчиков поисковой системы от рутинных действий и помогли сфокусироваться на главном — изобретении новых подходов к улучшению поиска. Почти вся работа в этой области связана с машинным обучением, поэтому о его месте в Яндексе мы тоже немного расскажем.
Читать полностью »
Рубрика «data mining» - 97
Ранжирование в Яндексе: как поставить машинное обучение на поток (пост #1)
2013-03-26 в 9:06, admin, рубрики: big data, data mining, FML, learning to rank, machine learning, Блог компании Яндекс, машинное обучение, обучение ранжированию, факторы ранжирования, метки: FML, learning to rank, machine learning, машинное обучение, обучение ранжированию, факторы ранжированияMicrosoft показала «умный» Excel — «формулы» можно задавать на «обычном» языке
2013-03-23 в 19:37, admin, рубрики: data mining, Excel, office, данные, естественный язык, искусственный интеллект, Программирование, управление, метки: Excel, office, данные, естественный язык, управлениеРесурс MSFT Kitchen опубликовал видео с Microsoft TechFest, в котором продемонстрирована работа проекта Project Analyze исследовательского подразделения Microsoft Research. Суть проекта заключается в том, что работа с табличным процессором Excel производится не путём ввода формул и щёлкания по ячейкам, а при помощи команд, похожих на естественный английский язык.
Начиная с первой минуты видео (всего около 8 минут), демонстрируется в качестве примера финансовый документ с готовыми данными, в котором требуется получить ещё одно поле, складывая два последних — Base pay и Of pay. Обычный действия заключаются в том, что необходимо разместить курсор в нужной ячейке, ввести в неё формулу и «протащить» её до нужного диапазона. Вместо этого в поле для формулы вводится команда "add the base pay and of pay" и в итоге Excel заполняет поле, складывая указанные в «формуле» значения ячеек в указанных столбцах. Примерно также находится и сумма — командой "add up".
Далее показана работа команд, в которых легко угадываются foreach или некое подобие WHERE в SQL (вообще сильно похоже на SQL), что, в принципе, делает показанные примеры не вполне впечатляющими. Однако, оказывается системе можно задать и не вполне «стандартный» вопрос "who has a pay larger than average" (в итоге нужные поля Excel подсвечивает), что уже более похоже на обычную речь и выглядит более эффектно. К сожалению, на этом «естественные» вопросы более не показаны, так что о дальнейших особенностях системы можно только догадываться. Тем не менее, вероятно, будущие версии Excel (в Office 16)будут обладать некоторым подобием «естественного языка формул» или, возможно, неким подобием голосового управления, что в свете таких проектов как Siri выглядит уже вполне реально.
Читать полностью »
Реестр стационарных объектов наблюдения (комплексы ФВФ)
2013-03-21 в 10:19, admin, рубрики: data mining, блогосфера, информация, Микроформаты, метки: информация .png "Реестр стационарных объектов наблюдения (комплексы ФВФ)")
Для жителей Москвы на сайте www.data.mos.ru есть официальный список из 600 с лишним камер видеорегистрации ПДД. На вкладке «Для разработчиков» находится описание полей. Всю базу можно выгрузить в формате CVS.
www.data.mos.ru/datasets/621_reestr_statsionarnyh_obektov_nablyudeniya_kompleksy_fvf/
Хотя Яндекс карты знают многие из этих точек, это все же полезная информация, которую можно использовать при разработке своих приложений радар-детекторов.
Grab — новый интерфейс для работы с DOM-деревом HTML-документа
2013-03-19 в 22:11, admin, рубрики: data mining, dom, html, lxml, python, xpath, парсинг сайтов, метки: data mining, dom, html, lxml, python, xpath, парсинг сайтовПрепроцессинг данных и анализ моделей
2013-03-16 в 21:53, admin, рубрики: data mining, python, Программирование, метки: data mining, pythonВсем привет. В прошлом посте я рассказывал про некоторые базовые методы классификации. Сегодня, в силу специфики последней домашки, пост будет не столько про сами методы, сколько про обработку данных и анализ полученных моделей.
Задача
Данные были предоставлены факультетом статистики Мюнхенского университета. Вот здесь можно взять сам датасет, а также само описание данных (названия полей даны на немецком). В данных собраны заявки на предоставление кредита, где каждая заявка описывается 20 переменными. Помимо этого, каждой заявке соответствует, выдали ли заявителю кредит, или нет. Вот здесь можно подробно посмотреть, что какая из переменных означает.
Нашей задачей стояло построить модель, которая предсказывала бы решение, которое будет вынесено по тому или иному заявителю.
Энтропия и деревья принятия решений
2013-03-11 в 11:23, admin, рубрики: data mining, machine learning, искусственный интеллект, Программирование, энтропия, метки: machine learning, энтропияДеревья принятия решений являются удобным инструментом в тех случаях, когда требуется не просто классифицировать данные, но ещё и объяснить почему тот или иной объект отнесён к какому-либо классу.
Давайте сначала, для полноты картины, рассмотрим природу энтропии и некоторые её свойства. Затем, на простом примере, увидим каким образом использование энтропии помогает при создании классификаторов. После чего, в общих чертах сформулируем алгоритм построения дерева принятия решений и его особенности.
Читать полностью »
Распознавание рукописных символов с использованием Python и scikit
2013-03-05 в 14:00, admin, рубрики: data mining, kaggle, python, Песочница, распознавание символов, метки: data mining, kaggle, python, распознавание символов Привет. Наверняка многие интересуются методами машинного обучения и решения различных задач, которые обычными подходами не решаются. Недавно мне посчастливилось попасть на курс Data Mining, организованный в рамках программы GameChangers. Первым же домашним заданием было сделать сабмит на Kaggle — решить задачу Digit Recognizer.
Читать полностью »
Суперкомпьютер IBM Watson может стать вашим следующим шеф-поваром или врачом
2013-02-28 в 17:32, admin, рубрики: data mining, ibm watson, искусственный интеллект, суперкомпьютеры, метки: ibm watson, искусственный интеллект, суперкомпьютеры
Оснащённый системой искусственного интеллекта суперкомпьютер IBM Watson разбирается не только в диагностической медицине, но и в создании новых кулинарных рецептов.
Как пишет VentureBeat, Watson уже получил некоторый успех в качестве диагностического ассистента в нескольких американских медицинских центрах, но теперь IBM ищет возможности применения мощных способностей суперкомпьютера и в других сферах.
Читать полностью »
Дата-майнинг 10 000 актёров порно
2013-02-24 в 7:54, admin, рубрики: adult, data mining, статистика, метки: adult, статистика 
Вокруг adult киноиндустрии существует много мифов и заблуждений. Например, многие склонны думать, что типичная актриса — блондинка с пышными формами. На самом деле это далеко не так. Джон Миллворд (Jon Millward) осуществил дата-майнинг кинематографической базы Internet Adult Film Database и проанализировал информацию о 125 тыс. фильмах, которые содержат информацию более чем о 115 тыс. актёрах. Для статистического анализа были сделана выборка 10 000 человек.
Читать полностью »
IBM Watson закончил мединститут и пошёл на работу
2013-02-11 в 19:27, admin, рубрики: data mining, ibm watson, диагностика, искусственный интеллект, метки: ibm watson, диагностика 
Представители компаний IBM и WellPoint провели совместную конференцию, на которой объявили о начале коммерческой эксплуатации медицинской системы IBM Watson. Шесть экземпляров IBM Watson уже «трудоустроены» в больницы США в качестве врачей-диагностов.
Читать полностью »