Рубрика «data mining» - 103

в 11:10, , рубрики: data mining, IBM POWER 7, высокая производительность, шахматы, метки: ,

Запустив шахматную программу Rybka на рабочей станции IBM POWER 7 с 2800 ядрами, автор программы сумел решить королевский гамбит — один из самых сложных и острых дебютов шахматной партии, который активно использовали Борис Спасский и Бобби Фишер. Компьютерная программа рассчитала исход всех вариантов развития шахматной партии и пришла к неожиданным результатам.

Программа «Рыбка» решила королевский гамбит

Оказывается, в случае принятия чёрными жертвы на f4 у белых остаётся только один ход, который ведёт в ничьей (в случае идеальной игры с обеих сторон) — слон на e2. Во всех остальных случаях белые получают мат.
Читать полностью »

в 7:36, , рубрики: clojure, data mining, machine learning, nlp, обработка текста, метки: , , ,

Здравствуйте.

В контексте анализа данных из твиттера возникла задача обработки хештегов. Нужно было взять хештег и разбить его на отдельные слова (#habratopic => habra topic). Задача казалась примитивной, но, получается, я ее недооценил. Пришлось перебрать несколько алгоритмов пока не было найдено то, что надо.

Эту статью можно считать некой хронологией решения задачи с анализом преимуществ и недостатков каждого из использованных алгоритмов. Поэтому, если вам интересна данная тема, прошу под кат.

Читать полностью »

в 2:37, , рубрики: data mining, Алгоритмы, города, кластерный анализ, метки: ,

Введение

Кластерный анализ — задача разбиения определенного множества объектов на группы, называемые кластерами так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Данный анализ предполагает следующие цели:

  • Понимание данных путем выявления кластерной структуры.
  • Сжатие данных. Если исходная выборка избыточно большая, то можно сократить её, оставив по одному наиболее типичному представителю от каждого кластера.
  • Обнаружение новизны. Выделяются нетипичные объекты, которые не удаётся присоединить ни к одному из кластеров.

В данной статье будет использоваться метод нечеткой кластеризации c-means. Отличительной особенностью нечеткой кластеризации является тот факт, что каждый объект может относиться к каждому кластеру с определенной степенью принадлежности.

Для анализа будут выбраны 17 крупнейших городов России по населению, в качестве характеристик выступают социально-экономические показатели (демография, занятость населения, зарплата, преступность и т.д.). Результатом будут являться полученные кластеры городов.
image

Читать полностью »

в 17:24, , рубрики: data mining, wikipedia, база знаний, искусственный интеллект, Семантическая Сеть, метки: ,

Wikimedia Foundation запустила сайт Wikidata — «открытую базу знаний о мире, которую могут читать и редактировать как люди, так и машины». Проект будут вести на всех языках, доступных в Wikimedia, и он должен стать неким центральным и единым хранилищем данных для всех проектов Wikimedia, примерно как Wikimedia Commons является центральным хранилищем мультимедийных файлов для всех остальных проектов.

Главная суть Wikidata — снабжать структурированной информацией компьютерные программы. Должен существовать некий единый формат и общий способ для всех компьютеров, как извлекать знания о мире, будь то информация о часовых поясах, координаты городов мира или дни рождения актёров. Все эти данные должны быть доступны компьютерам через единый интерфейс.
Читать полностью »

в 18:12, , рубрики: data mining, nlp, pmi, sentiment analysis, метки: , ,

Здравствуйте.
Если вы занимаетесь DataMining, анализом текстов на выявление мнений или вам просто интересны статистические модели для оценки эмоциональной окраски предложений — эта статья может оказаться интересной.
Далее, чтобы не тратить время потенциального читателя впустую на груду теории и рассуждений, сразу краткие результаты.
Реализованный подход работает приблизительно с 55% точностью в трех классах: негативный, нейтральный, позитивный. Как говорит Википедия, 70% точность приблизительно равна точности человеческих суждений в среднем (в силу субъективности трактований каждого).
Следует отметить, что существует немало утилит с точностью выше полученной мной, но описанный подход, можно достаточно просто усовершенствовать (будет описано ниже) и получить в итоге 65-70%. Если после всего вышеизложенного у вас осталось желание читать — добро пожаловать под кат.
Читать полностью »

в 9:47, , рубрики: data mining, Алгоритмы, обработка изображений, распознавание образов, метки:

Введение

При разработке систем распознавания образов часто возникают проблемы при оценке параметров, которые используются в качестве входного вектора. В данной статье я опишу подход, который можно применять при анализе векторов обучающей выборки, с целью обнаружения зависимостей между параметрами, а также сокращения размерности, что позволит в свою очередь сократить затрачиваемые вычислительные ресурсы при анализе данных и повысить репрезентативность обучающей выборки.
image

Целью данной работы является определение факторов входного вектора критериев обучающей выборки, предназначенных для решения данной задачи.
Читать полностью »

в 11:16, , рубрики: data mining, аналитика, распознавание объектов, спорт, футбол, метки: , , , ,

Data Mining в футболе: давайте оцифруем матч и всех посчитаем!
Тренер следит за вами. Тренер помнит. Тренер не забывает и не прощает.

Если вы видели фильм «Человек, который изменил всё», то уже почти всё знаете. Игроков нужно оценивать по массе показателей, причём интуиция работает далеко не всегда. С помощью аналитики можно в разы увеличить эффективность тренировок, найти новых игроков, которые помогут команде и просто повысить уровень игры. Аналитика рулит.

Футбол в реальности сначала чем-то напоминает RPG без правил, где нужно разбираться. После введения аналитики — это такая же RPG, к сотням показателейЧитать полностью »

в 10:27, , рубрики: data mining, grab, grablab, lxml, pycurl, python, spider, парсинг, метки: , , , , , , ,

Я ранее уже рассказывал на хабре о Grab — библиотеке для парсинга сайтов и о Spider — асинхронном модуле для парсинга. Рад сообщить, что я наконец-то дописал документацию по Grab. Я решил писать всё на русском языке т.к. на английском языке мне труднее выражать мысли. На деле писанины получилось гораздо больше, чем представлялось в начале, но я таки описал практически все функции библиотеки. Я решил просто вставить сюда, оглавление, кликайте на интересный раздел и читайте о возможностях Grab:

в 9:07, , рубрики: 3D-печать, data mining, анализ изображений, обработка данных, метки: , , ,

Поисковые машины и технологии / Wolfram Alpha Pro

Сегодня официально представлена продвинутая версия научного поисковика Wolfram Alpha Pro. Это самый значительный апдейт за всё время существования поисковой системы. Хотя её и раньше трудно было назвать «поисковой системой», а сейчас это вообще нечто фундаментально иное.
Итак, на что способен Wolfram Alpha Pro за пять долларов в месяц?
Во-первых, чтобы воспользоваться «премиальными» возможностями, нужно зарегистрироваться и оплатить подписку ($4,99 в месяц, $2,99 для студентов), которая сейчас предоставляется бесплатно на 14 дней.
После авторизации на сайте вы увидите тот же интерфейс, но с маленькими пиктограммами, за которымиЧитать полностью »

в 0:00, , рубрики: data mining, бизнес-модели, Управление продажами, Управление продуктом

Продолжаю цикл статей по анализу продукта (начало)

В прошлой статье я погрузился в анализ выручки и разбил ее на 2 компоненты — MRPU и кол-во клиентов. Сегодня рассмотрим дальнейшие шаги в анализе и разложим на составляющие кол-во клиентов и их динамику.

Теперь общая схема анализа выглядит так:

Погружаемся в динамику клиентской базы: когортный анализ и анализ потоков - 1

Когортный анализ позволяет объяснить тенденции, протекающие в клиентской базе и пробрасывает прямой мост в воронку продаж и действия по удержанию и возвращению клиентов.

Читать полностью »

1...1020...101102103
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js