Дайджест статей по анализу данных №2 (26.05.2014 — 8.06.2014)
.jpg "Дайджест статей по анализу данных №2 (26.05.2014 — 8.06.2014)")
Добрый день, уважаемые читатели.
Представляю вашему вниманию дайджест новостей и полезных материалов из мира анализа данных. Предыдущий дайджест [1] пользовался большой популярностью и поэтому я решил сделать их регулярными. Периодичность таких подборок будет 1 раз в 2 недели.
В сегодняшней подборки вы узнаете что общего у статистики и науке об анализе данных, как можно выявить ложную корреляцию, а также какие алгоритмы правят современным миром. Помимо этого вы получите небольшую шпаргалки по методам машинного обучения и NoSQL базам данных, ну и еще много чего интересного.
Теория
- Список NoSQL баз данных [2] (EN)
Полный перечень NoSQL БД, с разбивкой по категориям и кратким описанием. - 10 вещей из статистики применимые при анализе больших данных [3](EN)
В статье описаны общие подходы используемые в статистике и анализе больших данных. - Ложные корреляции в больших данных [4] (EN)
Еще одна статья на тему отличия ложных корреляций от истинных. Рассматривается 6 видов корреляций. - Развитие в анализе данных [5] (EN)
Выделены основные вехи развития себя как специалиста по анализу данных. На мой взгляд статья будет полезна тем, кто недавно начал заниматься анализом данных, но уже обладает базовыми представлениями об этом. - Станет ли Python лидером среди языков для анализа данных [6] (EN)
В статье показана динамика развития Python, в качестве инструмента для анализа данных, А также приводятся размышления, почему он сейчас пользуется большой популярностью. - 3 интересных, но малоизвестных, языка программирования [7] (EN)
Приводятся краткие описания языков: Julia, Scala, Erlang. - 3 тенденции в хранилищах данных для наблюдения [8] (EN)
В статье выделяется следующие тенденции: взятие данных из разных источников, прямой доступ аналитиков к данным и скорость работы с ними. - 7 основных правил для проекта с большими данными [9] (EN)
Перечислены моменты, на которые надо обратить внимание при начале работы с большими данными. - Строим команду аналитиков данных [10] (EN)
В статье показано, каких специалисты должны ходить в состав команды и почему. В основном разговор идет о 3 людях: специалист по работе с клиентами, контекстный аналитик, визуализатор. - 5 вопросов которые надо задать перед измерением чего-либо [11] (EN)
Показаны вопросы которое надо задать себе или закачку, перед началом анализирования какого-либо показателя. - Жизнь аналитика данных в небольших странах [12] (EN)
В статье описаны ряд трудностей, а также пути их решения, при работе аналитиком в небольших странах, таких как Бельгия, Швейцария и т.д. - The Graphviz Cookbook [13] (EN)
Сборник рецептов по использованию Graphviz для визуализации данных. - 10 советов аналитикам [14] (EN)
Эксперты в области аналитики делятся советами, которые помогут вам при анализе. - Трудности использования SQL при работе OLAP [15] (EN)
В статье описаны проблемы с которыми можно столкнуться при создании систем бизнес аналитика. - Априорные вероятности и распространенность «неожиданных» эффектов [16] (EN)
Интересная статья по оценке p-value и его интерпретации. - Простая байесовская сеть на основе цепей маркова [17] (EN)
Показано использование PyMC для построения такой сети. - Справка по структурам данных [18] (EN)
- Аналитики данных: прекратите искать, начните пользоваться [19](EN)
Интересная статья, в которой объясняется, как можно заменить аналитика данных если его нет в штате. - Стройте аналитические модели на нормальном распределении [20] (EN)
В статье описаны преимущества указанного подхода. - SAS делает свои курсы свободными [21] (EN)
Приятная новость для желающих ознакомиться с SAS. - BigML делает машинное обучение проще [22] (EN)
- 5 отличных ресурсов для изучения линейной алгебры [23] (EN)
- 4 важных применения эксцесса распределения [24] (EN)
- Инфорграфика противостояния языков для анализа данных [25] (EN)
- 4 вещи, которые можно получить из данных заказчика [26] (EN)
Кратко рассмотрено, какую выгоду могут принести сбор и анализ данных о ваших клиентах. - 20 туториалов для аналитика данных [27] (EN)
- Что скрывают нейронные сети? [28] (RU)
- А что действительно скрывают нейронные сети? [29] (RU)
- Шпаргалка по методам машинного обучения [30] (EN)
Шпаргалка создана для пакета scikit-learn. - Что такое глубокое обучение [31](EN)
- Советы по построению системы аналитики «с нуля» [32] (EN)
Литература
- Analytics in a Big Data World [33] (EN)
Руководство по анализу данных в различных отраслях. - Outlier Detection for Temporal Data [34] (EN)
- Подборка из 15 книг по машинному обучению и анализу данных [35](EN)
- Practical Data Science with R [36] (EN)
- Big Data Computing [37] (EN)
- Predictive Analytics, Data Mining and Big Data: Myths, Misconceptions and Methods [38] (EN)
- Data Mining and Analysis — Fundamental Concepts and Algorithms [39](EN)
- Predictive Analytics [40] (EN)
- Practical Machine Learning – Innovations in Recommendation [41] (EN)
- Книги, которые должны быть у аналитика [42] (EN)
Практика использования различных инструментов
- Изучение статистики с помощью IPython Notebook [43] (EN)
Подборка консолей IPython демонстрирующая основные приемы анализа данных. И все это сделано в виде учебника. Для начинающих изучать анализ данных с помощью Python очень рекомендую. - Победа Бразилии на домашнем чемпионате мира [44] (EN)
Еще одна статья посвященная предсказанию победителя грядущего ЧМ, на это раз с помощью R. - Распознование речи с помощью скрытых цепей маркова [45] (EN)
Показано как можно использовать Python и его пакеты для этой задачи. - Определение основных цветов изображения с помощью кластеризации [46] (EN)
Описано как выполнить эту задачу с помощью OpenCV и Python. - Введение в использование Node.js и MongoDB [47] (EN)
Небольшой простенький пример работы с Mongo средствами Node.js. - Работа с GDELT из Python [48] (EN)
Официальный туториал по работе с GDELT из Python. - IPython и plotly [49] (EN)
Пример использования plotly совместно с ipython. Оформлена статья как консоль ipython notebook. - Построение рекомендательной системы c использование R [50] (EN)
Небольшая статья о том как сделать простенькую систему рекомендаций с помощью нескольких строк кода на R. - Более 100 наборов данных для анализа [51] (EN)
Небольшая подборка наборов данных. - Пошаговое руководство по настройке R-Hadoop [52] (EN)
- Подборка обучающих материалов по анализу данных [53] (EN)
Обучающие видео
- Python for Big Data Analytics [54] (EN)
Подборка видео описывающих, как язык Python может применяться для анализа больших данных. - Введение в бизнес анализ [55] (EN)
Онлайн лекции по основам бизнес-аналитики. - Прогнозирование в реальном времени с помощью scikit-learn и RabbitMQ [56] (EN)
Разные статьи по теме
- 10 алгоритмов, которые правят миром [57] (RU)
Рассказ о алгоритмах, которые чаще всего используются в настоящее время. - Список сокращений, принятых при анализе больших данных [58] (EN)
В статье собраны сокращения, наиболее часто встречающиеся в статьях по большим данным. - Как анализ данных помогает улучшить здоровье [59] (EN)
Интервью с директором по науке сервиса MyFitnessPal. - Предсказание чемпиона мира по футболу 2014 [60] (EN)
В статье описана концепция предсказания, а также есть ссылка на описание методологии (которая кстати очень красиво визуализирована). - Исследование на предмет эволюции шахмат [61] (EN)
В статье исследуется вопрос о том, как изменялось начало шахматных партий с 1850 г. до наших дней. - Моделирование катастроф с помощью машинного обучения [62] (EN)
Интервью с Дагом Лохманном (Dag Lohmann) CEO компании KatRisk, которая занимается моделирование катастроф. - Анализ данных и статистика — одно и тоже? [63] (EN)
Интересные размышления автор при ответе на вопрос «чем анализ данных отличается от статистики?». - Почему банки по прежнему против «больших данных» [64] (EN)
В статье дан ряд ответов, на вопросы различных банкиров как можно применять «большие данные» в их бизнесе. - Сравнение производительности Revolution R Enterprise и SAS [65] (EN)
Приведена презентация по сравнению возможностей вышеуказанных аналитических систем. - 250 миллионов международных событий в одном месте [66] (RU)
- Противоборство аналитиков и статистиков [67] (EN)
Довольно занимательная статья о том как борются между собой эти 2 лагеря. - Революция данных в цифровую эпоху [68] (EN)
Размышления Эрика Шмидта на тему как большие данные могут изменить мир.
Автор: kuznetsovin
Источник [69]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/analiz-danny-h/61816
Ссылки в тексте:
[1] дайджест: http://habrahabr.ru/post/223903/
[2] Список NoSQL баз данных: http://nosql-database.org/
[3] 10 вещей из статистики применимые при анализе больших данных: http://simplystatistics.org/2014/05/22/10-things-statistics-taught-us-about-big-data-analysis/
[4] Ложные корреляции в больших данных: http://www.ibmbigdatahub.com/blog/big-datas-bogus-correlations
[5] Развитие в анализе данных: http://www.datasciencecentral.com/profiles/blogs/continuing-along-the-path-of-data-science?xg_source=activity
[6] Станет ли Python лидером среди языков для анализа данных: http://www.experfy.com/blog/python-data-science/
[7] 3 интересных, но малоизвестных, языка программирования: http://www.datasciencecentral.com/profiles/blogs/three-interesting-but-little-known-programming-languages?overrideMobileRedirect=1
[8] 3 тенденции в хранилищах данных для наблюдения: http://www.techrepublic.com/article/three-data-warehouse-trends-to-watch/#ftag=RSS56d97e7
[9] 7 основных правил для проекта с большими данными: http://bigdataanalyticsnews.com/7-golden-rules-big-data-projects/
[10] Строим команду аналитиков данных: https://medium.com/data-science-analytics/f06352dcada8
[11] 5 вопросов которые надо задать перед измерением чего-либо: https://www.measuringusability.com/blog/five-answers.php
[12] Жизнь аналитика данных в небольших странах: http://www.datasciencecentral.com/profiles/blogs/being-a-data-scientist-in-a-small-country-challenges-and-solution
[13] The Graphviz Cookbook: http://noumlaut.com/graphviz-cookbook
[14] 10 советов аналитикам: http://www.datasciencecentral.com/forum/topics/top-ten-big-data-analytics-tips
[15] Трудности использования SQL при работе OLAP: http://www.analyticbridge.com/profiles/blogs/what-difficulties-sql-have-in-olap
[16] Априорные вероятности и распространенность «неожиданных» эффектов: http://daniellakens.blogspot.nl/2014/05/prior-probabilities-and-replicating.html
[17] Простая байесовская сеть на основе цепей маркова: http://bugra.github.io/work/notes/2014-05-23/simple-bayesian-network-via-monte-carlo-markov-chain-mcmc-pymc/
[18] Справка по структурам данных: http://www.jfsowa.com/logic/math.htm
[19] Аналитики данных: прекратите искать, начните пользоваться: http://www.informationweek.com/big-data/big-data-analytics/data-scientists-stop-searching-start-grooming/a/d-id/1269237
[20] Стройте аналитические модели на нормальном распределении: http://www.techrepublic.com/article/model-your-analytics-approach-on-a-statistical-normal-distribution/
[21] SAS делает свои курсы свободными: http://decisionstats.com/2014/06/02/sas-makes-it-free-to-learn-sas/
[22] BigML делает машинное обучение проще: https://bigml.com/developers
[23] 5 отличных ресурсов для изучения линейной алгебры: http://www.dataenthusiast.com/2014/06/5-great-resources-for-learning-linear-algebra/
[24] 4 важных применения эксцесса распределения: http://www.statisticsviews.com/details/feature/6047711/Kurtosis-Four-Momentous-Uses-for-the-Fourth-Moment-of-Statistical-Distributions.html
[25] Инфорграфика противостояния языков для анализа данных: http://www.r-bloggers.com/statistical-language-wars-the-infograph/
[26] 4 вещи, которые можно получить из данных заказчика: http://www.datasciencecentral.com/profiles/blogs/4-things-to-do-with-customer-data
[27] 20 туториалов для аналитика данных: http://www.datasciencecentral.com/profiles/blogs/17-short-tutorials-all-data-scientists-should-read-and-practice
[28] Что скрывают нейронные сети?: http://habrahabr.ru/post/225095/
[29] А что действительно скрывают нейронные сети?: http://habrahabr.ru/company/abbyy/blog/225349/
[30] Шпаргалка по методам машинного обучения: http://peekaboo-vision.blogspot.com/2013/01/machine-learning-cheat-sheet-for-sci
[31] Что такое глубокое обучение: http://scyfer.nl/?page_id=766
[32] Советы по построению системы аналитики «с нуля» : http://searchbusinessanalytics.techtarget.com/tip/Tips-on-building-an-analytics-infrastructure-from-scratch-quickly
[33] Analytics in a Big Data World: http://www.analyticbridge.com/group/books/forum/topics/analytics-in-a-big-data-world
[34] Outlier Detection for Temporal Data: http://www.analyticbridge.com/group/books/forum/topics/book-outlier-detection-for-temporal-data
[35] Подборка из 15 книг по машинному обучению и анализу данных: http://www.analyticbridge.com/profiles/blogs/machine-learning-and-data-mining-books-a-baker-s-dozen-for-data
[36] Practical Data Science with R: http://www.manning.com/zumel/
[37] Big Data Computing: http://www.analyticbridge.com/group/books/forum/topics/new-book-big-data-computing
[38] Predictive Analytics, Data Mining and Big Data: Myths, Misconceptions and Methods: http://www.analyticbridge.com/group/books/forum/topics/book-predictive-analytics-data-mining-and-big-data-myths-misconce
[39] Data Mining and Analysis — Fundamental Concepts and Algorithms: http://www.analyticbridge.com/group/books/forum/topics/book-data-mining-and-analysis-fundamental-concepts-andalgorithms
[40] Predictive Analytics: http://bookawards.smallbiztrends.com/technology-2014/predictive-analytics/
[41] Practical Machine Learning – Innovations in Recommendation: http://www.datasciencecentral.com/profiles/blogs/recommender-systems-past-present-and-future
[42] Книги, которые должны быть у аналитика: http://www.analyticsvidhya.com/blog/2014/06/books-data-scientists-or-aspiring-ones/
[43] Изучение статистики с помощью IPython Notebook: http://sujitpal.blogspot.fr/2014/05/ipython-notebooks-for-statlearning.html
[44] Победа Бразилии на домашнем чемпионате мира: http://www.r-bloggers.com/home-victory-for-brazil-in-the-2014-fifa-world-cup/
[45] Распознование речи с помощью скрытых цепей маркова: https://kastnerkyle.github.io/blog/2014/05/22/single-speaker-speech-recognition
[46] Определение основных цветов изображения с помощью кластеризации: http://www.pyimagesearch.com/2014/05/26/opencv-python-k-means-color-clustering/
[47] Введение в использование Node.js и MongoDB: http://www.smashingmagazine.com/2014/05/22/detailed-introduction-nodejs-mongodb/
[48] Работа с GDELT из Python: http://nbviewer.ipython.org/github/JamesPHoughton/Published_Blog_Scripts/blob/master/GDELT%20Wrangler%20-%20Clean.ipynb
[49] IPython и plotly: http://nbviewer.ipython.org/gist/msund/61cdbd5b22c103fffb84
[50] Построение рекомендательной системы c использование R: http://www.dataperspective.info/2014/05/basic-recommendation-engine-using-r.html
[51] Более 100 наборов данных для анализа: http://rs.io/2014/05/29/list-of-data-sets.html
[52] Пошаговое руководство по настройке R-Hadoop: http://www.rdatamining.com/tutorials/r-hadoop-setup-guide
[53] Подборка обучающих материалов по анализу данных: http://www.mysliderule.com/learning-paths/data-analysis/learn/
[54] Python for Big Data Analytics: http://www.edureka.in/blog/python-for-big-data-analytics/#utm_content=buffer09e67
[55] Введение в бизнес анализ: http://www.analyticbridge.com/profiles/blogs/introduction-to-business-analytics-online-lecture?overrideMobileRedirect=1
[56] Прогнозирование в реальном времени с помощью scikit-learn и RabbitMQ: http://www.techtalkshub.com/realtime-predictive-analytics-using-scikit-learn-rabbitmq/
[57] 10 алгоритмов, которые правят миром: http://www.computerra.ru/99874/10-algoritmov-kotoryie-pravyat-mirom/
[58] Список сокращений, принятых при анализе больших данных: http://www.datasciencecentral.com/profiles/blogs/acronyms-of-big-data-analytics-from-a-to-z?xg_source=activity
[59] Как анализ данных помогает улучшить здоровье: http://www.datascienceweekly.org/blog/22-myfitnesspal-data-science-improve-health-fitness-chul-lee-interview
[60] Предсказание чемпиона мира по футболу 2014: http://blog.visual.ly/predicting-fifa-world-cup/
[61] Исследование на предмет эволюции шахмат: http://www.randalolson.com/2014/05/26/a-data-driven-exploration-of-the-evolution-of-chess-popularity-of-openings/
[62] Моделирование катастроф с помощью машинного обучения: http://www.datascienceweekly.org/blog/21-big-data-machine-learning-influencing-catastrophe-modeling-dag-lohmann-interview
[63] Анализ данных и статистика — одно и тоже?: http://inside-bigdata.com/2014/05/22/data-science-vs-statistics-one/
[64] Почему банки по прежнему против «больших данных»: http://www.information-management.com/news/why-banks-still-struggle-with-big-data-10025697-1.html
[65] Сравнение производительности Revolution R Enterprise и SAS: http://blog.revolutionanalytics.com/2014/05/benchmarking-sas-and-rre.html
[66] 250 миллионов международных событий в одном месте: http://habrahabr.ru/post/224647/
[67] Противоборство аналитиков и статистиков: http://www.datasciencecentral.com/profiles/blogs/data-science-has-been-using-rebel-statistics-for-a-long-time
[68] Революция данных в цифровую эпоху: http://data-informed.com/data-revolution-new-digital-age/
[69] Источник: http://habrahabr.ru/post/225589/
Нажмите здесь для печати.