- PVSM.RU - https://www.pvsm.ru -

Подборка рабочих примеров обработки данных

Привет, читатель.

По стопам моего первого поста [1] подборки датасетов для машинного обучения — сделаю подборку относительно свежих датасетов с рабочими примерами по обработке данных. Ведь ни для кого не секрет, что обучение на хороших примерах проходит эффективнее и быстрее. Посмотрим, что интересного нам смогут показать одни из лучших примеров по обработке данных.

Схема работы с текущим постом унаследуется от моего поста про лучшие блокноты по ML и DS [2], а именно — сохранил в закладки → передал коллеге.

+ бонус в конце статьи — крутой курс от ФПМИ МФТИ.

image

Итак, давайте приступим.

Подборка датасетов с рабочими примерами обработки данных:

Suicide Rates Overview 1985 to 2016 [3] — сравнение социально-экономической информации с показателями самоубийств по годам и странам.

Примеры обработки:

Spotify's Worldwide Daily Song Ranking [7] — ежедневный рейтинг 200 самых прослушиваемых песен в 53 странах с 2017 и 2018 годов пользователями Spotify.

Пример обработки:

Crimes in Boston [11] — записи из Бостонской системы отчетов о происшествиях с преступностью, включающая в себя происшествия, и информацию о том когда и где оно произошло.

Пример обработки:

Google Play Store Apps [15] — категории, рейтинги, размер всех приложений Google Play.

Пример обработки:

Pokémon for Data Mining and Machine Learning [19] — статистика и особенности покемонов;

Пример обработки:

A Million News Headlines [23] — данные заголовков новостей, опубликованных за последние 15 лет.

Пример обработки:

Airplane Crashes Since 1908 [27] — полная история авиакатастроф по всему миру, с 1908 года по настоящее время.

Пример обработки:

News Headlines Dataset For Sarcasm Detection [31] — высококачественный набор данных для задачи обнаружения сарказма.

Пример обработки:

Historical Air Quality [35] — данные о качестве воздуха, собранные на наружных мониторах по всей территории США.

Пример обработки:

Nutrition Facts for McDonald's Menu [39] — анализ питания каждого пункта меню в McDonald's США.

Пример обработки:

LEGO Database [43] — детали / комплекты / цвета и запасы каждого официального набора LEGO в базе данных Rebrickable.

Пример обработки:

Global Commodity Trade Statistics [47] — объемы импорта и экспорта для 5000 товаров в большинстве стран мира за последние 30 лет.

Пример обработки:

Crime in India [51] — полная информация о различных аспектах преступлений, совершенных в Индии с 2001 года.

Пример обработки:

Predicting a Pulsar Star [55] — данные по пульсарам, собранные во время обзора Вселенной.

Примеры обработки:

French employment, salaries, population per town [59] — данные, показывающие равенство и неравенство во Франции.

Пример обработки:

United States Census [63] — данные переписи в США.

Пример обработки:

California Housing Prices [67] — цена на жилье в Калифорнии.

Пример обработки:

US Unemployment Rate by County, 1990-2016 [71] — данные по безработице министерства труда США.

Пример обработки:

World of Warcraft Avatar History [75] — набор записей, которые детализируют информацию о персонажах игрока в игре с течением времени.

Пример обработки:

The Gravitational Waves Discovery Data [79] — данные о событиях гравитационных волн GW150914.

Пример обработки:

Бонус!

А бонусом у нас сегодня будет прекрасный курс по Deep Learning [83], рассчитанный на старшеклассников, интересующихся программированием и математикой, а также студентов, которые хотят начать заниматься глубоким обучением.

Цель курса — познакомить с основными принципами глубокого обучения (нейронных сетей) в интерактивном формате и на примере практических задач.

Программа курса

  1. Python: основы, Google Colab; [84]
  2. Введение в линейную алгебру. Векторы. Матрицы и операции с ними. Библиотека NumPy; [85]
  3. Библиотеки Pandas и MatPlotlib. Основы машинного обучения; [86]
  4. Элементы теории оптимизации. Градиент. Градиентный спуск. Линейные модели; [87]
  5. Введение в глубокое обучение. Перцептрон. Нейрон с сигмоидой (и другими функциями активации). Основы ООП в Python; [88]
  6. Библиотека PyTorch. Многослойные нейросети; [89]
  7. Обучение нейронных сетей на практике. Cifar10, notMNIST; [90]
  8. Сверточные нейросети. Сверточный слой. Пулинг слой; [91]
  9. Практика обучения нейросетей. Классификация дорожных знаков; [92]
  10. Transfer Дearning. Популярные в Computer Vision архитектуры; [93]
  11. Сегментация картинок. U-Net; [94]
  12. Участие в соревнованиях на Kaggle; [95]
  13. Object Detection. YOLOv3; [96]
  14. Классический GAN. Нейронный перенос стиля; [97]
  15. Базовые методы обработки текста; [98]
  16. Word Embeddings; [99]
  17. Рекуррентные нейронные сети; [100]
  18. LSTM, GRU ячейки; [101]
  19. Языковые модели; [102]
  20. Машинный перевод; [103]
  21. Text2Speech; [104]
  22. SuperResolution. [105]

Также вы можете заглянуть на Youtube-канал [106] Deep Learning School. Там много отличных видео ;)

На этом наша короткая подборка примеров обработки данных подошла к концу. Надеюсь вы узнали для себя что-нибудь новое. Как принято на Хабре, понравился пост — поставь плюс. Не забудьте поделиться с коллегами. Также, если у вас есть то, чем вы можете поделиться сами — пишите в комментариях. Больше информации о машинном обучении и Data Science на Хабре [107] и в телеграм-канале Нейрон [108] (@neurondata).

Всем знаний!

Автор: Rushan

Источник [109]

Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/python/324571

Ссылки в тексте:

[1] первого поста: https://habr.com/en/post/452392/

[2] лучшие блокноты по ML и DS: https://habr.com/en/post/460321/

[3] Suicide Rates Overview 1985 to 2016: https://www.kaggle.com/russellyates88/suicide-rates-overview-1985-to-2016

[4] Suicide data — Full interactive dashboard;: https://www.kaggle.com/tavoosi/suicide-data-full-interactive-dashboard

[5] Mental Health, Happiness, Economics, Human Freedom;: https://www.kaggle.com/rblcoder/mental-health-happiness-economics-human-freedom

[6] Data Visualization of Suicide Rates: https://www.kaggle.com/kralmachine/data-visualization-of-suicide-rates

[7] Spotify's Worldwide Daily Song Ranking: https://www.kaggle.com/edumucelli/spotifys-worldwide-daily-song-ranking

[8] Top Songs on Spotify: What makes them popular?;: https://www.kaggle.com/cihanoklap/top-songs-on-spotify-what-makes-them-popular

[9] Spotify Chart Trend + Seasonal ARIMA;: https://www.kaggle.com/caicell/spotify-chart-trend-seasonal-arima

[10] Trends in Spotify's Worldwide Daily Songs 17 -18.: https://www.kaggle.com/irisdorn/trends-in-spotify-s-worldwide-daily-songs-17-18

[11] Crimes in Boston: https://www.kaggle.com/AnalyzeBoston/crimes-in-boston

[12] Boston crimes starter EDA; : https://www.kaggle.com/heesoo37/boston-crimes-starter-eda

[13] Boston Crime Reports;: https://www.kaggle.com/royrangan7/boston-crime-reports

[14] transfer learning and ImageDataGenerator.: https://www.kaggle.com/hemprove1/transfer-learning-and-imagedatagenerator-in-kera2

[15] Google Play Store Apps: https://www.kaggle.com/lava18/google-play-store-apps

[16] All that you need to know about the Android market;: https://www.kaggle.com/lava18/all-that-you-need-to-know-about-the-android-market

[17] How to get «High» Rating on Play Store;: https://www.kaggle.com/tanetboss/how-to-get-high-rating-on-play-store

[18] Google Play Store EDA.: https://www.kaggle.com/danilodiogo/google-play-store-eda-plotting-with-highcharts

[19] Pokémon for Data Mining and Machine Learning: https://www.kaggle.com/alopez247/pokemon

[20] Pokemon Data Clustering;: https://www.kaggle.com/jonathanbouchet/pokemon-data-clusters

[21] Pokemon Types and Stats ggplot2 Visualisations;: https://www.kaggle.com/maxphilipp/pokemon-types-and-stats-ggplot2-visualisations

[22] Pokemon data analysing.: https://www.kaggle.com/perihanbagbudar/pokemon-data-analysing

[23] A Million News Headlines: https://www.kaggle.com/therohk/million-headlines

[24] What is with News headlines;: https://www.kaggle.com/hiteshp/what-is-with-news-headlines

[25] Meaningful Random Headlines by Markov Chain;: https://www.kaggle.com/nulldata/meaningful-random-headlines-by-markov-chain

[26] Topic Modelling with LSA and LDA.: https://www.kaggle.com/rcushen/topic-modelling-with-lsa-and-lda

[27] Airplane Crashes Since 1908: https://www.kaggle.com/saurograndi/airplane-crashes-since-1908

[28] Who not to fly with...;: https://www.kaggle.com/garydee/who-not-to-fly-with

[29] Airplane Crashes [Data Visualization];: https://www.kaggle.com/ruslankl/airplane-crashes-data-visualization

[30] Chinese Zodiac and Aircraft Deaths.: https://www.kaggle.com/jeffd23/chinese-zodiac-and-aircraft-deaths

[31] News Headlines Dataset For Sarcasm Detection: https://www.kaggle.com/rmisra/news-headlines-dataset-for-sarcasm-detection

[32] Detecting Sarcasm Using Different Embeddings;: https://www.kaggle.com/nilanml/detecting-sarcasm-using-different-embeddings

[33] Sarcasm with Keras;: https://www.kaggle.com/mytymohan/sarcasm-with-keras

[34] Beginners's guide to NLP using spaCy: https://www.kaggle.com/theainerd/beginners-s-guide-to-nlp-using-spacy

[35] Historical Air Quality: https://www.kaggle.com/epa/epa-historical-air-quality

[36] Air Pollution 101;: https://www.kaggle.com/mhajabri/air-pollution-101

[37] Let's analyze our Air that we take!;: https://www.kaggle.com/niyamatalmass/let-s-analyze-our-air-that-we-take

[38] What these weather data will tell us?: https://www.kaggle.com/naturebalance/what-these-weather-data-will-tell-us

[39] Nutrition Facts for McDonald's Menu: https://www.kaggle.com/mcdonalds/nutrition-facts

[40] Super Sized We?: https://www.kaggle.com/arthurtok/super-sized-we-mcdonald-s-nutritional-metrics

[41] Calories we eat...in Mcdonald's;: https://www.kaggle.com/devisangeetha/calories-we-eat-in-mcdonald-s

[42] McDonald's Menu: https://www.kaggle.com/kathakaliseth/mcdonald-s-menu-comparative-nutrition-values

[43] LEGO Database: https://www.kaggle.com/rtatman/lego-database

[44] LEGO- Let's play;: https://www.kaggle.com/devisangeetha/lego-let-s-play

[45] Finding Lego color themes with topic models;: https://www.kaggle.com/nateaff/finding-lego-color-themes-with-topic-models

[46] Have LEGO sets been getting bigger over time?: https://www.kaggle.com/rtatman/have-lego-sets-been-getting-bigger-over-time

[47] Global Commodity Trade Statistics: https://www.kaggle.com/unitednations/global-commodity-trade-statistics

[48] Overall Global Trading Statistics;: https://www.kaggle.com/duttadebadri/overall-global-trading-statistics

[49] Trade Statistics;: https://www.kaggle.com/jpnewmenji/trade-statistics

[50] Sheeps vs Goats.: https://www.kaggle.com/traker/sheeps-vs-goats

[51] Crime in India: https://www.kaggle.com/rajanand/crime-in-india

[52] Crime Analysis in India;: https://www.kaggle.com/siddharthaduggirala2/crime-analysis-in-india

[53] Crime Data EDA;: https://www.kaggle.com/pranoybiswas/crime-data-eda

[54] Exploratory — Top States & Districts.: https://www.kaggle.com/vishwasshrikhande/exploratory-top-states-districts

[55] Predicting a Pulsar Star: https://www.kaggle.com/pavanraj159/predicting-a-pulsar-star

[56] Predicting pulsar star in the universe;: https://www.kaggle.com/pavanraj159/predicting-pulsar-star-in-the-universe

[57] Prediciting A Pulsar Star;: https://www.kaggle.com/efeergun96/prediciting-a-pulsar-star

[58] Pulsar Star Classification: https://www.kaggle.com/gulsahdemiryurek/pulsar-star-classification

[59] French employment, salaries, population per town: https://www.kaggle.com/etiennelq/french-employment-by-town/kernels

[60] Using Regression to Predicting Earnings in France;: https://www.kaggle.com/skalskip/using-regression-to-predicting-earnings-in-france

[61] Interactive Map & Graph — job & salary inequality;: https://www.kaggle.com/etiennelq/interactive-map-graph-job-salary-inequality

[62] How big is French Industry?: https://www.kaggle.com/skalskip/how-big-is-french-industry-data-visualization

[63] United States Census: https://www.kaggle.com/census/census-bureau-usa

[64] How to Query the USA Census Dataset;: https://www.kaggle.com/paultimothymooney/how-to-query-the-usa-census-dataset

[65] United States Campsites;: https://www.kaggle.com/suhas2832/united-states-campsites

[66] Fork of United States Campsites: https://www.kaggle.com/yasmino/fork-of-united-states-campsites

[67] California Housing Prices: https://www.kaggle.com/camnugent/california-housing-prices

[68] Introduction to machine learning in R (tutorial);: https://www.kaggle.com/camnugent/introduction-to-machine-learning-in-r-tutorial

[69] Gradient Boosting and Parameter Tuning in R;: https://www.kaggle.com/camnugent/gradient-boosting-and-parameter-tuning-in-r

[70] Geospatial Feature Engineering and Visualization: https://www.kaggle.com/camnugent/geospatial-feature-engineering-and-visualization

[71] US Unemployment Rate by County, 1990-2016: https://www.kaggle.com/jayrav13/unemployment-by-county-us

[72] Maps are beautiful, Unemployment is not;: https://www.kaggle.com/stansilas/maps-are-beautiful-unemployment-is-not

[73] Analysis of world crime;: https://www.kaggle.com/zikazika/analysis-of-world-crime

[74] Time Series Analysis on US Unemployment Rate.: https://www.kaggle.com/rkamath1/time-series-analysis-on-us-unemployment-rate

[75] World of Warcraft Avatar History: https://www.kaggle.com/mylesoneill/warcraft-avatar-history

[76] A World of Warcraft;: https://www.kaggle.com/tonyliu/initial-look-race-vs-class-heatmap

[77] Wow Dataset — Exploratory Analysis;: https://www.kaggle.com/thibalbo/wow-dataset-exploratory-analysis

[78] General EDA and a Movement network chart: https://www.kaggle.com/amitkohli/general-eda-and-a-movement-network-chart

[79] The Gravitational Waves Discovery Data: https://www.kaggle.com/elenacuoco/the-gravitational-waves-discovery-data

[80] Dataload;: https://www.kaggle.com/elenacuoco/dataload

[81] Read HDF5 from Julia;: https://www.kaggle.com/bruessow/read-hdf5

[82] Plot the Data.: https://www.kaggle.com/habineza/plot-the-data

[83] прекрасный курс по Deep Learning: https://www.dlschool.org/

[84] Python: основы, Google Colab;: https://github.com/DLSchool/dlschool/tree/master/01.%20Introduction%20to%20AI%2C%20DL%20instruments

[85] Введение в линейную алгебру. Векторы. Матрицы и операции с ними. Библиотека NumPy;: https://github.com/DLSchool/dlschool/tree/master/02.%20Linear%20Algebra%2C%20Numpy

[86] Библиотеки Pandas и MatPlotlib. Основы машинного обучения;: https://github.com/DLSchool/dlschool/tree/master/03.%20Pandas%2C%20Matplotlib%2C%20ML%20basics

[87] Элементы теории оптимизации. Градиент. Градиентный спуск. Линейные модели;: https://github.com/DLSchool/dlschool/tree/master/04.%20Linear%20Models

[88] Введение в глубокое обучение. Перцептрон. Нейрон с сигмоидой (и другими функциями активации). Основы ООП в Python;: https://github.com/DLSchool/dlschool/tree/master/05.%20Neuron%2C%20OOP

[89] Библиотека PyTorch. Многослойные нейросети;: https://github.com/DLSchool/dlschool/tree/master/06.%20PyTorch

[90] Обучение нейронных сетей на практике. Cifar10, notMNIST;: https://github.com/DLSchool/dlschool/tree/master/07.%20Neural%20Networks%20Practice

[91] Сверточные нейросети. Сверточный слой. Пулинг слой;: https://github.com/DLSchool/dlschool/tree/master/08.%20Convolutional%20Networks

[92] Практика обучения нейросетей. Классификация дорожных знаков;: https://github.com/DLSchool/dlschool/tree/master/09.%20Signs%20Classification

[93] Transfer Дearning. Популярные в Computer Vision архитектуры;: https://github.com/DLSchool/dlschool/tree/master/10.%20Transfer%20Learning

[94] Сегментация картинок. U-Net;: https://github.com/DLSchool/dlschool/tree/master/11.%20Image%20segmentation

[95] Участие в соревнованиях на Kaggle;: https://github.com/DLSchool/dlschool/tree/master/12.%20Kaggle%20competitions

[96] Object Detection. YOLOv3;: https://github.com/DLSchool/dlschool/tree/master/13.%20Object%20Detection

[97] Классический GAN. Нейронный перенос стиля;: https://github.com/DLSchool/dlschool/tree/master/14.%20GAN%20and%20Style%20transfer

[98] Базовые методы обработки текста;: https://github.com/DLSchool/dlschool/tree/master/15.%20Text%20Mining

[99] Word Embeddings;: https://github.com/DLSchool/dlschool/tree/master/16.%20Word%20EMbeddings

[100] Рекуррентные нейронные сети;: https://github.com/DLSchool/dlschool/tree/master/17.%20RNN

[101] LSTM, GRU ячейки;: https://github.com/DLSchool/dlschool/tree/master/18.%20LSTM%2C%20GRU

[102] Языковые модели;: https://github.com/DLSchool/dlschool/tree/master/19.%20Language%20Models

[103] Машинный перевод;: https://github.com/DLSchool/dlschool/tree/master/20.%20Machine%20Translation

[104] Text2Speech;: https://github.com/DLSchool/dlschool/tree/master/21.%20Text2Speech

[105] SuperResolution.: https://github.com/DLSchool/dlschool/tree/master/22.%20Superresolution

[106] Youtube-канал: https://www.youtube.com/channel/UCFTNoZYjkg-3LZTHrHfV1nQ

[107] Хабре: https://habr.com/en/users/syurmakov/

[108] Нейрон: https://t.me/neurondata

[109] Источник: https://habr.com/ru/post/460557/?utm_source=habrahabr&utm_medium=rss&utm_campaign=460557