- PVSM.RU - https://www.pvsm.ru -

Письмо начинающему изучать Data Science

Я бы хотел получить такое письмо три года назад, когда только начинал изучать Data Science [1] (DS). Чтобы там были необходимые ссылки на полезные материалы. Статья не претендует на полноту охвата необъятной области DS. Однако для начинающего специалиста будет полезна.

Нейронные сети – это...

В DS наиболее часто используются следующие технологии:

  • свободное владение английским языком;
  • операционная система Ubuntu [2] Linux (так исторически сложилось);
  • язык программирования Python [3] (но лучше Anaconda Python [4]);
  • интегрированная среда разработки (IDE) PyCharm [5] (Community Edition бесплатная);
  • инфраструктура (framework) для машинного обучения (ML machine learning), глубокого обучения (DL deep learning) и создания нейросетей (PyTorch [6], TensorFlow [7] и десятки других [8]);
  • если нет своей мощной видеокарты [9] (GPU graphical processing unit), тогда следует пользоваться бесплатными облачными технологиями на основе Jupyter Notebook [10];
  • умение пользоваться распределенной системой управления версиями Git [11] (GitHub, GisLab, Bitbucket, etc.);
  • иметь учетную запись на StackOverflow и всех его ответвлениях [12].

Также со временем вам понадобятся множество различных дополнительных к Python библиотек и инструментов обработки изображений и данных. Их десятки. Наиболее полезные для меня (обработка изображений) в порядке убывания важности:

  • Virtual Environment [13] – виртуальная среда разработки для различных проектов, которая инкапсулирует в себе разные версии библиотек и инструментов.
  • NumPy [14] – работа с матрицами, линейная алгебра.
  • OpenCV [15] – множество различных алгоритмов для работы с изображениями.
  • Jupyter Notebook [16] – веб-приложение для разработки и выполнения программ Python в браузере и в облаке.
  • Tensorflow-gpu [17] – конфигурация нейронных сетей и вычисления на графических картах.
  • iPython [18] – более удобная консольная работа с командами Python, советую использовать её вместо консоли по-умолчанию.
  • Matplotlib [19] – рисование графиков и диаграмм.
  • Pillow [20] – работа со всеми популярными форматами изображений.
  • Pandas [21] – работа с данными.
  • SciPy [22] – продвинутая работа с алгоритмами, бесплатная альтернатива программе MatLab.
  • Scikit-learn [23] – алгоритмы машинного обучения.
  • Scikit-image [24] – продвинутая обработка изображений.
  • K3D [25] – работа с трехмерными графиками и изображениями в Jupyter Notebook.

Ну, давай, покажи нам примеры

Что у меня есть:

Спасибо за внимание!

Автор: FooBar167

Источник [33]


Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/python/341784

Ссылки в тексте:

[1] Data Science: https://youtu.be/xC-c7E5PK0Y

[2] Ubuntu: https://ubuntu.com

[3] Python: https://www.python.org

[4] Anaconda Python: https://www.anaconda.com

[5] PyCharm: https://www.jetbrains.com/pycharm/download

[6] PyTorch: https://pytorch.org

[7] TensorFlow: https://www.tensorflow.org

[8] десятки других: https://en.wikipedia.org/wiki/Comparison_of_deep-learning_software

[9] мощной видеокарты: https://catalog.onliner.by/videocard?desktop_gpu%5B0%5D=rtx2080ti&desktop_gpu%5Boperation%5D=union&order=price:asc

[10] Jupyter Notebook: https://www.dataschool.io/cloud-services-for-jupyter-notebook/

[11] Git: https://ru.wikipedia.org/wiki/Git

[12] всех его ответвлениях: https://meta.stackexchange.com/questions/130524/which-stack-exchange-website-for-machine-learning-and-computational-algorithms

[13] Virtual Environment: https://github.com/foobar167/articles/blob/master/Ubuntu/05_Virtual_environments.md

[14] NumPy: https://numpy.org

[15] OpenCV: https://opencv.org

[16] Jupyter Notebook: https://jupyter.org

[17] Tensorflow-gpu: https://www.tensorflow.org/install/gpu

[18] iPython: https://ipython.org

[19] Matplotlib: https://matplotlib.org

[20] Pillow: https://pillow.readthedocs.io/en/stable

[21] Pandas: https://pandas.pydata.org

[22] SciPy: https://www.scipy.org

[23] Scikit-learn: https://scikit-learn.org/stable

[24] Scikit-image: https://scikit-image.org

[25] K3D: https://github.com/K3D-tools/K3D-jupyter

[26] Различные программы Python: https://github.com/foobar167/junkyard

[27] простых скриптов: https://github.com/foobar167/junkyard/tree/master/simple_scripts

[28] Набор инструкций по настройке Ubuntu Linux: https://github.com/foobar167/articles/tree/master/Ubuntu

[29] Введение в машинное обучение и искусственные нейронные сети: https://foobar167.github.io/page/vvedeniye-v-mashinnoye-obucheniye-i-iskusstvennyye-neyronnyye-seti.html

[30] Курсы и видео для начинающих: https://github.com/foobar167/articles/blob/master/Ubuntu/13_Keras_and_TensorFlow_how-tos.md#exercises

[31] Полезные инструменты: https://github.com/foobar167/articles/blob/master/Ubuntu/13_Keras_and_TensorFlow_how-tos.md#tools

[32] Общий список курсов: https://github.com/foobar167/articles/blob/master/Machine_Learning/courses_on_machine_learning.md

[33] Источник: https://habr.com/ru/post/482652/?utm_source=habrahabr&utm_medium=rss&utm_campaign=482652