Техносфере Mail.Ru — три года
Сегодня исполнилось три года с момента запуска одного из наших образовательных проектов — Техносферы Mail.Ru [1], появившийся совместно с факультетом ВМК МГУ им. Ломоносова. Программа Техносферы рассчитана на подготовку специалистов в сфере больших данных. Изначально она была рассчитана на один год и состояла из шести дисциплин. Однако спустя год мы пересмотрели программу и сделали её двухгодичной. В течение четырёх семестров студенты изучают 12 дисциплин, выполняя большой объём практических работ. Заодно был разработан подготовительный курс «Алгоритмы и структуры данных».
В Техносферу принимают студентов 2—4-х курсов. Несмотря на то что схема вступительных экзаменов во все наши образовательные проекты одинакова (студенты сдают онлайн-тест и проходят очное собеседование), в Техносфере мы больше ориентируемся на базовые знания по высшей математике. Помимо чтения лекций мы создали лабораторию, где студенты работают с реальными задачами, с которыми мы сталкиваемся в Mail.Ru Group. Например, пытаются улучшить аналитические алгоритмы, создать определённые эвристики. То есть делают всё то же самое, что они делали бы во время обычной стажировки в компании. С осени 2015 года в лаборатории начали проводить и научные исследования. Например, изучаются возможности применения нейронных сетей для решения тех или иных бизнес-задач.
И в честь дня рождения мы выкладываем список учебных материалов, которые рекомендованы к изучению нашим студентам на протяжении всего двухлетнего курса.
Курс: Алгоритмы интеллектуальной обработки больших объёмов данных
Лекции, статьи и прочие материалы
Блог mathematical monk [2]
Large-Scale High-Precision Topic Modeling on Twitter [3]
Сравнение кластерных алгоритмов [4]
Курс лекций Carnegie Mellon по статистике: Data Mining, лекция 22 [5]
Подборка материалов по IPython и Jupyter [6]
Статья по теории информации Visual Information Theory [7]
Блог Сергея Николенко на Хабре [8]
Learning representations by back-propagating errors [9]
Руслан Салахутдинов — Deep Learning [10]
Yahoo! Hadoop Tutorial [11]
Tentative NumPy Tutorial [12]
100 упражнений по NumPy [13]
CRISP-DM User Guide [14]
Руководство по IBM CRISP-DM [15]
MapReduce: Simplified Data Processing on Large Clusters [16]
Литература
Pattern Recognition and Machine Learning [17]
Здесь описаны алгоритмы логического вывода, позволяющие получить быстрые примерные ответы, когда это допустимо в конкретных ситуациях. Для описания распределения вероятностей используются графические модели.
Data Mining Practical Machine Learning Tools and Techniques [18]
В книге описываются концепции машинного обучения и даются практические советы по применению инструментов и методик в реальных задачах анализа данных.
Introduction to Information Retrieval [19]
Книга учит эффективно извлекать информацию с помощью поиска в сети, классификации и кластеризации текста. Здесь рассмотрены все аспекты проектирования и реализации систем сбора, индексирования и поиска документов, методики создания развивающихся систем, применение машинного обучения для работы с текстовыми коллекциями.
Mining of Massive Datasets [20]
Здесь упор сделан на практические алгоритмы, используемые для решения ключевых проблем в анализе данных. Авторы объясняют разные хитрости, связанные с хешированием, чувствительным к локальности, и с алгоритмами обработки быстро поступающих данных. Также затронуты вопросы веба, поиска частых наборов объектов и кластеризации.
Pattern Classification [21]
Книга посвящена нейронным сетям, статистическому распознаванию паттернов, теории машинного обучения и теории инвариантностей. Также приведены практические примеры и сравнения разных методов.
Machine Learning: a Probabilistic Perspective [22]
Книга представляет собой введение в машинное обучение на базе унифицированного вероятностного подхода.
An Introduction to Data Science [23]
Книга для тех, кто делает первые шаги в обработке данных. Представлены примеры кода на R для решения разных интересных задач.
Data Mining and Knowledge Discovery Handbook [24]
Здесь описаны ключевые идеи, теории, стандарты, методологии, тенденции, сложности и методы применения глубинного анализа данных.
Stochastic Gradient Descent Tricks [25]
Это первая глава книги «Neural Networks, Tricks of the Trade», в ней рассматривается метод стохастического обратного распространения для обучения нейронных сетей. По сути, это разновидность методики стохастического градиентного спуска.
Neural Networks and Learning Machines (3rd Edition) [26]
В книге рассматриваются современные методики применения нейронных сетей с инженерной точки зрения. Примеры кода на Matlab можно скачать отсюда [27].
The elements of statistical learning [28]
Здесь описаны важные идеи в сфере статистики, обработки данных, машинного обучения и биоинформатики.
Ensemble Methods: Foundations and Algorithms [29]
В книге описываются теория и алгоритмы машинного обучения, от простых до более сложных.
Курс: Введение в анализ данных
Лекции, статьи и прочие материалы
Time Series Analysis and Its Applications: With R Examples [30]
Математическая статистика [31]
R: Анализ и визуализация данных [32]
Документация по R [33]
IRkernel [34]
Seaborn: statistical data visualization [35]
SF GIS Crime [36]
Руководство по Apache Maven [37]
JUnit [38]
Руководство по Java [39]
Лямбда-выражения в Java 8 [40]
Открытые данные правительства США [41]
Данные социологической службы США [42]
Данные ООН [43]
Портал открытых данных ЕС [44]
Dive into Python [45]
Документация Python [46]
CRISP-DM User Guide [14]
Руководство по IBM CRISP-DM [15]
Литература
R в действии. Анализ и визуализация данных на языке R [47]
Это руководство по обучению языку R с особым вниманием к практическим задачам. В книге представлены полезные примеры статистической обработки данных, описаны изящные методы работы с запутанными и неполными данными, а также с данными, распределение которых отлично от нормального и с которыми трудно справиться обычными методами. Вы также овладеете обширными графическими возможностями для визуального исследования и представления данных.
Статистический анализ и визуализация данных с помощью R [48]
Сегодня язык R является безусловным лидером среди свободно распространяемых систем статистического анализа. Ведущие университеты мира, аналитики крупнейших компаний и исследовательских центров регулярно используют R при проведении научно-технических расчётов и создании крупных информационных проектов. Широкое преподавание статистики на базе этой системы и всемерная поддержка научным сообществом обусловили то, что приведение скриптов кода на языке R постепенно становится общепризнанным стандартом как в журнальных публикациях, так и при неформальном общении учёных всего мира.
Data science for business [49]
Вы узнаете, как улучшить взаимодействие между бизнесом и специалистами в сфере обработки информации, как вписать обработку данных в бизнес-процессы компании, как развить «мышление в стиле анализа данных», как использовать научные методы при принятии бизнес-решений и т. д.
Курс: Углублённое программирование на C/C++
Лекции, статьи и прочие материалы
Как начать работать с GitHub: быстрый старт [50]
Отладка программ с помощью GDB [51]
Работа с Valgrind [52]
Операционная среда ОС UNIX для изучающих программирование [53]
Введение в операционные системы [54]
Литература
Programming with POSIX Threads [55]
Книга даст вам понимание потоков и раскроет возможности этого режима программирования для использования в реальных проектах. Здесь подробно рассматривается стандарт интерфейса ОС IEEE — потоки POSIXAE (Portable Operating System Interface), часто называемые Pthreads. Рассчитана на опытных С-программистов.
Linux System Programming: Talking Directly to the Kernel and C Library [56]
Это руководство по системному программированию под Linux, мануал по системным вызовам и пособие по грамотному написанию быстрого кода.
Advanced Programming in the UNIX Environment [57]
Эта книга уже более 20 лет является настольной для программистов под UNIX. В последнем издании информация актуализирована. Автор последовательно ведёт читателей, работая с файлами, директориями и процессами, обрабатывая сигналы и терминальные команды I/O. Также рассматриваются потоки и многопоточное программирование.
Искусство программирования для Unix [58]
В книге описывается хороший стиль Unix-программирования, многообразие доступных языков, их преимущества и недостатки, различные IPC-методики и инструменты разработки. Автор анализирует философию Unix, культуру и основные традиции сформированного вокруг неё сообщества. В книге объясняются наилучшие практические приёмы проектирования и разработки программ в Unix.
Вместе с тем описанные в книге модели и принципы будут во многом полезны и Windows-разработчикам. Особо рассматриваются стили пользовательских интерфейсов Unix-программ и инструменты для их разработки. Отдельная глава посвящена описанию принципов и инструментов для создания хорошей документации.
Курс: Многопоточное программирование на С/С++
Лекции, статьи и прочие материалы
Руководство по Beej [59]
Fast portable non-blocking network programming with Libevent [60]
FD passing for DRI.Next [61]
Документация по nanomsg [62]
Полезные материалы по С++ [63]
Литература
Программирование для Unix [64]
Это практическое руководство поможет изучить особенности системных вызовов для различных реализаций UNIX и UNIX-подобных систем, что позволит создавать универсальные портируемые приложения. Рассматривается межпроцессное и сетевое взаимодействие, терминальный и файловый ввод-вывод, управление сигналами, многопоточность, работа в реальном времени и многое другое.
Стивенс У. UNIX. Разработка сетевых приложений
Книга посвящена созданию веб-серверов, клиент-серверных приложений или любого другого сетевого программного обеспечения в операционной системе UNIX. В книгу включено описание ключевых современных стандартов, реализаций и методов.
Джефф Элджер. C++: Библиотека программиста
Из книги можно узнать о нетривиальных возможностях одного из самых гениальных объектно ориентированных языков. Автор рассказывает о тонкостях программирования на C++, о специфических проблемах, возникающих при разработке программных систем, и о способах их решения.
Курс: Информационный поиск. Часть 1
Лекции, статьи и прочие материалы
Список библиотек и фреймворков, которые помогут в обработке естественного языка:
NLTK [65]
Freeling [66]
Gensim [67]Нейронные языковые модели в дистрибутивной семантике [68]
Обработка текста [69]
Deep Structured Semantic Model / Deep Semantic Similarity Model [70]
Learning Deep Structured Semantic Models for Web Search using Clickthrough Data [71]
Литература
Foundations of Statistical Natural Language Processing [72] (Глава Collocations [73])
Книга является введением в статистическую обработку естественных языков. Здесь представлена теория и алгоритмы для создания необходимых инструментов.
Курс: Методы обработки больших объёмов данных
Лекции, статьи и прочие материалы
Стилизация изображений с помощью нейронных сетей: никакой мистики, просто матан [74]
Convolution Arithmetic in Deep Learning. Part 2 [75]
Understanding the difficulty of training deep feedforward neural networks [76]
A guide to convolution arithmetic for deep learning [77]
A Neural Algorithm of Artistic Style [78]
TensorFlow VGG-16 pre-trained model [79]
Inception in TensorFlow [80]
Efficient BackProp [81]
Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification [82]
Dropout: A Simple Way to Prevent Neural Networks from Overfitting [83]
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift [84]
An overview of gradient descent optimization algorithms [85]
A Practical Guide to Training Restricted Boltzmann Machines [86]
Neural Networks and Learning Machines (3rd Edition) [87]
A Beginner's Guide To Understanding Convolutional Neural Networks [88]
A Beginner's Guide To Understanding Convolutional Neural Networks. Part 2 [89]
The 9 Deep Learning Papers You Need To Know About (Understanding CNNs Part 3) [90]
Spatial Transformer Networks [91]
A Neural Algorithm of Artistic Style [92]
Playing Atari with Deep Reinforcement Learning [93]
A Neural Conversational Model [94]
Нейросеть DCGAN (2) [95]
Jupyter notebook [96]
Awesome TensorFlow [97]
Tensor with unspecified dimension in tensorflow [98]
What's the difference of name scope and a variable scope in tensorflow? [99]
A tutorial on training recurrent neural networks, covering BPPT, RTRL, EKF and the «echo state network» approach [100]
Finding Structure in Time [101]
The Unreasonable Effectiveness of Recurrent Neural Networks [102]
Generating Text with Recurrent Neural Networks [103]
Deep Captioning with Multimodal Recurrent Neural Networks (m-RNN) [104]
Composing Music with LSTM Recurrent Networks — Blues Improvisation [105]
Hubel & Wiesel [106]
Когнитрон и неокогнитрон [107]
Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition [108]
LeNet-5, convolutional neural networks [109]
Convolutional Neural Networks (LeNet) [110]
ImageNet Classification with Deep Convolutional Neural Networks [111]
Very Deep Convolutional Networks for Large-Scale Image Recognition [112]
Classifying plankton with deep neural networks [113]
Visualizing and Understanding Convolutional Networks [114]
Transfer Learning [115]
Learning representations by back-propagating errors [9]
A Growing Neural Gas Network Learns Topologies [116]
Learning multiple layers of representation [117]
An Introduction to information retrieval [118]
Active Learning to Rank [119]
Semi supervised learning tutorial [120]
Combining labeled and unlabeled data with co-training [121]
Neural Networks for Machine Learning [122]
Variational Inference [123]
Explaining «Explaining away» [124]
A fast learning algorithm for deep belief nets [125]
Semantic hashing [126]
Dropout: A Simple Way to Prevent Neural Networks from Overfitting [83]
Rectified Linear Units Improve Restricted Boltzmann Machines [127]
A Practical Guide to Training Restricted Boltzmann Machines [86]
Exponential Family Harmoniums with an Application to Information Retrieval [128]
Gaussian-binary Restricted Boltzmann Machines on Modeling Natural Image Statistics [129]
Improved Learning of Gaussian-Bernoulli Restricted Boltzmann Machines [130]
Learning Deep Architectures for AI [131]
Учебник «для новичков» по нейросетям [132]
Calculus on Computational Graphs: Backpropagation [133]
Статья по теории информации Visual Information Theory [7]
A Step by Step Backpropagation Example [134]
Литература
http://www.deeplearningbook.org [135]
Это руководство для студентов и практиков, которое поможет освоиться в сфере машинного обучения вообще и глубинного обучения в частности.
Курс: Методы распределённой обработки больших объёмов данных в Hadoop
Лекции, статьи и прочие материалы
Writing an Hadoop MapReduce Program in Python [136]
Курс: Информационный поиск. Часть 2
Лекции, статьи и прочие материалы
Список библиотек и фреймворков, которые помогут в обработке естественного языка:
Нейронные языковые модели в дистрибутивной семантике [68]
Обработка текста [69]
Deep Structured Semantic Model / Deep Semantic Similarity Model [70]
Learning Deep Structured Semantic Models for Web Search using Clickthrough Data [71]
* * *
А если вам мало этих материалов, то напоминаем, что актуальные лекции и мастер-классы о программировании от наших специалистов в проектах Технопарк, Техносфера и Технотрек по-прежнему публикуются на канале Технострим [137]. В наличии следующие курсы Техносферы:
- Введение в анализ данных [138] (весна 2016);
- Информационный поиск [139] (весна 2016);
- Алгоритмы и структуры данных. Подготовительный курс [140] (весна 2016);
- Разработка интернет-приложений [141] (осень 2015);
- Программирование на Perl [142] (осень 2015);
- Многопоточный С++ [143] (осень 2015);
- Методы обработки больших объёмов данных [144] (осень 2015);
- Базы данных [145] (осень 2014)
- Качество и тестирование ПО [146] (весна 2015);
- Data Mining [147] (осень 2014);
- Hadoop [148] (осень 2014).
Автор: Mail.Ru Group
Источник [149]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/razrabotka/241434
Ссылки в тексте:
[1] Техносферы Mail.Ru: https://sphere.mail.ru/
[2] Блог mathematical monk: https://www.youtube.com/user/mathematicalmonk
[3] Large-Scale High-Precision Topic Modeling on Twitter: http://cobweb.cs.uga.edu/~squinn/mmd_s15/papers/p1907-yang.pdf
[4] Сравнение кластерных алгоритмов : https://github.com/lmcinnes/hdbscan/blob/master/notebooks/Comparing Clustering Algorithms.ipynb
[5] Курс лекций Carnegie Mellon по статистике: Data Mining, лекция 22: http://www.stat.cmu.edu/~cshalizi/350/lectures/22/lecture-22.pdf
[6] Подборка материалов по IPython и Jupyter: http://nb.bianp.net/sort/views/
[7] Статья по теории информации Visual Information Theory: http://colah.github.io/posts/2015-09-Visual-Information/
[8] Блог Сергея Николенко на Хабре: https://habrahabr.ru/users/snikolenko/topics/
[9] Learning representations by back-propagating errors: https://www.researchgate.net/publication/229091480_Learning_Representations_by_Back_Propagating_Errors
[10] Руслан Салахутдинов — Deep Learning: http://videolectures.net/kdd2014_salakhutdinov_deep_learning/
[11] Yahoo! Hadoop Tutorial: https://developer.yahoo.com/hadoop/tutorial/
[12] Tentative NumPy Tutorial: http://scipy.github.io/old-wiki/pages/Tentative_NumPy_Tutorial
[13] 100 упражнений по NumPy: http://www.labri.fr/perso/nrougier/teaching/numpy.100/index.html
[14] CRISP-DM User Guide: http://lyle.smu.edu/~mhd/8331f03/crisp.pdf
[15] Руководство по IBM CRISP-DM: https://www.pvsm.ruftp://ftp.software.ibm.com/software/analytics/spss/documentation/modeler/14.2/en/CRISP_DM.pdf
[16] MapReduce: Simplified Data Processing on Large Clusters: https://static.googleusercontent.com/media/research.google.com/ru/archive/mapreduce-osdi04.pdf
[17] Pattern Recognition and Machine Learning: https://www.microsoft.com/en-us/research/wp-content/uploads/2016/05/prml-web-sol-2009-09-08.pdf
[18] Data Mining Practical Machine Learning Tools and Techniques: https://www.pvsm.ruftp://ftp.ingv.it/pub/manuela.sbarra/Data%20Mining%20Practical%20Machine%20Learning%20Tools%20and%20Techniques%20-%20WEKA.pdf
[19] Introduction to Information Retrieval: http://nlp.stanford.edu/IR-book/information-retrieval-book.html
[20] Mining of Massive Datasets: http://infolab.stanford.edu/~ullman/mmds/book.pdf
[21] Pattern Classification: http://eu.wiley.com/WileyCDA/WileyTitle/productCd-0471056693.html
[22] Machine Learning: a Probabilistic Perspective: https://mitpress.mit.edu/books/machine-learning-0
[23] An Introduction to Data Science : https://ischool.syr.edu/media/documents/2012/3/DataScienceBook1_1.pdf
[24] Data Mining and Knowledge Discovery Handbook: http://romisatriawahono.net/lecture/dm/book/Maimon - Data Mining and Knowledge Discovery Handbook - 2010.pdf
[25] Stochastic Gradient Descent Tricks: http://cilvr.nyu.edu/diglib/lsml/bottou-sgd-tricks-2012.pdf
[26] Neural Networks and Learning Machines (3rd Edition): https://www.pearsonhighered.com/program/Haykin-Neural-Networks-and-Learning-Machines-3rd-Edition/PGM320370.html
[27] отсюда: http://www.pearsonhighered.com/haykin/
[28] The elements of statistical learning: http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf
[29] Ensemble Methods: Foundations and Algorithms: https://www.crcpress.com/Ensemble-Methods-Foundations-and-Algorithms/Zhou/p/book/9781439830031
[30] Time Series Analysis and Its Applications: With R Examples: http://www.stat.pitt.edu/stoffer/tsa4/
[31] Математическая статистика: https://cloud.mail.ru/public/3CBA/Fi9HmckP7
[32] R: Анализ и визуализация данных: http://r-analytics.blogspot.ru/2014/12/r.html#.WJDtabaLS1t
[33] Документация по R: https://www.r-project.org/
[34] IRkernel: https://github.com/IRkernel/IRkernel
[35] Seaborn: statistical data visualization: http://seaborn.pydata.org/index.html
[36] SF GIS Crime: http://nbviewer.jupyter.org/github/lmart999/GIS/blob/master/SF_GIS_Crime.ipynb
[37] Руководство по Apache Maven: http://maven.apache.org/
[38] JUnit: http://junit.org/junit4/
[39] Руководство по Java: https://docs.oracle.com/javase/tutorial/java/TOC.html
[40] Лямбда-выражения в Java 8: https://habrahabr.ru/post/224593/
[41] Открытые данные правительства США: https://www.data.gov/
[42] Данные социологической службы США: https://www.census.gov/programs-surveys/acs/
[43] Данные ООН: http://hdr.undp.org/en/data
[44] Портал открытых данных ЕС: https://open-data.europa.eu/en/data/
[45] Dive into Python: http://www.diveintopython.net/
[46] Документация Python: https://docs.python.org/2/
[47] R в действии. Анализ и визуализация данных на языке R: https://dmkpress.com/catalog/computer/statistics/978-5-94074-912-7/
[48] Статистический анализ и визуализация данных с помощью R: http://www.ievbras.ru/ecostat/Kiril/R/Mastitsky and Shitikov 2014.pdf
[49] Data science for business: http://shop.oreilly.com/product/0636920028918.do
[50] Как начать работать с GitHub: быстрый старт: https://habrahabr.ru/post/125799/
[51] Отладка программ с помощью GDB: https://github.com/miyuki-chan/technosphere/blob/master/gdb-intro.md
[52] Работа с Valgrind: https://github.com/miyuki-chan/technosphere/blob/master/valgrind.md
[53] Операционная среда ОС UNIX для изучающих программирование: http://www.stolyarov.info/books/pdf/unixref.pdf
[54] Введение в операционные системы: http://www.stolyarov.info/books/pdf/osintro.pdf
[55] Programming with POSIX Threads: https://ptgmedia.pearsoncmg.com/images/9780201633924/samplepages/0201633922.pdf
[56] Linux System Programming: Talking Directly to the Kernel and C Library: http://mirror.paramadina.ac.id/pub/linux/doc/book/Linux.System.Programming.pdf
[57] Advanced Programming in the UNIX Environment: http://poincare.matf.bg.ac.rs/~djenic/apue.pdf
[58] Искусство программирования для Unix: http://www.williamspublishing.com/Books/5-8459-0791-8.html
[59] Руководство по Beej: http://coldflame.l-s.me/txt/translated/bgnet/bgnet/intro.shtml
[60] Fast portable non-blocking network programming with Libevent: http://www.wangafu.net/~nickm/libevent-book/TOC.html
[61] FD passing for DRI.Next: https://keithp.com/blogs/fd-passing/
[62] Документация по nanomsg: http://nanomsg.org/documentation.html
[63] Полезные материалы по С++: http://www.cplusplus.com/
[64] Программирование для Unix: http://www.bhv.ru/books/book.php?id=10141
[65] NLTK: http://www.nltk.org/
[66] Freeling: http://nlp.cs.upc.edu/freeling/
[67] Gensim: https://radimrehurek.com/gensim/
[68] Нейронные языковые модели в дистрибутивной семантике: https://www.youtube.com/watch?v=7k_MOBYbw_w
[69] Обработка текста: https://nlpub.ru/%D0%9E%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%B0
[70] Deep Structured Semantic Model / Deep Semantic Similarity Model: https://www.microsoft.com/en-us/research/project/dssm/
[71] Learning Deep Structured Semantic Models for Web Search using Clickthrough Data: http://research.microsoft.com/en-us/um/people/jfgao/paper/2013/cikm2013_DSSM_fullversion.pdf
[72] Foundations of Statistical Natural Language Processing: https://mitpress.mit.edu/books/foundations-statistical-natural-language-processing
[73] Collocations: http://nlp.stanford.edu/fsnlp/promo/colloc.pdf
[74] Стилизация изображений с помощью нейронных сетей: никакой мистики, просто матан: https://habrahabr.ru/company/mailru/blog/306916/
[75] Convolution Arithmetic in Deep Learning. Part 2: http://C:UsershomePictures!пищаConvolution Arithmetic in Deep Learning. Part 2
[76] Understanding the difficulty of training deep feedforward neural networks: http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf
[77] A guide to convolution arithmetic for deep learning: https://arxiv.org/pdf/1603.07285.pdf
[78] A Neural Algorithm of Artistic Style: https://arxiv.org/pdf/1508.06576.pdf
[79] TensorFlow VGG-16 pre-trained model: https://github.com/ry/tensorflow-vgg16
[80] Inception in TensorFlow: https://github.com/tensorflow/models/tree/master/inception
[81] Efficient BackProp: http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf
[82] Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification: https://arxiv.org/pdf/1502.01852v1.pdf
[83] Dropout: A Simple Way to Prevent Neural Networks from Overfitting: https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf
[84] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift: https://arxiv.org/pdf/1502.03167v3.pdf
[85] An overview of gradient descent optimization algorithms: http://sebastianruder.com/optimizing-gradient-descent/
[86] A Practical Guide to Training Restricted Boltzmann Machines: https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf
[87] Neural Networks and Learning Machines (3rd Edition): https://github.com/JimmyLin192/DeepLearning/raw/master/Neural Networks and Learning Machines (3rd Edition).pdf
[88] A Beginner's Guide To Understanding Convolutional Neural Networks: https://adeshpande3.github.io/adeshpande3.github.io/A-Beginner%27s-Guide-To-Understanding-Convolutional-Neural-Networks/
[89] A Beginner's Guide To Understanding Convolutional Neural Networks. Part 2: https://adeshpande3.github.io/adeshpande3.github.io/A-Beginner%27s-Guide-To-Understanding-Convolutional-Neural-Networks-Part-2/
[90] The 9 Deep Learning Papers You Need To Know About (Understanding CNNs Part 3): https://adeshpande3.github.io/adeshpande3.github.io/The-9-Deep-Learning-Papers-You-Need-To-Know-About.html
[91] Spatial Transformer Networks: https://arxiv.org/pdf/1506.02025v3.pdf
[92] A Neural Algorithm of Artistic Style: https://arxiv.org/abs/1508.06576
[93] Playing Atari with Deep Reinforcement Learning: https://arxiv.org/pdf/1312.5602v1.pdf
[94] A Neural Conversational Model: https://arxiv.org/pdf/1506.05869v3.pdf
[95] Нейросеть DCGAN (2): https://www.facebook.com/photo.php?fbid=10154442593956002&set=pcb.10154442598946002&type=3
[96] Jupyter notebook: https://cloud.mail.ru/public/Kr2V/apFHuoWoH
[97] Awesome TensorFlow: https://github.com/jtoy/awesome-tensorflow/
[98] Tensor with unspecified dimension in tensorflow: http://stackoverflow.com/questions/34079787/tensor-with-unspecified-dimension-in-tensorflow
[99] What's the difference of name scope and a variable scope in tensorflow?: http://stackoverflow.com/questions/35919020/whats-the-difference-of-name-scope-and-a-variable-scope-in-tensorflow
[100] A tutorial on training recurrent neural networks, covering BPPT, RTRL, EKF and the «echo state network» approach: http://minds.jacobs-university.de/sites/default/files/uploads/papers/ESNTutorialRev.pdf
[101] Finding Structure in Time: https://pdfs.semanticscholar.org/b71e/c700edfec2b969c9d27d33eac09188290294.pdf
[102] The Unreasonable Effectiveness of Recurrent Neural Networks: http://karpathy.github.io/2015/05/21/rnn-effectiveness/
[103] Generating Text with Recurrent Neural Networks: https://xa.yimg.com/kq/groups/14962965/957022186/name/reading_list_Generating+Text+with+Recurrent+Neural+Networks.pdf
[104] Deep Captioning with Multimodal Recurrent Neural Networks (m-RNN): http://www.stat.ucla.edu/~junhua.mao/papers/m-RNN_iclr.pdf
[105] Composing Music with LSTM Recurrent Networks — Blues Improvisation: http://people.idsia.ch/~juergen/blues/
[106] Hubel & Wiesel: http://knowingneurons.com/2014/10/29/hubel-and-wiesel-the-neural-basis-of-visual-perception/
[107] Когнитрон и неокогнитрон: http://www.scritub.com/limba/rusa/2424221713.php
[108] Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition: http://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf
[109] LeNet-5, convolutional neural networks: http://yann.lecun.com/exdb/lenet/
[110] Convolutional Neural Networks (LeNet): http://deeplearning.net/tutorial/lenet.html
[111] ImageNet Classification with Deep Convolutional Neural Networks: https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
[112] Very Deep Convolutional Networks for Large-Scale Image Recognition: https://arxiv.org/pdf/1409.1556.pdf
[113] Classifying plankton with deep neural networks: http://benanne.github.io/2015/03/17/plankton.html
[114] Visualizing and Understanding Convolutional Networks: http://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
[115] Transfer Learning: http://ftp.cs.wisc.edu/machine-learning/shavlik-group/torrey.handbook09.pdf
[116] A Growing Neural Gas Network Learns Topologies: https://papers.nips.cc/paper/893-a-growing-neural-gas-network-learns-topologies.pdf
[117] Learning multiple layers of representation: http://www.cs.toronto.edu/~fritz/absps/tics.pdf
[118] An Introduction to information retrieval: http://nlp.stanford.edu/IR-book/pdf/irbookonlinereading.pdf
[119] Active Learning to Rank: http://www.slideshare.net/alx_voropaev/voropaev-anim-ecir2013-22728269
[120] Semi supervised learning tutorial: http://pages.cs.wisc.edu/~jerryzhu/pub/sslicml07.pdf
[121] Combining labeled and unlabeled data with co-training: https://www.cs.cmu.edu/~avrim/Papers/cotrain.pdf
[122] Neural Networks for Machine Learning: https://www.coursera.org/learn/neural-networks
[123] Variational Inference: https://www.cs.princeton.edu/courses/archive/fall11/cos597C/lectures/variational-inference-i.pdf
[124] Explaining «Explaining away»: https://www.researchgate.net/profile/Max_Henrion/publication/3192123_Explaining_explaining_away%27/links/00b49535007718ad5c000000/Explaining-explaining-away.pdf
[125] A fast learning algorithm for deep belief nets: https://www.cs.toronto.edu/~hinton/absps/fastnc.pdf
[126] Semantic hashing: http://www.cs.utoronto.ca/~rsalakhu/papers/semantic_final.pdf
[127] Rectified Linear Units Improve Restricted Boltzmann Machines: https://www.cs.toronto.edu/~hinton/absps/reluICML.pdf
[128] Exponential Family Harmoniums with an Application to Information Retrieval: https://www.ics.uci.edu/~welling/publications/papers/GenHarm3.pdf
[129] Gaussian-binary Restricted Boltzmann Machines on Modeling Natural Image Statistics: https://arxiv.org/pdf/1401.5900v1.pdf
[130] Improved Learning of Gaussian-Bernoulli Restricted Boltzmann Machines: https://pdfs.semanticscholar.org/19a5/6027227690f7301494e94621f4486225e813.pdf
[131] Learning Deep Architectures for AI: http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf
[132] Учебник «для новичков» по нейросетям: http://neuralnetworksanddeeplearning.com/
[133] Calculus on Computational Graphs: Backpropagation: http://colah.github.io/posts/2015-08-Backprop/
[134] A Step by Step Backpropagation Example: https://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/
[135] http://www.deeplearningbook.org: http://www.deeplearningbook.org/
[136] Writing an Hadoop MapReduce Program in Python: http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/
[137] Технострим: https://www.youtube.com/user/TPMGTU
[138] Введение в анализ данных: https://www.youtube.com/playlist?list=PLrCZzMib1e9p5F99rIOzugNgQP5KHHfK8
[139] Информационный поиск: https://www.youtube.com/playlist?list=PLrCZzMib1e9rvpoVamQnoBnRTudh3zoX0
[140] Алгоритмы и структуры данных. Подготовительный курс: https://www.youtube.com/playlist?list=PLrCZzMib1e9pDxHYzmEzMmnMMUK-dz0_7
[141] Разработка интернет-приложений: https://www.youtube.com/playlist?list=PLrCZzMib1e9qd1iEjDyqZMovWp1cHJeNZ
[142] Программирование на Perl: https://www.youtube.com/playlist?list=PLrCZzMib1e9pJchUR-KGNJvz2BA6XjIPr
[143] Многопоточный С++: https://www.youtube.com/playlist?list=PLrCZzMib1e9oag2Qgg76foi0x88gFs0rh
[144] Методы обработки больших объёмов данных: https://www.youtube.com/playlist?list=PLrCZzMib1e9pXgyJ8Y9Io4AocGy66pj1X
[145] Базы данных: https://www.youtube.com/playlist?list=PLrCZzMib1e9r6c-j8aW1JuETSyCBp9iAg
[146] Качество и тестирование ПО: https://www.youtube.com/playlist?list=PLrCZzMib1e9pDKLsabJYuODdVJrHYc4Jd
[147] Data Mining: https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
[148] Hadoop: https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
[149] Источник: https://habrahabr.ru/post/321360/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best
Нажмите здесь для печати.