- PVSM.RU - https://www.pvsm.ru -
Представляем вашему вниманию очередную порцию лекций Техносферы. На курсе изучается использование нейросетевых алгоритмов в различных отраслях, а также отрабатываются все изученные методы на практических задачах. Вы познакомитесь как с классическими, так и с недавно предложенными, но уже зарекомендовавшими себя нейросетевыми алгоритмами. Так как курс ориентирован на практику, вы получите опыт реализации классификаторов изображений, системы переноса стиля и генерации изображений при помощи GAN. Вы научитесь реализовать нейронные сети как с нуля, так и на основе библиотеке PyTorch. Узнаете, как сделать своего чат-бота, как обучать нейросеть играть в компьютерную игру и генерировать человеческие лица. Вы также получите опыт чтения научных статей и самостоятельного проведения научного исследования.
Список лекций:
Нейронные сети. Базовые блоки полносвязных нейронных сетей. Алгоритм обратного распространения ошибки.
Алгоритм обратного распространения ошибки для ветвящихся структур. Проблемы обучения нейронных сетей. Предобработка данных, аугментация, регуляризация. Стохастический градиентный спуск. Подготовка данных при помощи PyTorch.
Графы вычислений в PyTorch. Операции с тензорами. Автоматическое дифференцирование. Полносвязные сети. Ветвящиеся архитектуры. Поведение сети при обучении и предсказании: флаги volatile
и requires_grad
. Сохранение и загрузка модели.
Свертка. Пулинг. Светрочные нейронные сети. Примеры использования сверточных сетей. Интерпретация обученных моделей.
Инициализация весов: He, Xavier. Регуляризация: Dropout, DropConnect. Нормализация: batch normalization.
Современные архитектуры сверточных сетей. Сети Inception и ResNet. Transfer learning. Применение нейронных сетей для задач сегментации и локализации.
Задача оптимизации. SGD, Momentum, NAG, Adagrad, Adadelta, Adam.
Задача снижения размерности. MDS, Isomap. Метод главных компонент (PCA). Вывод главных компонент и доказательство метода множетелей Лагранжа. Автокодировщики. Denoising и разреженные автокодировщики.
Рекуррентные сети. Обратное распространение ошибки сквозь время. LSTM-сети. GRU-сети. Многослойные рекуррентные архитектуры. Модификация dropout и батч-нормализации для рекуррентных сетей.
Примеры задач. Обучение представлений: Word2Vec. Ускорение пары linear+softmax: hierarchical softmax, differentiated softmax. Генерация предложений. Модель Seq2Seq. Beam search для поиска лучшего ответа. Приемы для повышения разнообразности ответов.
Генеративные и дискриминативные модели. Равновесие Нэша. Генеративные конкурирующие сети (GAN). Генеративные автокодировщики (AAE). Техника domain adaptation. Domain adaptation для перевода изображений между доменами. Wasserstein GAN.
Модель вариационного автокодировщика (VAE). Интерпретация обученных моделей: Deep Dream. Перенос стиля: Artistic style. Ускорение стилизации.
Основные понятия обучения с подкреплением: агент, среда, стратегия, награда. Value function и Q-function. Уравнения Беллмана. Алгоритм Policy iteration.
Алгоритм Q-learning. Модельные подходы. Алгоритм DQN. Alpha Go.
Плейлист всех лекций находится по ссылке [1]. Напомним, что актуальные лекции и мастер-классы о программировании от наших IT-специалистов в проектах Технопарк, Техносфера и Технотрек по-прежнему публикуются на канале Технострим [2].
Другие курсы Техносферы на Хабре:
Информацию обо всех наших образовательных проектах вы можете найти в недавней статье [6].
Автор: Olga_ol
Источник [7]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/algoritmy/270984
Ссылки в тексте:
[1] ссылке: https://www.youtube.com/playlist?list=PLrCZzMib1e9oOGNLh6_d65HyfdqlJwTQP
[2] Технострим: https://www.youtube.com/user/tpmgtu/videos
[3] Лекции Техносферы. Инфопоиск. Часть 1 (весна 2017): https://habrahabr.ru/company/mailru/blog/329072/
[4] Лекции Техносферы. Инфопоиск. Часть 2 (весна 2017): https://habrahabr.ru/company/mailru/blog/329352/
[5] Лекции Техносферы: Программирование на Go (весна 2017): https://habrahabr.ru/company/mailru/blog/327966/
[6] недавней статье: https://habrahabr.ru/company/mailru/blog/328912/
[7] Источник: https://habrahabr.ru/post/344982/?utm_source=habrahabr&utm_medium=rss&utm_campaign=344982
Нажмите здесь для печати.