Материалы летней школы Deep|Bayes по байесовским методам в глубинном обучении

в 15:52, , рубрики: bayesian inference, deep learning, байесовские методы, глубинное обучение, летняя школа, машинное обучение, Учебный процесс в IT
Материалы летней школы Deep|Bayes по байесовским методам в глубинном обучении - 1

Глубинное обучение в последние годы стало ключевым направлением исследований в машинном обучении. Начавшись с архитектурных прорывов, позволявших эффективно обучать глубокие нейросети, оно стало распространяться на другие подобласти, предоставляя набор эффективных средств там, где для решения задачи требуется приближение некоторой сложной функции.

Многие современные исследовательские статьи активно используют байесовский формализм в сочетании с глубокими нейросетями, приходя к интересным результатам. Мы – исследовательская группа BayesGroup с помощью наших друзей из Сколтеха, а так же при поддержке Высшей Школы Экономики, Сбербанка, Яндекса, Лаборатории Касперского, JetBrains и nVidia – решили поделиться накопленным опытом и устроить летнюю школу по байесовским методам в глубинном обучении Deep|Bayes, где подробно рассказать, что такое байесовские методы, как их комбинировать с глубинным обучением и что из этого может получиться.

Отбор на школу оказался весьма сложным занятием – мы получили более 300 заявок от сильных кандидатов, но вместить смогли только 100 (приятно, что среди участников были не только жители Москвы и Петербурга, но и студенты из регионов, а так же русскоговорящие гости из-за границы). Пришлось отказать многим сильным кандидатам, поэтому для смягчения этого прискорбного факта мы решили сделать доступными максимальное количество материалов, которыми и хотим поделиться с читателями.

День 1

Первый день целиком состоял из вводных лекций – у студентов школы был различный бэкграунд, поэтому нужны были "выравнивающие" лекции. Как минимум, чтобы задать общую терминологию.

Евгений Соколов. Обзор нейросетевых архитектур

Дмитрий Ветров. Введение в байесовские методы

Дмитрий Кропотов. Введение в стохастическую оптимизацию

Дмитрий Кропотов / Кирилл Струминский. Семинар по байесовским методам

День 2

Основной материал второго дня – байесовский вывод в задачах со скрытыми переменными и их масштабирование на сложные задачи.

Дмитрий Ветров. Модели с латентными переменными

Дмитрий Ветров. Масштабируемые байесовские методы

Арсений Ашуха. Обзор библиотек глубинного обучения

Евгений Соколов. Регуляризация нейронных сетей

Арсений Ашуха / Кирилл Струминский. Семинар по вариационному автокодировщику

День 3

В третий день мы взглянули на обучение с подкреплением с байесовской точки зрения, рассмотрели различные подходы к механизмам внимания. Кроме того, обсудили применения мощного аппарата рекуррентных нейронных сетей к различным задачам, а так же трюки, без которых ничего не работает. Увы, из-за технических неполадок эта лекция не была записана.

Екатерина Лобачева. Рекуррентные нейронные сети

Видео нет, но есть слайды

Сергей Бартунов. Байесовские методы в обучении с подкреплением

Михаил Фигурнов. Механизмы внимания

Александр Панин / Арсений Ашуха. Семинар по механизмам внимания

День 4

Темой четвёртого дня были гауссовские процессы, их масштабирование и байесовская оптимизация, традиционно использующаяся для поиска гиперпараметров. Кроме того, рассмотрели масштабируемые методы Монте Карло как альтернативу вариационному выводу.

Павел Темирчев. Масштабируемые методы Монте-Карло

Евгений Бурнаев. Гауссовские процессы и байесовская оптимизация

Дмитрий Кропотов. Масштабируемые гауссовские процессы

Алексей Зайцев / Ермек Капушев. Семинар по гауссовским процессам

День 5

На пятый, заключающий день мы припасли самое интересное – байесовские методы для неявных моделей, скрещивание вариационных автокодировщиков с генеративными состязающимися сетями, оценка неопределённости в нейросетях, а так же автоматическое разреживание нейросетей с помощью вариационного дропаута.

Дмитрий Ульянов. Неявные генеративные модели

Дмитрий Молчанов. Байесовские нейросети

Дмитрий Молчанов. Вариационный дропаут.

Дмитрий Ульянов. Семинар по генеративным моделям


В заключение хочется сказать, что это был наш первый опыт проведения летних школ и, судя по предварительной обратной связи, удачный – многие студенты выразили заинтересованность в помощи с повторной организацией школы в следующем году. Если вы хотите быть в курсе новостей, подписывайтесь на наш канал в твиттере @deepbayes_ru (и на @bayesgroup тоже можете подписаться) и следите за объявлениями.

Автор: Brmaley.e⪥e

Источник


* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js