Продолжаю рассказывать про жизнь Inception architecture — архитеткуры Гугла для convnets.
(первая часть — вот тут)
Итак, проходит год, мужики публикуют успехи развития со времени GoogLeNet.
Вот страшная картинка как выглядит финальная сеть:
Что же за ужас там происходит?
Рубрика «deep learning» - 26
Эволюция нейросетей для распознавания изображений в Google: Inception-v3
2016-05-31 в 6:03, admin, рубрики: cnn, deep learning, Google, image classification, машинное обучение, обработка изображенийЭволюция нейросетей для распознавания изображений в Google: GoogLeNet
2016-05-18 в 7:07, admin, рубрики: cnn, deep learning, Google, image classification, машинное обучение, обработка изображенийУ меня тут синхронизируется VM надолго, поэтому есть время рассказать про то, что я недавно читал.
Например, про GoogLeNet.
GoogLeNet — это первая инкарнация так называемой Inception architecture, которая референс всем понятно на что:
(кстати, ссылка на него идет первой в списке референсов статьи, чуваки жгут)
Она выиграла ImageNet recognition challenge в 2014-м году с результатом 6.67% top 5 error. Напомню, top 5 error — метрика, в которой алгоритм может выдать 5 вариантов класса картинки и ошибка засчитывается, если среди всех этих вариантов нет правильного. Всего в тестовом датасете 150K картинок и 1000 категорий, то есть задача крайне нетривиальна.
Чтобы понять зачем, как и почему устроен GoogLeNet, как обычно, немного контекста.
Заметки с MBC Symposium: еще о седловых точках
2016-05-04 в 5:21, admin, рубрики: deep learning, non-convex optimization, машинное обучениеНапоследок, о второй части доклада Surya Ganguli — как теоретическое понимание процесса оптимизации может помочь на практике, а именно, какую роль играют седловые точки (первая часть вот тут, и она совершенно необязательна для чтения дальше).
Заметки с MBC Symposium: попытки разобраться, почему работает deep learning
2016-05-02 в 0:02, admin, рубрики: category theory, deep learning, linear algebra, SVD, машинное обучениеПродолжаю рассказывать об интересных докладах на MBC Symposium (MBC, кстати, расшифровывается как Mind Brain Computation).
Surya Ganguli — человек из теоретического neuroscience, то есть, занимается тем, чтобы понять, как работает мозг, на основе измерений импульсов нейронов на различных уровнях.
И вот тут независимо от neuroscience в мире случается deep learning, и у нас получается некую искусственную систему чему-то научить.
В отличие от мозга, в котором у нас ограниченное разрешение, сложность с повторяемостью, итд итп, про deep network-то мы знаем абсолютно все, про все веса, про все состояния. Возникает вопрос — если мы собираемся разобраться, как работает мозг, может попробуем для начала понять как и почему работает вот такая маленькая система?
Без надежд, что мозг работает также, скорее с прицелом разработать какие-то методы, которые могут быть применимы потом.
BlackBox Challenge: Что внутри черного ящика?
2016-04-30 в 10:39, admin, рубрики: artificial intelligence, big data, blackbox challenge, cython, deep learning, machine learning, reinforcement learning, искусственный интеллект, машинное обучение, нейронные сети, обучение с подкреплением, Спортивное программирование, метки: blackbox challengeВсем привет!
Сегодня речь пойдет о состязании, в области машинного обучения, BlackBox Challenge, а также о самом черном ящике, механизмах его работы, изменения состояний, начисления вознаграждений и конечно о том, что же там внутри.
Чуть ниже я опубликую решение, входящее, на момент публикации, в 5-ку лучших.
Уверен оно поможет другим участникам улучшить свои результаты, а возможно и отыскать новый подход.
Заметки с MBC Symposium: применение deep learning в моделировании мозга
2016-04-23 в 7:02, admin, рубрики: computer vision, deep learning, neuroscience, машинное обучение, обработка изображенийПосетил Стенфордский симпозиум, посвященный пересечению deep learning и neurosciencе, получил массу удовольствия.
Рассказываю про интересное — например, доклад Дэна Яминса о применении нейросетей для моделирования работы зрительной коры головного мозга.
Нейросети vs вычисления на глазок
2016-04-18 в 7:34, admin, рубрики: deep learning, машинное обучение, юморСегодня я узнал, что люди могут на глаз прикидывать ранг матрицы!
(напомню, ранг — это количество линейно независимых строк или столбцов)
Типа, вот смотрят на вот это и говорят, что ранг —
ну! ну!
3
Как же устоять и не попробовать обучить это делать нейросеть, подумали укурки cтуденты из Carnegie Mellon?
Deep Reinforcement Learning (или за что купили DeepMind)
2016-03-21 в 6:47, admin, рубрики: deep learning, DeepMind, reinforcement learning, машинное обучение, обработка изображенийПродолжаю рассказывать про успехи DeepMind. Этот пост про их первое известное публике достижение — алгоритм, который обучается играть в игры Atari, не зная об играх ничего, кроме пикселей на экране.
Вот, собственно, главный артефакт (если вы это видео не видели, посмотрите обязательно, оно взрывает мозг)
Вот столько примерно известно публике, когда AI-компанию покупают за полмиллиарда долларов.
Читать полностью »
AlphaGo на пальцах
2016-03-11 в 15:24, admin, рубрики: AlphaGo, deep learning, DeepMind, reinforcement learning, машинное обучение Итак, пока наши новые повелители отдыхают, давайте я попробую рассказать как работает AlphaGo. Пост подразумевает некоторое знакомство читателя с предметом — нужно знать, чем отличается Fan Hui от Lee Sedol, и поверхностно представлять, как работают нейросети.
Читать полностью »
Глубокое обучение в гараже — Возвращение смайлов
2016-02-17 в 14:23, admin, рубрики: big data, data analysis, data mining, data science, deep learning, python, обработка изображений, Программирование 
Это третья статья из серии про определение смайла по выражению лица.
Глубокое обучение в гараже — Братство данных
Глубокое обучение в гараже — Две сети
Глубокое обучение в гараже — Возвращение смайлов
Так что же со смайлами?
Фух, ну наконец, детекция лиц работает, можно учить сеть распознавания смайла. Только вот на чем учить? Открытых наборов данных нет. А из того, как долго в предыдущей части я добирался до, собственно, обучения моделей вы уже должны были понять, что в глубоком обучении данные решают все. И их нужно много.
Читать полностью »