Системы ИИ научились создавать умные модели для ML: дайджест для начинающих

В ноябре участники исследовательского проекта Google Brain опубликовали ^[1] результаты эксперимента AutoML. Им удалось создать систему, которая порождает новые ИИ-модели, используя метод ^[2] обучения с подкреплением. Реализованный таким образом алгоритм уже справляется ^[3] с задачей лучше решений, полностью написанных человеком.

В этой статье мы расскажем об особенностях работы системы AutoML, а также приведем подборку книг и курсов по машинному обучению, которые помогут поближе познакомиться с технологиями искусственного интеллекта.

^[4]
/ Flickr / hackNY.org ^[5] / CC ^[6]

Машина обучает другую машину

Технология AutoML от Google была представлена ^[7] в мае как система для автоматизации создания моделей машинного обучения. Уже тогда она могла проектировать небольшие нейронные сети, которые работали наравне с нейросетями, разработанными людьми.

Метод Google базируется на двух нейронных сетях, состоящих в постоянном контакте, — контролирующей и контролируемой (дочерней). Дочерняя система обучается на основе обратной связи от контролирующей, которая оценивает ^[8] эффективность прохождения тестов. Этот процесс повторяется тысячи раз, пока не будет достигнут желаемый результат. В эксперименте Google нейронная сеть занималась распознаванием объектов на потоковом видео: людей, автомобилей, светофоров и так далее.

AutoML от Google не первая ^[9] система такого рода. Однако уникальность последней разработки проекта Brain заключается в том, что она не просто дорабатывает ^[10] уже существующие модели, а сама их выбирает и модифицирует.

Зачем нужна технология AutoML

Разработка систем машинного обучения с нуля — ресурсоемкая задача ^[8]. AutoML призвана ускорить ^[3] разработку новых моделей МО. Кроме того, она снижает ^[10] порог вхождения в индустрию для будущих поколений исследователей.

Джефф Дин (Jeff Dean), глава Google Brain, сказал ^[11], что технология поможет компаниям создавать системы ИИ, даже если им не хватает обширного опыта. Он также назвал ^[12] автоматизированное машинное обучение одним из самых перспективных направлений для исследований.

По прогнозу Gartner, к 2020 году будет создано ^[13] 2,3 млн новых рабочих мест в области искусственного интеллекта и машинного обучения. Развитие разработок на основе нейронных сетей сделало ^[14] индустрию конкурентной, и крупнейшие технологические компании готовы платить высокие зарплаты.

Google и Facebook создают специальные курсы ^[15] по методам машинного обучения, чтобы помогать развиваться своим сотрудникам и привлекать новых. Разработкой курсов, подготовкой методологий и написанием книг занимаются и крупные мировые университеты.

Поэтому далее, мы собрали полезные материалы и ресурсы, которые познакомят вас с технологиями машинного обучения. Подборка составлена на основании рекомендаций резидентов Hacker News и участников профильных тредов на Quora, Reddit и Хабрахабре.

В неё также вошли наши собственные материалы по теме.

/ Flickr / bradleypjohnson ^[16] / CC ^[17]

Книги

«Прикладной регрессионный анализ», Норман Дрейпер (Norman Draper) и др. ^[18]
Книга с основами регрессионного анализа. В ней много примеров, упражнений и тестов для самопроверки.

«Линейная алгебра и ее применения», Гилберт Стренг (Gilbert Strang) ^[19]
Алгоритмы машинного обучения строятся на принципах линейной алгебры. И хотя эта книга вышла в 1980 году, ее ценность — объяснение практического применения материала — сохранилась по сей день.

«Искусственный интеллект: современный подход», Питер Норвиг (Peter Norvig) ^[19]
Этот учебник ^[20] по работе с системам ИИ — используется в тысяче университетов по всему миру. По мнению ^[21] резидентов HN, работа Норвига — лучший способ начать знакомство с этой темой.

«Hands-on Machine Learning», Орлен Герон (Aurelien Geron) ^[22]
Хороший старт для будущих специалистов в области ML, собирающихся работать с библиотекой TensorFlow. Автор — бывший сотрудник Google, который отвечал за решения по классификации видео на YouTube.

«Deep Learning Book», Иен Гудфеллоу (Ian Goodfellow) др. ^[23]
Книга призвана помочь студентам и специалистам в области машинного обучения. Ее рекомендует команда Google Brain. По словам ^[24] Илона Маска, эта работа является «единственной всеобъемлющей книгой по этому вопросу».

«Верховный алгоритм», Педро Домингос (Pedro Domingos) ^[25]
Материал находится на стыке философии и экспертной области систем ИИ. Её автор — обладатель ^[26] множества наград за достижения в развитии направления ИИ, в том числе премии Data Science Innovation Award.

«Машинное обучение. Учебник», Петер Флах (Peter Flach) ^[27]
Автор — профессор в области систем искусственного интеллекта в Бристольском университете. Он погружает читателя в практическую составляющую машинного обучения с первых страниц, постепенно повышая сложность. В книге множество примеров с иллюстрациями.

«Нейронные сети и глубокое обучение», Майкл Нильсен (Michael Nielsen) ^[28]
Книга обучает читателя принципам разработки нейронных сетей на конкретных примерах. Нильсен убежден, что этот подход лучше, чем простое перечисление длинного списка концепций. Её рекомендует команда Google Brain.

Курсы и руководства

Курсы Эндрю Ына по машинному обучению ^[29]
Эндрю Ын тесно связан ^[30] с успехом проекта Google Brain. Сейчас он работает в Baidu и считается одним из самых авторитетных специалистов в области машинного обучения. Студенты получают знания об эффективных алгоритмах ML и опыт их практического применения.

Основы машинного обучения ^[31]
Этот комплекс от Вашингтонского университета является еще одним часто рекомендуемым курсом для начинающих. Он достаточно быстро знакомит с самыми популярными методами машинного обучения.

Прикладной курс глубокого обучения fast.ai ^[32]
Цель проекта — сокращение недостатка в специалистах по ИИ, а также создание автоматизированных решений, как это делают в Google Brain. Один из авторов курса — Джереми Ховард (Jeremy Howard), предприниматель, бизнес-стратег, разработчик и педагог. Второй автор — Рэйчел Томас (Rachel Thomas), кандидат наук по математике. Forbes назвал ^[33] её одной из «20 невероятных женщин, продвигающих исследования в области ИИ».

Designing Artificial Intelligence for Games ^[34]
О разработке искусственного интеллекта для игровой индустрии. В статьях рассматриваются важные концепции ИИ и способы их оптимизации для работы на современных многоядерных процессорах.

Creative Applications of Deep Learning ^[35]
Курс освещает ключевые компоненты глубокого обучения. Основное внимание отводится практическому применению алгоритмов в разработке приложений.

Видео и лекции

Сборник лекций о сверточных нейронных сетях для визуального распознавания ^[36]
Серия видео на тематическом YouTube-канале Стэнфордсокго университета, посвященная технологиям машинного зрения. Сборник лекций уделяет особое внимание изучению моделей для таких задач, как классификация изображений.

CS188 – введение в ИИ ^[37]
Собрание бесплатных материалов от Калифорнийского университета в Беркли. В числе спикеров Дэн Клэй (Dan Clay), американский ученый в области обработки естественного языка и доцент по информатике в Беркли. Имеются домашние задания.

Practical Deep Learning For Coders ^[38]
Курс лекций на базе fast.ai, Подготовлен упомянутым выше Джереми Ховардом.

Practical Machine Learning Tutorial with Python ^[39]
Серия практических советов по машинному обучению. С примерами и кодом на Python.

3Blue1Brown ^[40]
Этот YouTube-канал может стать хорошим началом для погружения в машинное обучение с нуля. У канала уже 500 тыс. подписчиков, и число почитателей оригинальных уроков растет.

Machine Learning Recipes with Josh Gordon ^[41]
Советы по машинному обучению от разработчика Google, который выступает техническим евангелистом библиотеки TensorFlow в корпорации.

Cтатьи

4 тренда облачной безопасности ^[42]
Рассмотрим мировой опыт защиты данных в облаке. Среди развивающихся направлений в этой области: шифрование, мониторинг инфраструктуры, автоматизация и машинное обучение.

Big Data: большие возможности или большой обман ^[43]
В этом материале выясняем, что важного видит индустрия в Big Data. Также поговорим о том, в каких сферах они успешно применяются и как появились.

Искусственный интеллект: что о нем думают ученые ^[44]
Рассказываем о мифах про работу ИИ, с которыми регулярно сталкиваются ученые.

Как сейчас используют нейросети: от научных проектов до развлекательных сервисов ^[45]
Статья о том, какое применение находит машинное обучение уже сегодня: о рекомендательных алгоритмах YouTube, нейронных сетях в физике и медицине.

Истинная реализация нейросети с нуля на языке программирования C# ^[46]
Как говорит сам автор, пост предназначен для тех, кто знаком с математическими принципами работы нейронных сетей. Для лучшего усвоения материала он советует сперва изучить дополнительные статьи (эту ^[47] и эту ^[48]).

Введение в нейросети ^[49]
Подробности создания нейросети с нуля. С примерами, графиками, схемами.

Автор: 1cloud

Источник ^[50]