Рубрика «глубинное обучение» - 3

Нейросеть для определения лиц, встроенная в смартфон

2017-12-04 в 7:20, admin, рубрики: api, BNNS, CIDetector, iOS, iphone, metal, Vision, Алгоритмы, глубинное обучение, нейросеть, обработка изображений, разработка мобильных приложений, разработка под iOS, учитель-ученик, фреймворк

Нейросеть для определения лиц, встроенная в смартфон - 1 Apple начала использовать глубинное обучение для определения лиц начиная с iOS 10. С выпуском фреймворка Vision разработчики теперь могут использовать в своих приложениях эту технологию и многие другие алгоритмы машинного зрения. При разработке фреймворка пришлось преодолеть значительные проблемы, чтобы сохранить приватность пользователей и эффективно работать на железе мобильного устройства. В статье обсуждаются эти проблемы и описывается, как работает алгоритм.

Введение

Впервые определение лиц в публичных API появилось во фреймворке Core Image через класс CIDetector. Эти API работали и в собственных приложениях Apple, таких как Photos. Самая первая версия CIDetector использовала для определения метод на базе алгоритма Виолы — Джонса [1]. Последовательные улучшения CIDetector были основаны на достижениях традиционного машинного зрения.

С появлением глубинного обучения и его применения к проблемам машинного зрения точность систем определения лиц сделала значительный шаг вперёд. Нам пришлось полностью переосмыслить наш подход, чтобы извлечь выгоду из этой смены парадигмы. По сравнению с традиционным машинным зрением модели в глубинном обучении требуют на порядок больше памяти, намного больше дискового пространства и больше вычислительных ресурсов.
Читать полностью »

Можно ли обучить искусственный интеллект новым трюкам?

2017-10-16 в 15:23, admin, рубрики: vector, вектор, глубинное обучение, искусственный интеллект, нейросети

Практически все известные вам достижения ИИ связаны с прорывом тридцатилетней давности

Можно ли обучить искусственный интеллект новым трюкам? - 1 Я стою в комнате, которая скоро станет центрам мира – ну или просто в очень большой комнате на седьмом этаже сверкающей башни в деловом центре Торонто. Экскурсию мне устраивает Джордан Джейкобс, сооснователь этого места: зарождающийся институт «Вектор», открывающий свои двери осенью 2017 года, и стремящийся стать глобальным эпицентром искусственного интеллекта.

Мы находимся в Торонто, поскольку Джеффри Хинтон находится в Торонто, а Джеффри Хинтон – отец «глубинного обучения» (ГО), технологии, стоящей за текущим восторгом по поводу ИИ. «Через 30 лет мы оглянемся и скажем, что Джефф был Эйнштейном в ИИ, глубинном обучении, в том, что мы называем ИИ», – говорит Джейкобс. Среди исследователей, находящихся на передовой в области ГО, у Хинтона больше цитат, чем у следующих троих, вместе взятых. Его студенты и аспиранты запустили ИИ-лаборатории в компаниях Apple, Facebook и OpenAI; сам Хинтон – ведущий учёный в команде Google Brain AI. Практически все достижения в области ИИ последнего десятилетия – переводы, распознавание речи, распознавание изображений, игры – так или иначе основываются на работе Хинтона.
Читать полностью »

Когда лучше не использовать глубинное обучение

2017-10-11 в 10:53, admin, рубрики: AutoML, big data, data mining, one-shot learning, pytorch, TensorFlow, Алгоритмы, байесовский вывод, биомедицинская информатика, вероятностная нумерика, вероятностное программирование, выпуклая оптимизация, глубинное обучение, математика, машинное обучение, механистическая модель, мешок слов, нейросети, обучение с первого раза, предрассудки, размер выборки, стохастический градиент, цепь Маркова

Я понимаю, что странно начинать блог с негатива, но за последние несколько дней поднялась волна дискуссий, которая хорошо соотносится с некоторыми темами, над которыми я думал в последнее время. Всё началось с поста Джеффа Лика в блоге Simply Stats с предостережением об использовании глубинного обучения на малом размере выборки. Он утверждает, что при малом размере выборки (что часто наблюдается в биологии), линейные модели с небольшим количеством параметров работают эффективнее, чем нейросети даже с минимумом слоёв и скрытых блоков.

Далее он показывает, что очень простой линейный предиктор с десятью самыми информативными признаками работает эффективнее простой нейросети в задаче классификации нулей и единиц в наборе данных MNIST, при использовании всего около 80 образцов. Эта статья сподвигла Эндрю Бима написать опровержение, в котором правильно обученная нейросеть сумела превзойти простую линейную модель, даже на очень малом количестве образцов.

Такие споры идут на фоне того, что всё больше и больше исследователей в области биомедицинской информатики применяют глубинное обучение на различных задачах. Оправдан ли ажиотаж, или нам достаточно линейных моделей? Как всегда, здесь нет однозначного ответа. В этой статье я хочу рассмотреть случаи применения машинного обучения, где использование глубоких нейросетей вообще не имеет смысла. А также поговорить о распространённых предрассудках, которые, на мой взгляд, мешают действительно эффективно применять глубинное обучение, особенно у новичков.
Читать полностью »

Фундаментальные ограничения машинного обучения

2017-09-07 в 9:38, admin, рубрики: глубинное обучение, искусственный интеллект, машинное обучение, мозг, нейросети, обучение, поиск закономерностей

Недавно моя тётя разослала своим коллегам емейлы с темой «задачка по математике! Какой правильный ответ?» В письме была обманчиво простая головоломка:

1 + 4 = 5
2 + 5 = 12
3 + 6 = 21
8 + 11 =?

Для неё решение был очевидным. Но её коллеги решили, что правильным было их решение – не совпавшее с её решением. Проблема была с одним из их ответов, или с самой головоломкой?

Моя тётя и её коллеги наткнулись на фундаментальную проблему машинного обучения, дисциплины, изучающей обучающиеся компьютеры. Практически всё обучение, которое мы ждём от компьютеров – и которым занимаемся сами – состоит в сокращении информации до основных закономерностей, на основании которых можно делать выводы о чём-то неизвестном. И её загадка была такой же.
Читать полностью »

Почему CNTK?

2017-09-05 в 7:48, admin, рубрики: CNTK, deep learning, microsoft, Блог компании Microsoft, глубинное обучение, глубокое обучение, машинное обучение

Привет! Меня зовут Женя. В начале карьеры я был Data Scientist, когда это еще не было мэйнстримом. Потом переключился на чистую T-SQL разработку, которая под конец успела перерасти в бизнес-аналитику. Теперь я — технологический евангелист в Microsoft с очевидным упором на платформу данных, хотя это не мешает мне заниматься в свободное время другими классными темами, как, например, Docker контейнеры или Mixed Reality.

Недавно я общался с одним из партнеров и он спросил меня, почему мы почти не рассказываем о преимуществах CNTK на Хабре. Сначала мы подумали, что может быть банальнее, чем рассказа в блоге компании и преимуществах продукта этой же компании. Но потом решили, что это отличная возможно узнать ваше мнение и пообщаться. Приглашаю под кат всех, кому интересна тема CNTK и TensorFlow.

Почему CNTK? - 1
Читать полностью »

Материалы летней школы Deep|Bayes по байесовским методам в глубинном обучении

2017-09-03 в 15:52, admin, рубрики: bayesian inference, deep learning, байесовские методы, глубинное обучение, летняя школа, машинное обучение, Учебный процесс в IT

Глубинное обучение в последние годы стало ключевым направлением исследований в машинном обучении. Начавшись с архитектурных прорывов, позволявших эффективно обучать глубокие нейросети, оно стало распространяться на другие подобласти, предоставляя набор эффективных средств там, где для решения задачи требуется приближение некоторой сложной функции.

Многие современные исследовательские статьи активно используют байесовский формализм в сочетании с глубокими нейросетями, приходя к интересным результатам. Мы – исследовательская группа BayesGroup с помощью наших друзей из Сколтеха, а так же при поддержке Высшей Школы Экономики, Сбербанка, Яндекса, Лаборатории Касперского, JetBrains и nVidia – решили поделиться накопленным опытом и устроить летнюю школу по байесовским методам в глубинном обучении Deep|Bayes, где подробно рассказать, что такое байесовские методы, как их комбинировать с глубинным обучением и что из этого может получиться.

Отбор на школу оказался весьма сложным занятием – мы получили более 300 заявок от сильных кандидатов, но вместить смогли только 100 (приятно, что среди участников были не только жители Москвы и Петербурга, но и студенты из регионов, а так же русскоговорящие гости из-за границы). Пришлось отказать многим сильным кандидатам, поэтому для смягчения этого прискорбного факта мы решили сделать доступными максимальное количество материалов, которыми и хотим поделиться с читателями.

Читать полностью »

Ограничения глубинного обучения и будущее

2017-08-07 в 5:48, admin, рубрики: AlphaGo, AutoML, DeepMind, python, абстракция, антропоморфизация, апокалипсис, генерация нейросетей, глубинное обучение, градиентный спуск, ИИ, машинное обучение, нейросеть, обобщения, обратное распространение, Программирование, программный синтез, разум, рассуждения, сильный ИИ, Сингулярность, функция потерь

Ограничения глубинного обучения и будущее - 1 Эта статья представляет собой адаптацию разделов 2 и 3 из главы 9 моей книги «Глубинное обучение с Python» (Manning Publications).

Статья рассчитана на людей, у которых уже есть значительный опыт работы с глубинным обучением (например, тех, кто уже прочитал главы 1-8 этой книги). Предполагается наличие большого количества знаний.

Ограничения глубинного обучения

Глубинное обучение: геометрический вид

Самая удивительная вещь в глубинном обучении — то, насколько оно простое. Десять лет назад никто не мог представить, каких потрясающих результатов мы достигнем в проблемах машинного восприятия, используя простые параметрические модели, обученные с градиентным спуском. Теперь выходит, что нужны всего лишь достаточно большие параметрические модели, обученные на достаточно большом количестве образцов. Как сказал однажды Фейнман о Вселенной: «Она не сложная, её просто много».
Читать полностью »

Чему умные машины должны научиться у неокортекса

2017-07-17 в 8:12, admin, рубрики: будущее здесь, глубинное обучение, искусственный интеллект, машинное обучение, неокортекс, новая кора, умные машины

Компьютеры преобразовали работу и развлечения, перевозки и медицину, игры и спорт. И при всей их мощи эти машины всё ещё не способны выполнять простейшие задачи, с которыми справится и ребёнок – допустим, перемещаться в неизвестном помещении или использовать карандаш.

Наконец, становится доступным решение этой проблемы. Оно появится на пересечении двух направлений исследований: обратной разработки мозга и пышно цветущей области искусственного интеллекта. В следующие 20 лет два этих направления срастутся и запустят новую эпоху умных машин.

Почему для постройки умных машин нам нужно понять, как работает мозг? Хотя такие техники машинного обучения, как глубинные нейросети, в последнее время показывают впечатляющие результаты, они всё ещё очень далеки от интеллектуальных, от возможности понимать и действовать в окружающем мире так, как делаем это мы. Единственный пример интеллекта, возможности обучаться, планировать и исполнять задуманное – это мозг. Следовательно, мы должны понять принципы, лежащие в основе человеческого интеллекта, и использовать их в разработке по-настоящему умных машин.
Читать полностью »

Как HBO делала приложение Not Hotdog для сериала «Кремниевая долина»

2017-06-27 в 10:53, admin, рубрики: alexnet, appstore, Cyclical Learning Rates, DX, Enet, Google Cloud Vision, ImageNet, inception, keras, react native, SqueezeNet, TensorFlow, UX, Xception, глубинное обучение, зловещая долина, Компьютерное зрение, машинное обучение, обработка изображений, переобучение, разработка мобильных приложений, Разработка под android, разработка под iOS, метки: Google Cloud Vision

Как HBO делала приложение Not Hotdog для сериала «Кремниевая долина» - 1

Сериал HBO «Кремниевая долина» выпустил настоящее приложение ИИ, которое распознаёт хотдоги и не-хотдоги, как приложение в четвёртом эпизоде четвёртогого сезона (приложение сейчас доступно для Android, а также для iOS!)

Чтобы добиться этого, мы разработали специальную нейронную архитектуру, которая работает непосредственно на вашем телефоне, и обучили её с помощью TensorFlow, Keras и Nvidia GPU.
Читать полностью »

Зловещий секрет в самом сердце искусственного интеллекта

2017-05-07 в 17:05, admin, рубрики: будущее здесь, глубинное обучение, искусственный интеллект, логика, машинный разум, познаваемость

Никто не понимает, как работают самые передовые алгоритмы. И это может стать проблемой

В прошлом году на тихие дороги округа Монмут, Нью-Джерси, вышел странный робомобиль. Экспериментальное средство передвижения, разработанное исследователями из Nvidia, внешне не отличалось от других робомобилей, но оно было совершенно не таким, какие разрабатывают в Google, Tesla или General Motors, и оно продемонстрировало растущую мощь ИИ. Автомобиль не следовал строгим инструкциям, запрограммированным человеком. Он полностью полагался на алгоритм, обучившийся водить машину, наблюдая за людьми.

Создать таким образом робомобиль – достижение необычное. Но и немного тревожное, поскольку не до конца ясно, каким образом машина принимает решения. Информация из датчиков идёт напрямую в большую сеть искусственных нейронов, обрабатывающую данные и выдающую команды, необходимые для управления рулём, тормозами и другими системами. Результат похож на действия живого водителя. Но что, если однажды она сделает что-нибудь неожиданное – въедет в дерево, или остановится на зелёный свет? В текущей ситуации будет очень сложно выяснить причину такого поведения. Система настолько сложна, что даже разработавшие её инженеры с трудом смогут найти причину любого конкретного действия. И ей нельзя задать вопрос – не существует простого способа разработать систему, способную объяснить свои действия.
Читать полностью »

Информация

Комментарии

Рекомендуем