- PVSM.RU - https://www.pvsm.ru -
Новый год все ближе, скоро закончатся 2010-е годы, подарившие миру нашумевший ренессанс нейросетей. Мне не давала покоя и лишала сна простая мысль: «Как можно ретроспективно прикинуть скорость развития нейросетей?» Ибо «Тот, кто знает прошлое — тот знает и будущее». Как быстро «взлетали» разные алгоритмы? Как вообще можно оценить скорость прогресса в этой области и прикинуть скорость прогресса в следующем десятилетии?
Понятно, что можно примерно посчитать количество статей по разным областям. Метод не идеальный, нужно учитывать подобласти, но в целом можно пробовать. Дарю идею, по Google Scholar (BatchNorm) [1] это вполне реально! Можно считать новые датасеты, можно новые курсы. Ваш же покорный слуга, перебрав несколько вариантов, остановился на Google Trends (BatchNorm) [2].
Мы с коллегами взяли запросы основных технологий ML/DL, например, Batch Normalization [3], как на картинке выше, точкой добавили дату публикации статьи и получили вполне себе график взлета популярности темы. Но не у всех тем путь усыпан розами взлет такой явный и красивый, как у батчнорма. Некоторые термины, например регуляризацию или skip connections, вообще не получилось построить из-за зашумленности данных. Но в целом тренды собрать удалось.
Кому интересно, что получилось — добро пожаловать под кат!
Итак! Исходные данные были довольно сильно зашумлены, иногда были резкие пики.
Источник: твиттер Андрея Карпаты — студенты стоят в проходах огромной аудитории, чтобы послушать лекцию по сверточным нейросетям [4]
Условно, достаточно было Андрею Карпаты [5] прочитать лекцию легендарного CS231n: Convolutional Neural Networks for Visual Recognition [6] на 750 человек с популяризацией понятия, как идет резкий пик. Поэтому данные сглаживались простым box-фильтром [7] (все сглаженные помечены как Smoothed на оси). Поскольку нас интересовало сравнение скорости роста популярности — после сглаживания все данные были нормализованы. Получилось довольно забавно. Вот график основных архитектур, соревновавшихся на ImageNet:
Источник: Здесь и далее — расчеты автора по данным Google Trends
На графике очень хорошо видно, что после нашумевшей публикации AlexNet [8], заварившей кашу текущего хайпа нейросетей в конце 2012, еще в течении практически двух лет бурлил вопреки утверждениям кучи примкнувших только относительно узкий круг специалистов. В широкие народные массы тема пошла только зимой 2014–2015 годов. Обратите внимание, каким периодическим становится график с 2017 года: дальше пики каждую весну. В психиатрии это называется весеннее обост… Это верный признак, что теперь термин гуглят в основном студенты, и в среднем интерес к AlexNet по сравнению с пиком популярности падает.
Дальше, во второй половине 2014, появился VGG [9]. К слову, придумал VGG [10] в соавторстве с научным руководителем мой бывший студент Карен Симонян [11], ныне работающий в Google DeepMind (AlphaGo [12], AlphaZero [13] и т.д.). Учась в МГУ на 3-м курсе, Карен реализовал неплохой алгоритм Motion Estimation [14], который уже 12 лет служит референсом 2-курсникам. Причем задачи там в чем-то неуловимо похожи. Сравните:
Источник: Функция потерь для задач Motion Estimation (материалы автора) и VGG-56 [15]
Слева нужно за минимальное число измерений найти самую глубокую точку в нетривиальной поверхности, зависящей от входных данных (при этом возможно много локальных минимумов), и справа нужно с минимальными вычислениями найти точку пониже (и тоже куча локальных минимумов, и тоже поверхность зависит от данных). Слева получим предсказанный motion vector, а справа — обученную сеть. А разница в том, что слева есть только неявное измерение цветового пространства, а справа это пара измерений из сотни миллионов. Ну и вычислительная сложность справа примерно на 12 порядков (!) выше. Чуть-чуть так… Но второй курс даже с простенькой задачкой колтыхаются как… [вырезано цензурой]. И уровень программирования вчерашних школьников по непонятным причинам за последние 15 лет заметно упал. Приходится им говорить: «Вот будете хорошо ME делать, вас возьмут в DeepMind!». Можно было бы говорить «изобретете VGG», но «возьмут в DeepMind» почему-то мотивирует лучше. Это, очевидно, современный продвинутый аналог классического «Будешь есть манную кашу, станешь космонавтом!». Впрочем, в нашем случае, если посчитать число детей в стране и размер отряда космонавтов, шансы в миллионы раз выше, ибо из нашей лаборатории уже двое работают в DeepMind.
Дальше был DenseNet [16], который пришелся уже на начало общего хайпа и начал взлетать заметно быстрее. И, наконец, пробивший планку количества слоев ResNet [17] пошел на взлет почти сразу, пусть и не так резко, как DenseNet.
Если мы говорим про популярность, хотелось бы пару слов вставить про характеристики сети и эффективность работы, от которых популярность тоже зависит. Если посмотреть, как на ImageNet [18] предсказывают класс в зависимости от количества операций в сети, расклад будет такой (выше и левее — лучше):
Источник: Benchmark Analysis of Representative Deep Neural Network Architectures [19]
Типа AlexNet уже совсем не торт, и рулят сети на основе ResNet. Однако если посмотреть на более близкую моему сердцу практическую оценку FPS, то хорошо видно, что VGG тут поближе к оптимуму, и вообще, расклад заметно меняется. В том числе AlexNet неожиданно на Парето-оптимальной огибающей (горизонтальная шкала логарифмическая, лучше выше и правее):
Источник: Benchmark Analysis of Representative Deep Neural Network Architectures [19]
Итого:
Впрочем, вернемся к технологиям. Термин Dropout [21] как поисковое слово достаточно зашумлен, однако 5-кратный рост явно связан с нейросетями. А спад интереса к нему — скорее всего с патентом Google [22] и появлением новых методов. Обратите внимание, что от публикации исходной статьи [23] до всплеска интереса к методу прошло около полутора лет:
Впрочем, если говорить о сроке до взлета популярности, то в DL одно из первых мест явно занимают рекуррентные сети [24] и LSTM [25]:
Долгие 20 лет до текущего пика популярности, и теперь с их использованием кардинально улучшен машинный перевод, анализ генома, а в ближайшее время (если из моей области брать) благодаря им вдвое упадет трафик YouTube, Netflix при том же визуальном качестве. Если правильно учить уроки истории, то очевидно, что часть идей из текущего вала статей «взлетит» только через 20 лет. Ведите здоровый образ жизни, берегите себя, и вы увидите это лично!
Теперь ближе к обещанному хайпу. GAN-ы [26] взлетали так:
[27]
Хорошо видно, что почти год была вообще тишина и только в 2016, через 2 года, пошел резкий взлет (результаты удалось заметно улучшить). Этот взлет еще через год дал нашумевший DeepFake, тоже, впрочем, взлетавший 1,5 года. То есть даже очень многообещающим технологиям требуется заметное время, чтобы от идеи дойти до приложений, которые может использовать каждый.
Если посмотреть, какие картинки генерировал GAN в исходной статье [28] и что можно построить со StyleGAN [29], то становится совершенно очевидно, почему была такая тишина. В 2014 только специалисты могли оценить, как это круто — сделать, по сути, функцией потерь другую сеть и обучать их вместе. А в 2019 оценить, как это круто, мог уже каждый школьник (совершенно не понимая, как это сделано):
Разных проблем, успешно решаемых нейросетями, сегодня очень много [30], можно брать лучшие сети и строить графики популярности для каждого направления, разбираться с шумами и пиками поисковых запросов и т.д. Чтобы не растекаться мыслью по древу, завершим эту подборку темой алгоритмов сегментации, где идеи atrous/dilated convolution [31] и ASPP [32] в последние полтора года вполне себе выстрелили в бенчмарке алгоритмов [33]:
Также следует отметить, что если DeepLabv1 [34] год с лишним «ждал» взлета популярности, то DeepLabv2 [35] взлетел через год, а DeepLabv3 [36] вообще практически сразу. Т.е. в целом можно говорить об ускорении роста интереса со временем (ну или ускорение роста интереса к технологиям зарекомендовавших себя авторов).
Все это вместе привело к созданию следующей глобальной проблемы — взрывному росту количества публикаций по теме:
Источник: Too many machine learning papers? [37]
На этот год получается порядка 150–200 статей в день, учитывая, что на arXiv-e публикуются не все. Прочитывать статьи даже в своей подобласти сегодня становится совершенно невозможно. Как следствие, многие интересные идеи заведомо окажутся погребенными под завалами новых публикаций, что скажется на сроках их «взлета». Впрочем, также взрывное увеличение числа грамотных специалистов, занятых в области, дает слабую надежду справиться с проблемой.
Итого:
Уже 2 года со страниц газет не сходит плавно набирает популярность AutoML. Началось все традиционно с ImageNet, в котором в Top-1 Accuracy он начал прочно занимать первые места:
Суть AutoML очень проста, в нем сбылась вековая мечта data scientist-ов — чтобы гиперпараметры подбирала нейросеть. Идея была встречена на ура:
Ниже на графике мы видим довольно редкую ситуацию, когда после публикации исходных статей по NASNet [40] и AmoebaNet [41], они начинают набирать популярность по меркам предыдущих идей практически мгновенно (сказывается огромный интерес к теме):
Идиллическую картину несколько портят два момента. Во-первых, любой разговор про AutoML начинается с фразы: «Если у вас есть дофигалион GPU...». И это проблема. Google, конечно, утверждает, что с их Cloud AutoML [42] это легко решаемо, главное, чтобы у вас хватило денег, но с таким подходом согласны не все. Во-вторых, работает он пока неидеально [43]. С другой стороны, вспоминая GAN-ы — пяти лет еще не прошло, а сама идея выглядит весьма перспективной.
В любом случае, основной взлет AutoML начнется со следующим поколением аппаратных акселераторов нейросетей и, собственно, с улучшением алгоритмов.
Источник: Картинка Дмитрия Коновальчука, материалы автора
Итого: На самом деле вечного праздника у data scientist-ов не наступит, конечно, ибо еще очень надолго останется большая головная боль с данными. Но перед Новым Годом и началом 2020-х почему бы не помечтать?
Эффективность исследований очень сильно зависит от инструментов. Если для того, чтобы запрограммировать AlexNet, нужно было нетривиальное программирование, то сегодня подобную сеть можно в несколько строк собрать в свежих фреймворках.
Хорошо видно, как волнами меняется популярность. На сегодня наиболее популярным (в том числе по данным PapersWithCode [44]) является PyTorch [45]. А когда-то популярный Caffe [46] красиво очень плавно уходит. (Примечание: topic и software означает, что при построении графика использовалась фильтрация по теме от Google.)
Ну и раз мы затронули инструменты разработки, стоит упомянуть библиотеки ускорения исполнения сетей:
[27]
Старейшей в теме является (респект NVIDIA) cuDNN [47], и, к счастью для разработчиков, за последние пару лет количество библиотек кратно возросло, а старт их популярности стал ощутимо круче. И, похоже, все это — еще только начало.
Итого: Даже за последние 3 года инструменты серьезно изменились к лучшему. А 3 года назад их по нынешним меркам не было совсем. Прогресс очень хороший!
Но самое интересное начнется позднее. Этим летом в отдельной большой статье [20] я подробно описал, почему CPU и даже GPU — недостаточно эффективны для работы с нейросетями, почему миллиарды долларов вливаются в разработку новых чипов, и какие там перспективы. Не буду повторяться. Ниже обобщение и дополнение предыдущего текста.
Начнем с того, что надо понимать отличия вычислений нейросетей от вычислений в привычной фон Неймановской архитектуре (в которой их вычислять, конечно, можно, но менее эффективно):
Источник: Картинка Дмитрия Коновальчука, материалы автора
Архитектура фон Неймана | Нейросети |
Большинство вычислений — последовательное выполнение операций | Массивно-параллельные вычисления (нужна архитектура с большим количеством вычислительных модулей и акселерацией тензорных вычислений) |
Ход вычислений меняется в зависимости от условий (нужна суперскалярность [48]) |
Структура вычислений почти всегда фиксирована и заранее известна (суперскалярность неэффективна) |
Есть локальность по данным (хорошо работает кэш) | Нет локальности по данным (кэш греет воздух) |
Вычисления точные | Вычисления могут быть неточными |
Данные изменяются по-разному для разных алгоритмов | Десятки мегабайт коэффициентов сети неизменны при многократном прогоне данных через нейросеть |
В предыдущий раз основное обсуждение пошло вокруг FPGA/ASIC, а неточные вычисления остались практически незамеченными, поэтому остановимся на них поподробнее. Огромные перспективы уменьшения чипов следующих поколений именно в возможности считать неточно (и хранить локально данные коэффициентов). Огрубление, собственно, используется и в точной арифметике, когда веса сети переводятся в целые числа и квантуются, но на новом уровне. В качестве примера рассмотрим однобитный сумматор (пример достаточно абстрактный):
Источник: A High Speed and Low Power 8 Bit x 8 Bit Multiplier Design using Novel Two Transistor (2T) XOR Gates [49]
Ему требуется 6 транзисторов (существуют разные подходы, число требуемых транзисторов может быть больше и меньше, но в целом примерно так). Для 8 бит требуется примерно 48 транзисторов [50]. При этом аналоговому сумматору требуется всего 2 (два!) транзистора, т.е. в 24 раза меньше:
Источник: Analog Multipliers (Analysis and Design of Analog Integrated Circuits) [51]
Если точность будет более высокой (например, эквивалентной цифровым 10 или 16 битам), разница будет еще больше. Еще интереснее ситуация с умножением! Если цифровому 8-битному мультиплексору требуется около 400 транзисторов [50], то аналоговому 6, т.е. в 67 раз (!) меньше. Безусловно, «аналоговые» и «цифровые» транзисторы с точки зрения схемотехники существенно отличаются, однако идея понятна — если нам удается повысить точность аналоговых вычислений, то мы на умножениях легко достигаем ситуации, когда нам требуется на два порядка меньше транзисторов. И дело даже не столько в сокращении размера (что важно в связи с «замедлением закона Мура»), сколько в сокращении потребления электричества, что критично для мобильных платформ. Да и для дата-центров лишним не будет.
Источник: IBM thinks analog chips to accelerate machine learning [52]
Ключевым для успеха тут будет сокращение точности, и опять тут IBM в первых рядах:
Источник: IBM Research Blog: 8-Bit Precision for Training Deep Learning Systems [53]
Они уже занимаются специализированными ASIC для нейросетей, которые показывают более чем 10-кратное превосходство над GPU, и планируют в ближайшие годы достичь 100-кратного превосходства. Выглядит предельно обнадеживающе, очень ждем, поскольку, повторюсь, для мобильных устройств это будет прорыв.
Пока же ситуация не так волшебна, хотя есть серьезные успехи. Вот интересный тест текущих мобильных аппаратных акселераторов нейросетей (картинка кликабельна, и, что опять греет душу автора, тоже в картинках в секунду):
[54]
Источник: Performance evolution of mobile AI accelerators: image throughput for the float Inception-V3 model (FP16 model using TensorFlow Lite and NNAPI) [55]
Зеленым обозначены мобильные чипы, синим — CPU, оранжевым — GPU. Хорошо видно, что текущие мобильные чипы и в первую очередь топовый чип от Huawei уже обгоняют по производительности CPU в десятки раз большего размера (и энергопотребления). И это сильно! С GPU пока все не так волшебно, но то ли еще будет. Подробнее результаты можно посмотреть на отдельном сайте http://ai-benchmark.com/ [56], обратите там внимание на секцию тестов, они выбрали хороший набор алгоритмов для сравнения.
Итого: Прогресс аналоговых акселераторов сегодня довольно сложно оценивать. Идет гонка. На изделия пока не вышли, поэтому публикаций относительно мало [57]. Можно мониторить появляющиеся с задержкой патенты (например, плотный поток от IBM [58]) или выуживать редкие патенты [59] других производителей. Похоже, это будет очень серьезная революция, в первую очередь в смартфонах и серверных TPU.
ML/DL сегодня называют новой технологией программирования, когда мы не пишем программу, а вставляем блок и обучаем его. Т.е. типа сначала был ассемблер, потом С, потом С++, и вот теперь, после долгих 30 лет ожидания, следующая ступенька — ML/DL:
В этом есть свой смысл. В продвинутых компаниях с недавних пор места принятия решений в программах заменяют нейросетями. Т.е. если вчера там были решения «на IF-ах» или на милых сердцу программиста эвристиках или даже использовались уравнения Лагранжа (вау!) и прочие более сложные достижения десятилетий развития теории управления, то сегодня там ставят простенькую нейросеть на 3-5 слоев с несколькими входами и несколькими десятками коэффициентов. Она мгновенно обучается, ощутимо эффективнее работает, и разрабатывать код становится быстрее. Если раньше надо было сидеть, шаманить, включать , то теперь воткнул, скормил данных, и оно заработало, а ты занят более высокоуровневыми вещами. Просто праздник какой-то!
Естественно, отладка теперь отличается. Если раньше, когда что-то не работало, шел запрос: «Пришлите пример, на котором не работает!» И дальше серьезный опытный бородатый программист разбирался в коде и эвристиках, правил пару коэффициентов, и, если он угадал с обобщением примера на все такие случаи и в правильном месте поправил, то и другие подобные примеры начинали (о, счастье!) работать. С нейросетевым блоком такой фокус не пройдет и запрос будет: «Дайте пример и размеченные данные, плиз!» И дальше будет прогон дообучения с контролем попадания достаточного количества примеров на все ноды, потенциально причастные к неверному решению. А еще дальше на производстве просто появится большая красная кнопка «Дообучить» с такой же большой и красной надписью под ней «Нажимать не чаще раза в месяц!» (дабы ограничить файнтюнинг). И мировая экономика станет еще эффективнее. Аллилуйя!
Впрочем, как математический инструмент ML/DL вообще и нейросети в частности — это явно нечто большее, чем следующая технология программирования. Те же нейросети теперь встречаются просто на каждом шагу:
С момента, когда люди научились обучать действительно глубокие нейросети во многом благодаря BatchNorm (2015) и skip connections (2015), прошло всего 4 года, а с момента, как они «взлетели», — 3 года, и результаты их работы мы пока толком не видели. И сейчас они будут доходить до продуктов. Что-то подсказывает, что в ближайшие годы нас ждет много интересного. Особенно когда «взлетят» акселераторы…
Когда-то давно, если кто помнит, Прометей похитил с Олимпа огонь и передал его людям. Рассердившийся Зевс с другими богами создали первую красавицу женщину-человека по имени Пандора, которую наделили многими замечательными женскими качествами (я внезапно осознал, что поликорретный пересказ части мифов Древней Греции крайне сложен). Пандора была послана людям, но подозревавший неладное Прометей устоял перед ее чарами, а его брат Эпиметей нет. В подарок на свадьбу Зевс послал с Меркурием красивый ларец и Меркурий, добрая душа, поручение выполнил — отдал ларец Эпиметею, но предупредил, чтобы его ни в коем случае не открывали. Любопытная Пандора выкрала ларец у мужа, открыла его, но там оказались лишь грехи, болезни, войны и прочие проблемы человечества. Попыталась она закрыть ларец, да было уже поздно:
Источник: Художник Фредерик Стюарт Чёрч, «Открытый ящик Пандоры» [62]
С тех времен пошло выражение «открыть ящик Пандоры», то есть совершить из любопытства необратимое действие, последствия которого могут быть не столь прекрасны, как украшения ларца снаружи.
Знаете, чем глубже у меня погружение в нейросети, тем явственнее ощущение, что это очередной ящик Пандоры. Впрочем, у человечества богатейший опыт открытия подобных ящиков! Из свежего недавнего — это ядерная энергетика и интернет. Так что, думаю, совместными усилиями справимся. Не зря же куча суровых бородатых мужиков среди открывающих. Ну и красив ларец-то, согласитесь! И неправда, что там только беды, кучу хорошего уже достали. Поэтому, дружно взялись и… открываем дальше!
Итого:
Читайте также:
Хотелось бы сердечно поблагодарить:
Автор: Dmitriy Vatolin
Источник [67]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/iskusstvenny-j-intellekt/341166
Ссылки в тексте:
[1] Google Scholar (BatchNorm): https://scholar.google.com/scholar?hl=en&as_sdt=0%2C5&q=batch+normalization
[2] Google Trends (BatchNorm): https://trends.google.com/trends/explore?date=all&q=batch%20normalization
[3] Batch Normalization: https://en.wikipedia.org/wiki/Batch_normalization
[4] твиттер Андрея Карпаты — студенты стоят в проходах огромной аудитории, чтобы послушать лекцию по сверточным нейросетям: https://twitter.com/karpathy/status/849338608297406465
[5] Андрею Карпаты: https://en.wikipedia.org/wiki/Andrej_Karpathy
[6] CS231n: Convolutional Neural Networks for Visual Recognition: http://cs231n.stanford.edu/
[7] box-фильтром: http://nghiaho.com/?p=1159
[8] AlexNet: https://en.wikipedia.org/wiki/AlexNet
[9] VGG: https://towardsdatascience.com/vgg-neural-networks-the-next-step-after-alexnet-3f91fa9ffe2c
[10] придумал VGG: https://arxiv.org/abs/1409.1556
[11] Карен Симонян: https://scholar.google.com/citations?user=L7lMQkQAAAAJ&hl=en
[12] AlphaGo: https://en.wikipedia.org/wiki/AlphaGo
[13] AlphaZero: https://en.wikipedia.org/wiki/AlphaZero
[14] алгоритм Motion Estimation: https://www.compression.ru/video/motion_estimation/index_en.html
[15] VGG-56: https://arxiv.org/abs/1712.09913
[16] DenseNet: https://towardsdatascience.com/densenet-2810936aeebb
[17] ResNet: https://en.wikipedia.org/wiki/Residual_neural_network
[18] ImageNet: https://en.wikipedia.org/wiki/ImageNet
[19] Benchmark Analysis of Representative Deep Neural Network Architectures: https://www.researchgate.net/publication/328509150_Benchmark_Analysis_of_Representative_Deep_Neural_Network_Architectures
[20] прогресса акселераторов нейросетей: https://habr.com/post/455353/
[21] Dropout: https://en.wikipedia.org/wiki/Dropout_(neural_networks)
[22] патентом Google: https://patents.google.com/patent/US9406017B2/en
[23] исходной статьи: http://www.jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdf
[24] рекуррентные сети: https://ru.wikipedia.org/wiki/%D0%A0%D0%B5%D0%BA%D1%83%D1%80%D1%80%D0%B5%D0%BD%D1%82%D0%BD%D0%B0%D1%8F_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8C
[25] LSTM: https://ru.wikipedia.org/wiki/%D0%94%D0%BE%D0%BB%D0%B3%D0%B0%D1%8F_%D0%BA%D1%80%D0%B0%D1%82%D0%BA%D0%BE%D1%81%D1%80%D0%BE%D1%87%D0%BD%D0%B0%D1%8F_%D0%BF%D0%B0%D0%BC%D1%8F%D1%82%D1%8C
[26] GAN-ы: https://en.wikipedia.org/wiki/Generative_adversarial_network
[27] Image: https://videoprocessing.ml/
[28] исходной статье: http://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf
[29] StyleGAN: https://en.wikipedia.org/wiki/StyleGAN
[30] очень много: https://www.eff.org/ai/metrics
[31] atrous/dilated convolution: https://medium.com/@sh.tsang/review-deeplabv3-atrous-separable-convolution-semantic-segmentation-a625f6e83b90
[32] ASPP: https://towardsdatascience.com/review-deeplabv1-deeplabv2-atrous-convolution-semantic-segmentation-b51c5fbde92d
[33] в бенчмарке алгоритмов: http://host.robots.ox.ac.uk:8080/leaderboard/displaylb_main.php?challengeid=11&compid=6
[34] DeepLabv1: https://arxiv.org/pdf/1412.7062.pdf
[35] DeepLabv2: https://arxiv.org/pdf/1606.00915.pdf
[36] DeepLabv3: https://arxiv.org/pdf/1706.05587.pdf
[37] Too many machine learning papers?: http://data-mining.philippe-fournier-viger.com/too-many-machine-learning-papers/
[38] «съемка» актеров: https://www.youtube.com/watch?v=5rPKeUXjEvE
[39] применения камеры: https://www.youtube.com/watch?v=Wm3squcz7Aw
[40] NASNet: https://arxiv.org/pdf/1707.07012.pdf
[41] AmoebaNet: https://arxiv.org/pdf/1802.01548.pdf
[42] Cloud AutoML: https://cloud.google.com/automl/
[43] неидеально: https://towardsdatascience.com/automl-is-overhyped-1b5511ded65f
[44] по данным PapersWithCode: https://paperswithcode.com/trends
[45] PyTorch: https://pytorch.org/
[46] Caffe: http://caffe.berkeleyvision.org/
[47] cuDNN: https://developer.nvidia.com/cudnn
[48] суперскалярность: https://ru.wikipedia.org/wiki/%D0%A1%D1%83%D0%BF%D0%B5%D1%80%D1%81%D0%BA%D0%B0%D0%BB%D1%8F%D1%80%D0%BD%D0%BE%D1%81%D1%82%D1%8C
[49] A High Speed and Low Power 8 Bit x 8 Bit Multiplier Design using Novel Two Transistor (2T) XOR Gates: https://www.researchgate.net/publication/270898651_A_High_Speed_and_Low_Power_8_Bit_x_8_Bit_Multiplier_Design_using_Novel_Two_Transistor_2T_XOR_Gates
[50] 48 транзисторов: https://www.semanticscholar.org/paper/A-novel-approach-for-reversible-realization-of-with-Shukla-Singh/147db51cf0f054b260d980950c01146649483aa1
[51] Analog Multipliers (Analysis and Design of Analog Integrated Circuits): http://www.iitk.ac.in/eclub/ee381/AnalogMultipliers.pdf
[52] IBM thinks analog chips to accelerate machine learning: https://blocksandfiles.com/2019/02/11/ibms-ai-chips-change-phase/
[53] IBM Research Blog: 8-Bit Precision for Training Deep Learning Systems: https://www.ibm.com/blogs/research/2018/12/8-bit-precision-training/
[54] Image: https://storage.googleapis.com/groundai-web-prod/media%2Fusers%2Fuser_184359%2Fproject_394273%2Fimages%2Ffigs%2FPerformanceEVO.png
[55] Performance evolution of mobile AI accelerators: image throughput for the float Inception-V3 model (FP16 model using TensorFlow Lite and NNAPI): https://www.groundai.com/project/ai-benchmark-all-about-deep-learning-on-smartphones-in-2019/1
[56] http://ai-benchmark.com/: http://ai-benchmark.com/
[57] относительно мало: https://www.google.com/search?q=analog+dnn+accelerator+filetype%3Apdf
[58] от IBM: https://patents.google.com/?q=%22resistive+processing+unit%22&q=RPU&oq=%22resistive+processing+unit%22+RPU
[59] выуживать редкие патенты: https://patents.google.com/?q=analog&q=dnn&q=accelerator&oq=analog+dnn+accelerator
[60] мозг: http://www.braintools.ru
[61] получает быстрые и довольно точные решения: https://www.cgevent.ru/archives/28741
[62] Художник Фредерик Стюарт Чёрч, «Открытый ящик Пандоры»: https://regnum.ru/pictures/2414568/6.html
[63] программисты Google: https://habr.com/ru/post/411323/
[64] отказалась от контракта с Пентагоном на 10 миллиардов: https://tproger.ru/news/google-drops-pentagon/
[65] Deep Fake Science, кризис воспроизводимости и откуда берутся пустые репозитории: https://habr.com/post/480348/
[66] Уличная магия сравнения кодеков. Раскрываем секреты: https://habr.com/post/451664/
[67] Источник: https://habr.com/ru/post/481844/?utm_source=habrahabr&utm_medium=rss&utm_campaign=481844
Нажмите здесь для печати.