Рубрика «TPU»

в 6:00, , рубрики: asic, big data, deep networks, DNN, DPU, fpga, gpu, huawei, IBM, inference, IPU, NNP, npu, RPU, TPU, training, VPU, глубокие сети, искусственный интеллект, Компьютерное железо, машинное обучение, Научно-популярное, нейросети, ускорение

Аппаратное ускорение глубоких нейросетей: GPU, FPGA, ASIC, TPU, VPU, IPU, DPU, NPU, RPU, NNP и другие буквы - 1

14 мая, когда Трамп готовился спустить всех собак на Huawei, я мирно сидел в Шеньжене на Huawei STW 2019 — большой конференции на 1000 участников — в программе которой были доклады Филипа Вонга, вице-президента по исследованиям TSMC по перспективам не-фон-неймановских вычислительных архитектур, и Хенга Ляо, Huawei Fellow, Chief Scientist Huawei 2012 Lab, на тему разработки новой архитектуры тензорных процессоров и нейропроцессоров. TSMC, если знаете, делает нейроускорители для Apple и Huawei по технологии 7 nm (которой мало кто владеет), а Huawei по нейропроцессорам готова составить серьезную конкуренцию Google и NVIDIA.

Google в Китае забанен, поставить VPN на планшет я не удосужился, поэтому патриотично пользовался Яндексом для того, чтобы смотреть, какая ситуация у других производителей аналогичного железа, и что вообще происходит. В общем-то за ситуацией я следил, но только после этих докладов осознал, насколько масштабна готовящаяся в недрах компаний и тиши научных кабинетов революция.

Только в прошлом году в тему было вложено больше 3 миллиардов долларов. Google уже давно объявил нейросети стратегическим направлением, активно строит их аппаратную и программную поддержку. NVIDIA, почувствовав, что трон зашатался, вкладывает фантастические усилия в библиотеки ускорения нейросетей и новое железо. Intel в 2016 году потратил 0,8 миллиарда на покупку двух компаний, занимающихся аппаратным ускорением нейросетей. И это при том, что основные покупки еще не начались, а количество игроков перевалило за полсотни и быстро растет.

Аппаратное ускорение глубоких нейросетей: GPU, FPGA, ASIC, TPU, VPU, IPU, DPU, NPU, RPU, NNP и другие буквы - 2

TPU, VPU, IPU, DPU, NPU, RPU, NNP — что все это означает и кто победит? Попробуем разобраться. Кому интересно — велкам под кат!
Читать полностью »

в 22:52, , рубрики: 3d, ABS, DIY, diy или сделай сам, HDPE, HIPS, LDPE, PA, pcl, PDMS, pet, PLA, PMMA, PVC, SAN, TPU, акрил, акрилонитрил, апротонные, ароматика, ацетон, бензол, в чем растворить, ВМС, высокомолекулярные соединения, вытяжной шкаф, гелеобразование, Гильдебранд, диметилсилоксан, диметилсульфоксид, диметилформамид, дихлорметан, дихлорэтан, защита органов дыхания, Здоровье гика, ИЭР-1, Лайфхаки для гиков, МИКОЛАН, муравьиная кислота, нейлон, неполярные, оргстекло, панорамная маска, ПВХ, пластмассы, ПМ-1, поддержки, поливиниловый спирт, поликарбонат, полимеры, полипропилен, полистирол, полиуретан, полиэтилен, полярные растворители, принтеры, противогаз, протонные, растворитель пластмасса, сварка пластмасс, силикон, соединение, стеклование, тетрагидрофуран, толуол, уксусная кислота, Хансен, химия, ХИОТ-6, хлорорганика, хлороформ, цепи полимеров, ЯЛОТ

DIY посвящается...

Одним из наиболее часто задаваемых вопросов в моей консультационной практике являются вопросы связанные с растворением/склейкой пластмасс с помощью всевозможных органических растворителей. В последнее время произошел настоящий всплеск интереса к химии высокомолекулярных соединений, связанный с появлением доступных 3D принтеров и необходимостью ориентироваться в «чернилах» для них (т.е. полимерных нитях-филаментах). Лишний раз убеждаюсь в том, что ни один, даже самый продвинутый «музей науки» с эффектным шоу не может так заставить IT-шника интересоваться пластмассами, как собственный 3D-принтер. Так что, читатель, если тебе хоть раз приходилось думать чем склеить пластмассу, которую не клеил default-ный суперклей, если мучали сомнения по поводу растворения поддержек свежеотпечатанной детали, да и просто интересно, чем можно отмыть клей от магазинного ценника на подарке — прошу под кат. Также настоятельно рекомендую страницу отправить в закладки не только тем, кто часто занимается склеиванием пластмасс, но и всем тем, кому часто приходится работать с различными растворителями/разбавителями. Делалось для себя — подарено!

Письмо химика 3D-печатнику. Растворители для пластмасс и защита от них - 1

Читать полностью »

в 12:00, , рубрики: Google, TPU, искусственный интеллект, машинное обучение, нейросети

Программист из Google Клиф Янг объясняет, как взрывное развитие алгоритмов глубинного обучения совпадает с отказом закона Мура, десятилетиями работавшего эмпирического правила прогресса компьютерных чипов, и заставляет разрабатывать принципиально новые вычислительные схемы

В Google рассказывают, как «экспоненциальный» рост ИИ изменяет саму природу вычислений - 1

Взрывное развитие ИИ и алгоритмов машинного обучения изменяет саму природу вычислений – так говорят в одной из самых крупных компаний, практикующих ИИ – в Google. Программист из Google Клиф Янг выступил на открытии осенней конференции по микропроцессорам, организованной компанией Linley Group – популярном симпозиуме по теме компьютерных чипов, проводимом почтенной компанией, занимающейся полупроводниковым анализом.

Янг сказал, что использование ИИ перешло в «экспоненциальную фазу» в тот самый момент, когда закон Мура, десятилетиями работавшее эмпирическое правило прогресса компьютерных чипов, полностью затормозилось.
Читать полностью »

в 12:00, , рубрики: cpu, Google Cloud Platform, gpu, TPU, глубинное обучение, искусственный интеллект, нейросети, Облачные вычисления, тезорный процессор

Почему TPU так хорошо подходят для глубинного обучения? - 1
Тензорный процессор третьего поколения

Тензорный процессор Google — интегральная схема специального назначения (ASIC), разработанная с нуля компанией Google для выполнения задач по машинному обучению. Он работает в нескольких основных продуктах Google, включая Translate, Photos, Search Assistant и Gmail. Облачный TPU обеспечивает преимущества, связанные с масштабируемостью и лёгкостью использования, всем разработчикам и специалистам по изучению данных, запускающим передовые модели машинного обучения в облаке Google. На конференции Google Next ‘18 мы объявили о том, что Cloud TPU v2 теперь доступен для всех пользователей, включая бесплатные пробные учётные записи, а Cloud TPU v3 доступен для альфа-тестирования.
Читать полностью »

в 14:10, , рубрики: Cloud TPU, Google Cloud Platform, gpgpu, Nvidia V100, ResNet-50, RiseML, TensorFlow, TPU, TPUv2, высокая производительность, глубокое обучение, машинное обучение, Облачные вычисления, тензорный процессор, умножение матриц

Сравнение Google TPUv2 и Nvidia V100 на ResNet-50 - 1

Недавно Google добавила к списку облачных услуг Tensor Processing Unit v2 (TPUv2) — процессор, специально разработанный для ускорения глубокого обучения. Это второе поколение первого в мире общедоступного ускорителя глубокого обучения, который претендует на альтернативу графическим процессорам Nvidia. Недавно мы рассказывали о первых впечатлениях. Многие просили провести более детальное сравнение с графическими процессорами Nvidia V100.

Объективно и осмысленно сравнить ускорители глубокого обучения — нетривиальная задача. Но из-за будущей важности этой категории продуктов и отсутствия подробных сравнений мы чувствовали необходимость провести самостоятельные тесты. Сюда входит и учёт мнений потенциально противоположных сторон. Вот почему мы связались с инженерами Google и Nvidia — и предложили им прокомментировать черновик этой статьи. Чтобы гарантировать отсутствие предвзятости, мы пригласили также независимых экспертов. Благодаря этому получилось, насколько нам известно, самое полное на сегодняшний день сравнение TPUv2 и V100.
Читать полностью »

в 12:26, , рубрики: cisc, EDSAC 2, Intel ISA, ISA, Open RISC-V, RISC, TPU, VAX 11/780, Дэвид Паттерсон, закон Амдала, закон масштабирования Деннарда, закон Мура, количественный подход, компьютерная архитектура, Компьютерное железо, мейнфрейм, микрокод, микропрограммирование, Производство и разработка электроники, Процессоры

50 (или 60) лет разработки процессоров… ради этого? - 1«Закон масштабирования Деннарда и закон Мура мертвы, что теперь?» — пьеса в четырёх действиях от Дэвида Паттерсона

«Мы сжигаем мосты, по которым сюда мчимся, не имея других доказательств своего движения, кроме воспоминаний о запахе дыма и предположения, что он вызывал слёзы» — «Розенкранц и Гильденштерн мертвы», абсурдистская пьеса Тома Стоппарда

15 марта д-р Дэвид Паттерсон выступил перед аудиторией из примерно 200 наевшихся пиццы инженеров. Доктор вкратце изложил им полувековую историю конструирования компьютеров с трибуны в большом конференц-зале здания E в кампусе Texas Instruments в Санта-Кларе во время лекции IEEE под названием «50 лет компьютерной архитектуры: от центральных процессоров до DNN TPU и Open RISC-V». Это история случайных взлётов и падений, провалов и чёрных дыр, поглотивших целые архитектуры.

Паттерсон начал с 1960-х годов и новаторского проекта IBM System/360, основанного на ранних работах Мориса Уилкса по микропрограммированию 1951 года. По меркам IT это было давным-давно… Ближе к концу выступления Паттерсон показал потрясающую диаграмму. Она наглядно демонстрирует, как именно смерть закона масштабирования Деннарда, за которой следует смерть закона Мура, полностью изменили методы проектирования компьютерных систем. В конце он объяснил посмертные технологические последствия этих потрясений.
Читать полностью »

в 9:31, , рубрики: Google, gpu, Nvidia, TPU, Блог компании Сквадра Груп, виртуализация, Облачные вычисления, Серверная оптимизация

Недавний отчет Google об устройстве и назначении TPU позволяет сделать однозначный вывод — без ускоренных вычислений серьезное развертывание системы ИИ просто нецелесообразно.
Большинство необходимых экономических вычислений во всем мире сегодня производится в мировых центрах обработки данных, а они с каждым годом все сильнее изменяются. Не так давно они обслуживали веб-страницы, распространяли рекламу и видеоконтент, а теперь распознают голос, идентифицируют изображение в видеопотоках и предоставляют нужную информацию именно в тот момент, когда она нам нужна.
Nvidia опубликовала отчет о разработке и оптимизации актуальных GPU и сравнила их с TPU Google - 1
Все чаще эти возможности активируются с помощью одной из форм искусственного интеллекта, т.н. «глубокого обучения». Это алгоритм, который учится на огромных объемах данных для создания систем, решающих такие задачи, как перевод с разных языков, диагностирование рака и обучение беспилотных автомобилей. Перемены, привносимые искусственным интеллектом в нашу жизнь, ускоряются невиданными в отрасли темпами.

Один из исследователей глубокого обучения, Джеффри Хинтон, недавно сказал в интервью «The New Yorker»: «Возьмите любую старую классификационную проблему, в которой у вас много данных, и она будет решена путем «глубокого обучения». У нас на подходе тысячи разных приложений на базе «глубокого обучения».
Читать полностью »

в 9:32, , рубрики: Google, TPU, Блог компании Сквадра Груп, виртуализация, Облачные вычисления, Процессоры, Серверная оптимизация, метки:

Хотя еще с 2015 года Google TPU (Tensor Processing Unit) обеспечивает работу обширной империи из систем «глубокого обучения», об этом специальном процессоре известно очень мало. Однако не так давно веб-гигант опубликовал описание чипа и объяснил, почему он на порядок быстрее и энергоэффективнее, чем CPU и GPU, которые он заменяет.

Google обнародовала технические данные и назначение TPU - 1

Для начала немного контекста. TPU – это специализированная ASIC, разработанная инженерами Google для ускорения процессов «вывода» (имеется ввиду получение готового результата – прим. переводчика) нейросетей, ее цель — ускорение продуктивной фазы этих приложений для уже обученных сетей. Например, это работает каждый раз, когда пользователь инициирует голосовой поиск, запрашивает перевод текста или ищет совпадение с изображением. Но на этапе обучения Google использует GPU, так же, как и все компании, использующие технологию «глубокого обучения».
Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js