Поиск Bing оптимизировали с помощью нейросети на FPGA

в 11:45, , рубрики: Altera, Bing, fpga, microsoft, Железо, облачные сервисы, свёрточная нейросеть, метки:

Поиск Bing оптимизировали с помощью нейросети на FPGA - 1

В проектировании серверной инфраструктуры для обработки поисковых запросов у каждой компании есть свои ноу-хау. Например, Microsoft в последние годы активно экспериментирует с использованием FPGA (Field-Programmable Gate Array, программируемые пользователем вентильные матрицы).

Для поисковой системы Bing инфраструктура ранжирования разделена на три части: выделение признаков (feature extraction), обработка выражений в свободной форме (free-form expressions) и вычисление результата системой машинного обучения (machine learning scoring).

Поиск Bing оптимизировали с помощью нейросети на FPGA - 2

С 2011 года в рамках проекта Catapult начался процесс миграции этих систем на FPGA. Процесс шёл непросто, за эти годы Microsoft экспериментировала с тремя моделями FPGA, для каждой из которых приходилось конструировать специальные материнские платы.

В июне 2014 года Microsoft рассказывала, что удалось перевести на платформу Catapult (то есть на FPGA) 1632 сервера в одном из дата-центров. Это позволило сохранить производительность поисковой подсистемы на том же уровне, снизив количество серверов вдвое.

Работа продолжилась в том же направлении, и сейчас Microsoft рассказала о последних модификациях, сделанных в подсистеме машинного обучения Bing.

Во-первых, Microsoft перешла на новые высокопроизводительные FPGA Altera Arria 10. В них увеличена производительность в операциях с плавающей запятой (трёхкратная выгода по энергоэффективности, по сравнению с GPU).

Поиск Bing оптимизировали с помощью нейросети на FPGA - 3

Во-вторых, разработан новый оригинальный дизайн свёрточной нейросети на матрицах Stratix-V FPGA от Altera. Эту нейросеть сейчас используют в задачах компьютерного зрения, распознавании образов и классификации изображений, в том числе для поисковой системы Bing.

Поиск Bing оптимизировали с помощью нейросети на FPGA - 4

Если верить результатам, опубликованным в научной работе, то в стандартных тестах по классификации изображений ImageNet 1K и ImageNet 22K нейросеть от Microsoft превосходит предыдущие варианты дизайна на FPGA примерно в три раза. В этих двух тестах Catapult Server + Stratix V D5 осуществляет классификацию со скоростью 134 и 91 изображение в секунду, соответственно.

Поиск Bing оптимизировали с помощью нейросети на FPGA - 5

В то же время, существенно улучшены показатели в затратах джоулей на картинку, по сравнению с разными GPU, оптимизированными для этой задачи. Таким образом, серверы Microsoft смогут работать эффективнее и дешевле, чем серверы на стандартных GPU.

Автор: alizar

Источник

Поделиться

* - обязательные к заполнению поля