Поиск Bing оптимизировали с помощью нейросети на FPGA

В проектировании серверной инфраструктуры для обработки поисковых запросов у каждой компании есть свои ноу-хау. Например, Microsoft в последние годы активно экспериментирует с использованием FPGA (Field-Programmable Gate Array, программируемые пользователем вентильные матрицы).

Для поисковой системы Bing инфраструктура ранжирования разделена на три части: выделение признаков (feature extraction), обработка выражений в свободной форме (free-form expressions) и вычисление результата системой машинного обучения (machine learning scoring).

С 2011 года в рамках проекта Catapult ^[1] начался процесс миграции этих систем на FPGA. Процесс шёл непросто, за эти годы Microsoft экспериментировала с тремя моделями FPGA, для каждой из которых приходилось конструировать специальные материнские платы.

В июне 2014 года Microsoft рассказывала ^[2], что удалось перевести на платформу Catapult (то есть на FPGA) 1632 сервера в одном из дата-центров. Это позволило сохранить производительность поисковой подсистемы на том же уровне, снизив количество серверов вдвое.

Работа продолжилась в том же направлении, и сейчас Microsoft рассказала о последних модификациях ^[3], сделанных в подсистеме машинного обучения Bing.

Во-первых, Microsoft перешла на новые высокопроизводительные FPGA Altera Arria 10 ^[4]. В них увеличена производительность в операциях с плавающей запятой (трёхкратная выгода по энергоэффективности, по сравнению с GPU).

Во-вторых, разработан новый оригинальный дизайн свёрточной нейросети на матрицах Stratix-V FPGA от Altera. Эту нейросеть сейчас используют в задачах компьютерного зрения, распознавании образов и классификации изображений, в том числе для поисковой системы Bing.

Если верить результатам, опубликованным в научной работе ^[5], то в стандартных тестах по классификации изображений ImageNet 1K и ImageNet 22K нейросеть от Microsoft превосходит предыдущие варианты дизайна на FPGA примерно в три раза. В этих двух тестах Catapult Server + Stratix V D5 осуществляет классификацию со скоростью 134 и 91 изображение в секунду, соответственно.

В то же время, существенно улучшены показатели в затратах джоулей на картинку, по сравнению с разными GPU, оптимизированными для этой задачи. Таким образом, серверы Microsoft смогут работать эффективнее и дешевле, чем серверы на стандартных GPU.

Автор: alizar

Источник ^[6]