Groq Tensor Streaming Processor — первый ускоритель ИИ с производительностью в 1 POPS

Рынок аппаратных решений, так или иначе связанных с искусственным интеллектом, растёт огромными темпами. Молодая компания Groq, как сообщается, стала первой, кто предложил ускоритель ИИ с производительностью в 1 POPS (INT8). Для сравнения, у мощнейшего ускорителя Nvidia Tesla V100 показатель вчетверо ниже.

^[1]

В основе ускорителя лежит специализированный процессор Tensor Streaming Processor с частотой 1250 МГц. Источник говорит, что чип почти полностью состоит из векторных и матричных процессоров, а также кэш-памяти. Особенность конфигурации Tensor Streaming Processor заключается в узкой специализации — фактически он не способен больше ни на что, кроме как выполнять определённые задачи, связанные с глубоким обучением и выводом нейронных сетей. Более того, к примеру, у TSP имеется лишь кэш-память первого уровня, нет даже полноценной отдельной памяти, что также накладывается свои ограничения на типы нагрузок.

Но зато, как уже говорилось, в своей сфере он невероятно производителен. К тому же его TDP составляет 300 Вт, что соответствует показателю той же Tesla V100.

Источник ^[2]