Nvidia представила процессор Groq 3 LPU, который обладает 500 МБ памяти SRAM с пропускной способностью 150 ТБ/с

Компания Nvidia в свои новую платформу Vera Rubin для ИИ внедрила не только процессор Intel ^[1], но также совершенно новый языковой процессор (LPU) на основе технологий Groq. Напомним, Nvidia заключила с Groq лицензионное соглашение на внушительную сумму в 20 млрд долларов ^[2], в рамках которого получила не только доступ к технологиям Groq, но также часть специалистов последней, включая основателя.

Если точнее, в платформе Nvidia используется чип Groq 3 LPU. Это специализированный языковой процессор, состоящий из 98 млрд транзисторов, который имеет 500 МБ памяти SRAM. Это очень мало, только вот её пропускная способность достигает 150 ТБ/с. Для сравнения, 288 ГБ памяти HBM4 у GPU Rubin ^[3] могут похвастаться лишь 22 ТБ/с.

^[4]

В итоге языковой процессор имеет производительность 1,2 PFLOPS (FP8), и нужно понимать, что это решение для вывода, а не обучения.

В рамках своей платформы Nvidia создала целую отдельную стойку Groq 3 LPX, которая включает 256 процессоров. В совокупности стойка предлагает уже 128 ГБ памяти SRAM с пропускной способностью 40 ПБ/с.

^[4]

^[5]

Nvidia рассматривает Groq LPX, как сопроцессор для GPU Rubin, который повысит производительность декодирования на каждом уровне модели ИИ на каждом токене. При объединении Rubin и Groq LPX общая вычислительная мощность для вывода ИИ достигает 315 PFLOPS.

Источник ^[6]