Лучшие ускорители для ИИ вовсе не у Nvidia? Google представила TPU седьмого поколения (Ironwood) с производительностью 42,5 ExaFLOPS на модуль

Компания Google весьма давно занимается разработкой собственных ИИ-процессоров, которые успешно использует в собственной же инфраструктуре. Её TPU разменяли уже семь поколений. Точнее, как раз сейчас Google представила седьмое. 

^[1]

Новое поколение называется Ironwood. Как говорит сама Google, это её самый производительный и масштабируемый специализированный ускоритель для ИИ. Он специально разработан для поддержки масштабируемых моделей интеллектуального мышления ^[2] и инференса. 

Много технических параметров Google не даёт. Известно, что ускоритель с одним чипом содержит 192 ГБ памяти HBM3E с пропускной способностью 7,37 ТБ/с. Производительность в режиме FP8 составляет 4614 TFLOPS, но Google оперирует модулями. Новый чип поддерживает возможность конфигурации до 9216 чипов на модуль, что в итоге обеспечивает 42,5 ExaFLOPS. Компания отмечает, что это в 24 раза больше, чем выдаёт самый мощный суперкомпьютер в мире (El Capitan), но нужно помнить, что El Capitan создаётся с прицелом на другие вычисления и упором на режим FP64. Модули соединены между собой с помощью фирменной сети Inter-Chip Interconnect со скоростью 9,6 Тбит/с и содержат в общей сложности около 1,77 ПБ памяти HBM3E. 

Также Google сравнивает своё детище с ускорителями Nvidia, что более корректно. В этом случае стойка Nvidia GB300 NVL72 обеспечивает всего 0,36 ExaFLOPS, но совершенно неясно, сравнимы ли они по энергопотреблению и/или цене. 

Источник ^[3]