RISC-V может конкурировать с мощнейшими GPU? Tenstorrent показала, как её сервер Galaxy Blackhole превосходит Nvidia GB300

Стартап Tenstorrent, выпускающий ускорители для ИИ на основе чипов с архитектурой RISC-V, показал, как его новейшие серверы Galaxy Blackhole способны конкурировать даже с Nvidia GB300. Причём как по производительности, так и по стоимости токена.

В частности, в режиме Blitz, оптимизированном для высокопроизводительных и чувствительных к задержкам задач искусственного интеллекта, серверы Galaxy могут обрабатывать до 350 токенов в секунду в Deepseek R1-0528 671B. Компания привела такие показатели:

• Декодирование: DeepSeek-R1-0528 671B, до 350+ токенов в секунду, что быстрее, чем самые быстрые системы вывода от Groq и Cerebras по производительности и пропускной способности.
• Предварительное заполнение: DeepSeek-R1-0528 671B, время до получения первого токена менее 4 секунд на контексте 100K.

^[1]

Как можно видеть на графике, производительность и стоимость токена по сравнению с GPU (тут это GB300) заметно лучше. Хотя, само собой, нужно понимать, что это не универсальный результат.

^[1]

А ещё Tenstorrent показала, как её решение может быть до 10 раз мощнее в Video GenAI. Система способна генерировать видео из 81 кадра в разрешении 720p всего за 2,4 секунды. Это означает, что 5-секундное видео генерируется за 2,4 секунды, быстрее, чем в реальном времени.

Что касается технической части, ядро Tensix, лежащее в основе чипов Blackhole, включает в себя пять RISC-процессоров с блоками умножения матриц, векторными блоками и локальной SRAM. Каждый RISC-процессор полностью программируем, и каждое ядро подключено к высокоскоростному сетевому центру управления. Несколько таких ядер используются вместе для создания чипа.

^[1]

Что касается цены, сервер Tenstorrent Galaxy Blackhole будет доступен в стоечной конфигурации с воздушным охлаждением по цене от 110 000 долларов.

Такая система предлагает производительность 23 PFLOP в режиме FP8 в случае 32 чипов Blackhole, 6,2 ГБ встроенной памяти SRAM со скоростью 2,9 ПБ/с, 1 ТБ DRAM со скоростью 16 ТБ/с и 56 портов Ethernet 800G с пропускной способностью до 11,2 ГБ/с.

Источник ^[2]