Стартап Tenstorrent, выпускающий ускорители для ИИ на основе чипов с архитектурой RISC-V, показал, как его новейшие серверы Galaxy Blackhole способны конкурировать даже с Nvidia GB300. Причём как по производительности, так и по стоимости токена.
В частности, в режиме Blitz, оптимизированном для высокопроизводительных и чувствительных к задержкам задач искусственного интеллекта, серверы Galaxy могут обрабатывать до 350 токенов в секунду в Deepseek R1-0528 671B. Компания привела такие показатели:
- Декодирование: DeepSeek-R1-0528 671B, до 350+ токенов в секунду, что быстрее, чем самые быстрые системы вывода от Groq и Cerebras по производительности и пропускной способности.
- Предварительное заполнение: DeepSeek-R1-0528 671B, время до получения первого токена менее 4 секунд на контексте 100K.
Как можно видеть на графике, производительность и стоимость токена по сравнению с GPU (тут это GB300) заметно лучше. Хотя, само собой, нужно понимать, что это не универсальный результат.
А ещё Tenstorrent показала, как её решение может быть до 10 раз мощнее в Video GenAI. Система способна генерировать видео из 81 кадра в разрешении 720p всего за 2,4 секунды. Это означает, что 5-секундное видео генерируется за 2,4 секунды, быстрее, чем в реальном времени.
Что касается технической части, ядро Tensix, лежащее в основе чипов Blackhole, включает в себя пять RISC-процессоров с блоками умножения матриц, векторными блоками и локальной SRAM. Каждый RISC-процессор полностью программируем, и каждое ядро подключено к высокоскоростному сетевому центру управления. Несколько таких ядер используются вместе для создания чипа.
Что касается цены, сервер Tenstorrent Galaxy Blackhole будет доступен в стоечной конфигурации с воздушным охлаждением по цене от 110 000 долларов.
Такая система предлагает производительность 23 PFLOP в режиме FP8 в случае 32 чипов Blackhole, 6,2 ГБ встроенной памяти SRAM со скоростью 2,9 ПБ/с, 1 ТБ DRAM со скоростью 16 ТБ/с и 56 портов Ethernet 800G с пропускной способностью до 11,2 ГБ/с.
