Память объёмом 6 ТБ с пропускной способностью 1 ПБ/с и потреблением несколько киловатт. Дорожная карта памяти HBM готовит нас к чудовищным усройствам

Лучшие современные ИИ-ускорители опираются на память HBM3E, предлагая до 300 ГБ этой самой памяти. Уже в следующем году AMD выпустит монстра с 432 ГБ памяти ^[1]. Но дорожная карта развития памяти HBM говорит о том, что в промежутке примерно 10 лет эти показатели покажутся детскими забавами. 

^[2]

В недавней презентации институт KAIST (Korea Advanced Institute of Science & Technology) и лаборатория Tera (Terabyte Interconnection and Package Laboratory) изложили дорожную карту HBM и подробно описали, чего мы можем ожидать от стандартов следующего поколения. В отчёте фигурируют как HBM4, которая уже готова к выходу на рынок, так и дальнейшие поколения вплоть до HBM7 и 8. 

Даже лучшие варианты HBM3E уже впечатляют пропускной способностью и объёмом стеков, но будущие поколения, конечно, будут намного интереснее. 

Что интересно, авторы рассказали о памяти, объединив информацию о GPU Nvidia. И если в будущем поколении ИИ-ускорителей Rubin будет два GPU и восемь стеков HBM4 с пропускной способностью до 32 ТБ/с и объёмом до 384 ГБ, то примерно через 10 лет нас ожидают GPU из восьми кристаллов с 32 стеками HBM7, которая предложит пропускную способность в 1 ПБ/с при объёме до 6 ТБ! Потреблять такое чудовище будет около 15 кВт мощности.  

Конечно, нужно понимать, что это ориентировочные показатели, однако выглядят они вполне логично.  

К слову, этот пример с HBM7 весьма показателен. Дело в том, что GPU в этом случае, как ожидается, будет ограничиваться мощностью до 1200 Вт. Таких чипов восемь, то есть это менее 10 кВт. А это означает, что примерно 3-5 кВт будет потреблять одна лишь память. 

Источник ^[3]