«Резистивный процессор» IBM может ускорить обучение нейронных сетей в 30 000 раз

Некоторое время назад исследователи, работающие в IBM, представили концептуальную разработку, которую они назвали «резистивным процессором» (Resistive Processing Unit, RPU). Как утверждается, RPU может многократно ускорить обучение глубоких нейронных сетей — разница по сравнению с обычными CPU может достигать 30 000 раз.

Глубокие нейронные сети являются одним из перспективных направлений разработки интеллекта, обладая способностью к совершенствованию многослойной структуры за счет обучения. Например, в декабре прошлого года стало известно, что в Microsoft создана система распознавания образов, по точности превосходящая человека ^[1]. Однако обучение требует внушительного вычислительного ресурса, поэтому решения, позволяющие ускорить обучение, становятся все более и более востребованными. Неслучайно, рассказывая об архитектуре GPU Pascal, глава компании Nvidia пообещал, что она десятикратно ускорит приложения глубокого обучения ^[2].

Что касается RPU, основная идея устройства процессора позаимствована у новых технологий энергонезависимой памяти (NVM), таких как память на эффекте фазового перехода (PCM) и резистивная память (RRAM). Только ее применение, по оценке ученых, дает прирост скорости обучения от 27 до 2140 раз. Исследователи уверены, что оптимизация в виде устранения некоторых ограничений на устройство ячеек NVM позволит увеличить показатель до значения, вынесенного в заголовок.

По сути, сама схема резистивной памяти отражает устройство нейронной сети, что позволяет RPU одновременно хранить и обрабатывать весовые коэффициенты в узлах. Существующие технологии CMOS дают возможность изготавливать процессоры с миллиардами узлов. Например, в обычном процессоре Intel Xeon число транзисторов уже достигло 7,3 млрд штук ^[3].

Авторы идеи уточняют, что RPU пока находится в стадии исследований. Более того, поскольку память, которую предполагается в нем использовать, еще не достигла рынка, о практической реализации можно будет говорить не ранее чем через несколько лет.

Источники: arXiv.org ^[4], Tom’s Hardware ^[5], Engadget ^[6]

Источник ^[7]