8-битная аналоговая память для работы с нейросетями

В конце года на Хабре появилась статья ^[1] о том, что компании IBM удалось создать первый 8-битный чип, основанный на памяти с изменением фазового состояния (phase-change memory).

Сегодня мы расскажем, как работает устройство, представленное ИТ-гигантом.

^[2]
/ фото IBM Research ^[3] CC BY-ND ^[4]

С какой целью разрабатывается чип

Современные системы машинного обучения в основном работают на базе графических процессоров (GPU). Они требуют активного охлаждения, так как GPU могут нагреваться ^[5] в два раза быстрее центральных процессоров (CPU). Это выливается в большие счета за электроэнергию для дата-центров, в которых такие вычислительные кластеры располагаются.

Вопрос снижения энергопотребления важен для ЦОД. По оценкам аналитиков ^[6], к 2025 году дата-центры будут потреблять 20% всего генерируемого электричества. С целью сокращения расходов ЦОД и ведутся разработки новых технологий для МО. В их числе 8-битная аналоговая память с изменением фазового состояния (PCM-память) от IBM. По оценке разработчиков, новые чипы окажутся в сто раз производительнее классических GPU и потребуют в 280 раз меньше энергии.

Преимущества PCM-памяти объясняются тем, что обработка и хранение данных происходят ^[7] на одном устройстве. В традиционных системах эти процессы разделены — данные приходится переносить с устройства на устройство, и из-за этого скорость вычислений и их энергоэффективность снижается.

Чип работает с 8-битными числами с плавающей точкой. Обычно в машинном обучении используют числа с большей точностью, однако, по словам исследователей из IBM, в «повседневных» задачах этого оказывается достаточно.

Создателям технологии удалось ^[8] применить её в переводе текстов и распознавании речи и изображений. Вице-президент по исследованиям IBM Джефф Уэлсер (Jeff Welser) сравнил ^[9] работу нейронной сети в чипе с человеком, который видит расплывчатую фигуру в запотевшем окне, но все равно узнает в этом «пятне» своего родственника или друга.

IBM уже показала первые результаты работы PCM-памяти с технологиями машинного обучения. На чипе запустили простую однослойную нейронную сеть, которая распознавала написанные от руки числа 1, 0 и 4. Алгоритм различил изображения со 100-процентной точностью.

Как работает аналоговая память IBM

Чип изготовлен из сплава германия, теллура и сурьмы, размещенного между двумя электродами. Когда через материал пропускают ток, он меняет состояние с кристаллического на аморфное. Эти состояния означают ноль или единицу.

Из-за того, что фаза меняется не во всем объеме сплава, а лишь в его части, в ячейке можно сохранять промежуточные значения между 0 и 1. При записи в память числа не «округляются», и это помогает добиться большей точности алгоритмов, работающих на чипе. Считается ^[10], что такой метод хранения данных более достоверно передает поведение нейронов в мозге ^[11] человека.

При чтении данных через ячейку пропускают небольшой ток и измеряют сопротивление. В аморфном состоянии сопротивление сплава оказывается более высоким, чем в кристаллическом — по этому показателю и определяют, какое число хранится в ячейке.

Хотя напряжение тока при чтении ниже требуемого для изменения фазового состояния материала, оно приводит к небольшому сдвигу частиц и искажению данных. Поэтому в IBM усовершенствовали PCM-память и добавили в устройство дополнительный слой из нитрида титана, который «оборачивает ^[12]» сплав — его назвали отражателем.

/ Koelmans, W.W. et al. Projected phase-change memory devices ^[12] / СС BY ^[13]

При записи данных отражатель никак не влияет на прохождение тока через сплав, так как сопротивление нитрида титана в этом случае выше, чем сопротивление материала ячейки. При чтении данных, сопротивление материала ячейки становится выше, чем у отражателя, и поэтому ток проходит по внешнему слою, минуя сплав. Такой тип памяти в IBM назвали Proj-PCM, или projected PCM — «PCM с отражателем».

Перспективы технологии

В ИТ-индустрии к новому чипу отнеслись положительно. По словам ^[10] научного редактора издания Ars Technica, у устройства большой потенциал — с развитием технологии и сокращением размера ячейки памяти IBM может увеличить производительность устройства минимум в сто раз. Однако ИТ-гиганту ещё предстоит решить несколько сложностей.

Первая — массовое производство PCM-памяти. По словам ^[14] аналитика рынка процессоров Линли Гвеннапа (Linley Gwennap), характеристики чипов, например, рабочее напряжение и сопротивление электронных схем, меняются от устройства к устройству. Гвеннап считает, что IBM ещё предстоит разработать подходящий производственный процесс, поэтому аналоговый чип не скоро станет коммерческим продуктом.

Ещё одна сложность — устойчивость ^[15] к изменениям температуры. Сейчас под воздействием тепла или холода сплав меняет свою фазу. Поэтому создателям устройства предстоит придумать способ защиты чипа от температурных колебаний. Вероятно, выходом станет уменьшение размера устройства — исследования показывают ^[16], что материал менее подвержен влиянию температуры при толщине слоя в несколько нанометров.

/ фото IBM Research ^[17] CC BY-ND ^[4]

Кто еще занимается разработкой чипов для МО

Похожую технологию разрабатывает стартап Mythic. В основе устройства компании — многоуровневая ^[18] флеш-память (MLC). Ячейка чипа может хранить ^[19] не два или четыре уровня заряда, как в более распространенных устройствах флэш-памяти, а 256. Это значительно повышает её емкость. Ожидается, что такая память будет использоваться ^[20] для реализации алгоритмов машинного обучения в устройствах интернета вещей: смартфонах, дронах, умных колонках и слуховых аппаратах ^[21].

Другой похожий чип создает ^[22] компания Syntiant. Вычисления в устройстве также производятся в MLC-памяти. Главное преимущество технологии — низкое энергопотребление. Представители компании говорят, что их устройство потребляет в 50 раз меньше электричества, чем цифровые процессоры. Syntiant также будут использовать в гаджетах, которые питаются от батареи: смартфонах, носимых устройствах, датчиках и камерах наблюдения. Стартап уже работает ^[23] над первой коммерческой реализацией технологии — «умным» микрофоном.

В целом аналоговые PCM-чипы пока не предназначены для проведения высокоточных вычислений. Поэтому их используют в комбинации с центральными и графическими процессорами. В IBM считают, что гибридная архитектура может создать равновесие между производительностью и точностью. Но в будущем ожидается, что аналоговая память сможет заменить ^[24] классические чипы в дата-центрах.

• VMworld Europe 2018 – главные анонсы прошедшей конференции ^[25]
• Почему корпоративные заказчики используют виртуальные машины, а не контейнеры ^[26]

Наш IaaS-блог в Telegram:

• GDPR… GDPR everywhere ^[27]
• GDPR и ИТ-сектор: краткие итоги года ^[28]
• Необычные ЦОДы — какими они бывают ^[29]

Автор: ИТ-ГРАДовец

Источник ^[30]