«Не на 40%, а в 40 раз». Илон Маск объяснил, почему скачок от Tesla AI4 к AI5 будет таким большим

Илон Маск рассказал, что в Tesla было две разные программы для создания процессоров, включая Dojo для обучения ИИ, а также AI4.

«Процессор AI4 сейчас устанавливается во всех автомобилях, и мы завершаем разработку AI5, который станет огромным шагом вперёд по сравнению с AI4. По некоторым показателям, улучшение в AI5 будет в 40 раз больше, чем в AI4. То есть не на 40%, а в 40 раз. Это связано с тем, что мы очень усердно работаем над программным и аппаратным обеспечением ИИ на самом низком уровне аппаратной архитектуры. Поэтому мы точно знаем, где находятся ограничивающие факторы. И поэтому команды по аппаратному и программному обеспечению ИИ эффективно совместно проектируют процессор», — отметил Маск.

^[1]

По сравнению с самым большим ограничением AI4, которое заключается в запуске функции SoftMax (В контексте машинного обучения Softmax в основном используется в качестве функции активации в выходном слое нейронной сети), в настоящее время нам приходится запускать SoftMax примерно за 40 шагов в режиме эмуляции, тогда как в AI5 это будет сделано всего за несколько шагов изначально.

«AI5 также сможет легко обрабатывать модели смешанной точности. Есть куча технических вещей, которые AI5 будет делать намного лучше. С точки зрения номинальных сырых вычислений, это в восемь раз больше вычислений, примерно в девять раз больше памяти и примерно в пять раз больше пропускной способности памяти. Но поскольку мы устраняем некоторые основные ограничения в AI4, вы умножаете это 8-кратное улучшение вычислений еще на 5-кратное улучшение из-за наших низкоуровневых оптимизации, которые в настоящее время неоптимальны в AI4, вот где вы получаете 40-кратное улучшение», — добавил миллиардер.

Ранее Илон Маск рассказал, что процесс создания процессоров Tesla ^[2] следующего поколения идёт очень быстро.

Источник ^[3]