Нейросети могут работать быстро даже на смартфонах. Qualcomm оптимизировала Stable Diffusion так, что на Snapdragon 8 Gen 2 она работает очень быстро

Компания Qualcomm показала первый в мире пример работы нейросети Stable Diffusion на смартфоне с Android с обработкой данных непосредственно на мобильном устройстве. 

Команда Qualcomm AI Research выполнила полнофункциональную оптимизацию ИИ с помощью Qualcomm AI Stack для реализации Stable Diffusion на смартфоне. Благодаря этому изображение разрешением 512 х 512 пикселей генерируется менее чем за 15 секунд, что очень быстро, учитывая производительность смартфона. Какой именно смартфон использовался, не уточняется, но он был основан на новейшей SoC Snapdragon 8 Gen 2.  

Для сравнения, в Сети можно найти эксперимент по запуску Stable Diffusion на смартфоне Sony Xperia 5 II со Snapdragon 865. В этом случае создание такого же изображения заняло целый час! Есть и более корректное сравнение с iPhone 13. Дело в том, что Apple ранее выпустила оптимизации, необходимые для локального запуска Stable Diffusion, но и в этом случае процесс занял около минуты, так что достижение Qualcomm и производительность Snapdragon 8 Gen 2 пока остаются лучшими в этом направлении.  

Источник ^[1]