Этот мини-ПК размером со смартфон попал в Книгу рекордов Гиннесса. Tiiny AI Pocket Lab способен локально запустить ИИ на 120 млрд параметров

Компания Tiiny AI представила мини-ПК AI Pocket Lab. Это очень компактное решение размером примерно со смартфон (только толще), которое уже попало в Книгу рекордов Гиннесса в категории The Smallest MiniPC (100B LLM Locally). 

То есть это самый маленький компьютер, способный локально запустить большую языковую модель, насчитывающую 100 млрд параметров. А если точнее, то компания говорит о 120 млрд параметров. 

^[1]

Всех подробностей нет, но известно, что в основе новинки лежит 12-ядерный процессор на архитектуре Arm v9.2. Судя по всему, отдельно от процессора имеется также некая гетерогенная однокристальная система и дискретный NPU, которые в совокупности обеспечивают производительность в 190 TOPS.  

^[1]

Весьма внушительно, учитывая габариты, выглядят 80 ГБ памяти LPDDR5X. Также тут есть SSD объёмом 1 ТБ.  

Облачный ИИ принес замечательный прогресс, но также создал зависимость, уязвимость и проблемы устойчивости. С помощью Tiiny AI Pocket Lab мы считаем, что интеллект должен принадлежать не центрам обработки данных, а людям. Это первый шаг к тому, чтобы сделать передовой ИИ по-настоящему доступным, конфиденциальным и персонализированным, перенеся возможности больших моделей из облака на каждое отдельное устройство 

^[1]

Система потребляет около 65 Вт, поэтому мини-ПК оснащён активной СО. Габариты составляют 142 х 80 х 25,3 мм при массе 300 г. данных о цене пока нет.  

Источник ^[2]