👋 Привет!
Сегодня хочу поделиться своим опытом работы с локальными LLM (Large Language Models). Это что-то вроде GitHub Copilot, только без подписки, оффлайн и с контролем над своими данными.
Зачем вообще связываться с локальными LLM?
У многих часто одни и те же страхи:
-
«Это слишком сложно».
-
«Оно съест всю оперативку».
-
«А вдруг мой код утечёт в облако».
-
«Да оно будет писать чушь».
На деле, уже сегодня можно запустить модель в 7B параметров на обычном MacBook или ноутбуке с 16 GB RAM.
И получить вполне рабочего помощника для кода, тестов и рефакторинга.
