Относительно недавно я познакомился с ComfyUI. После не очень продолжительных танцев с бубном и установки кастомных ROCm‑драйверов для моей видеокарты (официальная поддержка начинается только с AMD RX7600) я столкнулся с проблемой генерации видео.
Если быть точнее, единственное, что я мог себе позволить для полноценного вычисления с помощью видеокарты, — это модель wan2.2_ti2v_5B. Но она работала очень нестабильно: не слушалась промптов и выдавала артефакты.
👋 Привет!
Сегодня хочу поделиться своим опытом работы с локальными LLM (Large Language Models). Это что-то вроде GitHub Copilot, только без подписки, оффлайн и с контролем над своими данными.
У многих часто одни и те же страхи:
«Это слишком сложно».
«Оно съест всю оперативку».
«А вдруг мой код утечёт в облако».
«Да оно будет писать чушь».
На деле, уже сегодня можно запустить модель в 7B параметров на обычном MacBook или ноутбуке с 16 GB RAM.
И получить вполне рабочего помощника для кода, тестов и рефакторинга.
