Арендовать сервер с видеокартой сегодня проще, чем поднять локальное окружение с CUDA. Но первый запуск всё равно преподносит сюрпризы: модель не помещается в память, драйвер не той версии, а сервер тикает деньгами, пока вы разбираетесь. Ниже — короткий чек-лист, который экономит и время, и бюджет.
1. Посчитайте видеопамять заранее
Грубая формула для языковых моделей: число параметров × байты на параметр + 20% на контекст и служебные нужды. В FP16 это 2 байта на параметр, в 4-битной квантизации — около 0,5–0,6.
- 8B в FP16 — около 18–20 ГБ, подойдёт карта на 24 ГБ;
- 32B в 4 битах — около 20 ГБ;
- 70B в 4 битах — около 40–45 ГБ, нужна карта на 48 ГБ или две по 24.
Для диффузионных моделей ориентир проще: SDXL комфортно работает на 12–16 ГБ, Flux в полном качестве — на 24 ГБ.Читать полностью »
