Главный секрет эффективности Mixture of Experts (MoE) по сравнению с Dense‑моделями кроется в их разреженности: экспертов в пуле гигантское количество, но на генерацию каждого конкретного токена активируется лишь крошечная их часть.
Например, Qwen3.8-Flash‑Next насчитывает 125 миллиардов параметров и 24 576 экспертов, но на один токен задействуется всего около десятка. Обычная же Dense‑модель аналогичного размера обязана вычитывать из памяти абсолютно все веса на каждом шаге. Именно эта архитектурная особенность MoE моделей и позволила в конечном счете запускать большие модели на потребительском железе.