Рубрика «deepseek r1-0528»
Ускорение DeepSeek-R1 с подвохом: Когда токены в секунду врут о реальной скорости
2025-06-18 в 7:44, admin, рубрики: AI, deepseek, DeepSeek R1, deepseek r1-0528, gguf, llama.cpp, llm, llm-модели, local ai, кодогенерацияВведение
После сборки домашнего сервера для работы с LLM DeepSeek-R1 подробно о нём можно прочитать в статье Локальный DeepSeek-R1-0528. Когда скорость улитки – не приговор, а точка старта возникла потребность сравнить разные квантизации для оптимизации скорости/качества работы. Запуская работу с разными моделями, я заметил что квантизация зачастую приводит к ускорению генерации токенов.
Читать полностью »
