Рубрика «gguf»

в 5:44, , рубрики: gguf, llama.cpp, pcie, qwen 3.6 27b, qwen3.6, VRAM использование, локальные llm, локальный ИИ

«Как MoE и послойный сплит обнуляют аргумент „одна видеокарта лучше двух“.»

На Хабре этому посвящена отдельная статья: «Собираем сервер под свой локальный ИИ: сколько нужно VRAM и почему одна видеокарта лучше двух». Там прямым текстом: «1 видеокарта на 32 ГБ лучше чем 2 по 16ГБ», а причина в шине. Второй слот на обычной материнке работает на урезанных x4 или x8, и обмен между картами упирается именно в него. Тот же спор идёт в комментариях под сравнениями вроде «две RTX 5060 Ti 16GB или одна RTX 3090 24GB» и в обсуждениях Читать полностью »

в 8:39, , рубрики: Apple Silicon, DFlash 2, gguf, Inco AI, MacOS, qwen, Splash, квантование, локальные llm, спекулятивное декодирование

При выборе движка для локальной языковой модели хочется получить простой ответ: сколько токенов в секунду она выдаст на моём компьютере? Но за одной цифрой скрываются разные задачи: обработать новый запрос, продолжить длинный диалог, обслужить несколько обращений одновременно. Ускорение в одном сценарии не обязательно означает такой же выигрыш в остальных.

Читать полностью »

в 12:59, , рубрики: gguf, llama.cpp, local llm, mtp, multi-GPU, opencode, qwen3.8, rtx 3060, speculative decoding

Задача была простой: собрать дома собственный вычислительный блок для coding‑agent'ов и по возможности как можно меньше зависеть от облачных лимитов. Codex и Claude Code мне нравятся, но постоянно упираться в ограничения, а тем более платить за более дорогие тарифы 100 или тем более 200 долларов в месяц, я не хочу. Поэтому решил посмотреть, насколько далеко можно уехать на том, что уже есть.

Железо для эксперимента постарался подобрать с минимальными вложениями: Core i7-4790, 32 ГБ DDR3, ASUS Sabertooth Z97 Mark 2 и две RTX 3060 по 12 ГБ. Никакого NVLink, CUDA P2P между картами тоже нет. Зато суммарно есть 24 ГБ VRAM и желание выжать из них все соки.

Читать полностью »

в 8:44, , рубрики: DeepSeek R1, gguf, hugging face, llama.cpp, Modelfile, Ollama, open source, инференс, локальные llm, облачные llm
«Друзья не дают друзьям пользоваться Ollama» - 1

Ниже — перевод статьи «Friends Don’t Let Friends Use Ollama»Читать полностью »

в 17:16, , рубрики: Apple Silicon, gguf, llama.cpp, llm, meta, инференс, квантизация, локальные модели
Рептилоид

Рептилоид

Если вы когда-нибудь смотрели на HF и не понимали, что такое DFlash, квантизация и почему одна и та же модель лежит в десяти репозиториях от десяти разных людей — или давно собирались поднять LLM у себя, но всё не находили повода — выход Muse Glimmer 30B буквально лучший момент начать.

Читать полностью »

в 17:25, , рубрики: CosyVoice, gguf, llama-cpp-python, quantization, speech synthesis, TTS

CosyVoice3 — одна из лучших open source TTS моделей прямо сейчас, особенно для русского языка. Но у неё есть проблема: LLM-часть на PyTorch работает медленно на слабых GPU вроде T4. RTF (real-time factor) около 1.17 — это значит синтез одной секунды аудио занимает больше секунды реального времени.

Я решил это исправить, добавив поддержку llama.cpp через llama-cpp-python. Результат: RTF упал до ~0.45, то есть ускорение примерно в 2.6x.

В этой статье расскажу как это работает, почему это нетривиально, и как попробовать самому.

Почему CosyVoice LLM — не обычная LLM

Читать полностью »

в 3:38, , рубрики: CADINP, deepseek, Fine-tuning, gguf, llm, qwen, RTX 3090, SOFiSTiK, unsloth, локальные нейросети

Проблема: Галлюцинации в инженерных расчетах

Я занимаюсь расчетами строительных конструкций в комплексе SOFiSTiK. Основной инструмент взаимодействия с ним — внутренний язык CADINP. Это мощный, но старый процедурный язык с жестким синтаксисом: строгая последовательность модулей (AQUA -> SOFIMSHC -> ASE), специфичные команды фиксации узлов и неявные зависимости.

SOTA-модели (ChatGPT-4o, Claude 3.5 Sonnet) справляются с CADINP посредственно. Основные проблемы при генерации кода general-purpose моделями:

  1. Синтаксический шум: Выдумывание несуществующих аргументов функций.

  2. Потеря контекста:Читать полностью »

в 17:08, , рубрики: agents, AI, gguf, grok, javascript, llm, OpenAI, python, TensorFlow, TypeScript

Предыдущая статья с подборкой моделей для русского

draw a cat which choosing LLM model

draw a cat which choosing LLM model

Читать полностью »

в 7:44, , рубрики: AI, deepseek, DeepSeek R1, deepseek r1-0528, gguf, llama.cpp, llm, llm-модели, local ai, кодогенерация

Введение

После сборки домашнего сервера для работы с LLM DeepSeek-R1 подробно о нём можно прочитать в статье Локальный DeepSeek-R1-0528. Когда скорость улитки – не приговор, а точка старта возникла потребность сравнить разные квантизации для оптимизации скорости/качества работы. Запуская работу с разными моделями, я заметил что квантизация зачастую приводит к ускорению генерации токенов.
Читать полностью »

в 14:21, , рубрики: AI, deepseek, DeepSeek R1, deepseek v3, EPYC, gguf, huggingface, llama.cpp, llm, local ai

Зачем?

У меня возникло желание запустить локальную версию DeepSeek R1 и V3. Это связано с необходимостью избежать рисков связанных с блокировками доступа и утечкой данных. Ещё добавилось желание протестировать разнообразные настройки LLM. До этого момента я пробовал запускать разные небольшие модели исключительно на cpu. А вот опыта с большими моделями не было.

Где?

Читать полностью »

12
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js