Рубрика «llama.cpp»

в 7:57, , рубрики: llama.cpp, lora, mlx, qlora, Whisper, дообучение

Полгода я собираю голосового помощника для macOS, который не просто отвечает, а выполняет действия на компьютере: открывает папки, ищет файлы, включает фильмы, читает почту. Главное условие, которое я себе поставил, — языковая модель должна работать локально, на том же Mac, без облака и подписок. В статье расскажу, из чего состоит такая система, как я дообучал модель на ноутбуке и на какие грабли наступил по дороге.

Общая схема

Приложение написано на Electron. Вокруг окна работают несколько отдельных процессов:

  • Слух — процесс на Python: детектор речи (VAD) и распознавание через Whisper в сборке под MLX (Apple Silicon).

  • Читать полностью »

в 9:59, , рубрики: cmp50hx, llama.cpp, llm, Nvidia, Whisper

Предыстория

Есть домашний сервер обычной “подстольной” конфигурации. Proxmox с несколькими виртуалками. В какой-то момент прикупил на аукционе NVIDIA CMP 50HX за копейки, ради поиграться с простенькими модельками. Модели запускаю через llama.cpp, дополнительно использую Whisper для распознавания речи. Быстро смирился со скоростью работы и жил с этим всем спокойно несколько месяцев, пока не наткнулся на статью NVIDIA CMP – микроскопы для забивания гвоздей? Копаем глубже….

Очень рекомендую прочесть статьюЧитать полностью »

в 5:44, , рубрики: gguf, llama.cpp, pcie, qwen 3.6 27b, qwen3.6, VRAM использование, локальные llm, локальный ИИ

«Как MoE и послойный сплит обнуляют аргумент „одна видеокарта лучше двух“.»

На Хабре этому посвящена отдельная статья: «Собираем сервер под свой локальный ИИ: сколько нужно VRAM и почему одна видеокарта лучше двух». Там прямым текстом: «1 видеокарта на 32 ГБ лучше чем 2 по 16ГБ», а причина в шине. Второй слот на обычной материнке работает на урезанных x4 или x8, и обмен между картами упирается именно в него. Тот же спор идёт в комментариях под сравнениями вроде «две RTX 5060 Ti 16GB или одна RTX 3090 24GB» и в обсуждениях Читать полностью »

в 11:30, , рубрики: gpt-oss, KV-кэш, llama.cpp, бенчмарки, видеопамять, локальные модели

Я тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑модели нормально шли на обычном домашнем ящике, где видеокарта на 6 ГБ, 24 ГБ памяти и SATA‑диск. Полигоном была gpt‑oss-20b. Итог пока обидный: выиграл штатный флаг ‑fit, на длинном запросе он в 2,44 раза быстрее привычного ‑ngl 99, а мои ускорения поверх него не дали ничего. Зато по дороге я собрал неплохую коллекцию способов, которыми замер скорости врет, и пару настроек, которые пригодятся любому владельцу небольшой видеокарты.

Читать полностью »

в 8:00, , рубрики: AI, ai-агенты, gemma, Gemma 4, llama.cpp, llm, llm-модели, ml, Ollama, selectel
Как запустить Gemma на сервере: сравниваем Ollama и llama.cpp - 1

Откройте любую статью-инструкцию по установке LLM, в которой фигурирует Ollama. Уверен, в комментариях к ней автору уже объяснили, насколько он неправ и что единственное верное решение — использовать llama.cpp.

Читать полностью »

в 12:59, , рубрики: gguf, llama.cpp, local llm, mtp, multi-GPU, opencode, qwen3.8, rtx 3060, speculative decoding

Задача была простой: собрать дома собственный вычислительный блок для coding‑agent'ов и по возможности как можно меньше зависеть от облачных лимитов. Codex и Claude Code мне нравятся, но постоянно упираться в ограничения, а тем более платить за более дорогие тарифы 100 или тем более 200 долларов в месяц, я не хочу. Поэтому решил посмотреть, насколько далеко можно уехать на том, что уже есть.

Железо для эксперимента постарался подобрать с минимальными вложениями: Core i7-4790, 32 ГБ DDR3, ASUS Sabertooth Z97 Mark 2 и две RTX 3060 по 12 ГБ. Никакого NVLink, CUDA P2P между картами тоже нет. Зато суммарно есть 24 ГБ VRAM и желание выжать из них все соки.

Читать полностью »

в 9:07, , рубрики: knowledge graph, llama.cpp, llm, local ai, memplua, obsidian, open source, qwen, Whisper, windows
Я захотел, чтобы Obsidian заполнялся сам - 1

1. Рутина душит

Читать полностью »

в 8:49, , рубрики: AI, ai-агенты, deepseek harness, llama, llama.cpp, LLM-агенты, llm-модели

Введение: как запустить модель на 100+ GB веса на видеокарте с 11 GB VRAM

Когда смотришь на характеристики современных MoE‑моделей, иногда возникает странная мысль: а что будет, если взять модель с сотнями миллиардов параметров и попробовать запустить её на старом игровом GPU?

С Qwen3.8-Flash‑Next этот эксперимент оказался особенно интересным.

Читать полностью »

в 8:44, , рубрики: DeepSeek R1, gguf, hugging face, llama.cpp, Modelfile, Ollama, open source, инференс, локальные llm, облачные llm
«Друзья не дают друзьям пользоваться Ollama» - 1

Ниже — перевод статьи «Friends Don’t Let Friends Use Ollama»Читать полностью »

в 14:12, , рубрики: llama.cpp, opencode, qwen3-coder, VRAM, WordPress-разработка, агентское программирование, квантование моделей, локальные llm, локальные нейросети, модели для программирования

Сначала я выбрал модель, которая отлично писала код. Подключил её к OpenCode и выяснил, что создавать файлы на диске она просто не умеет. Взял другую — та уверенно работала с файлами, но полностью поплыла на русском языке.

​В итоге победила модель, которую я поначалу оставил «для экспериментов»: слишком большая, на грани по квантованию и, казалось, сплошной компромисс.

​Ниже — о том, как я подбирал рабочую лошадку под WordPress и фронтенд на видеокарте с 16 ГБ памяти. Со скоростями, квантами и неожиданным экзаменом по русскому языку.

Для каких задач я её искал

Читать полностью »

123...4
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js