Рубрика «локальные модели»
Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp
2026-10-09 в 11:30, admin, рубрики: gpt-oss, KV-кэш, llama.cpp, бенчмарки, видеопамять, локальные моделиЯ тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑модели нормально шли на обычном домашнем ящике, где видеокарта на 6 ГБ, 24 ГБ памяти и SATA‑диск. Полигоном была gpt‑oss-20b. Итог пока обидный: выиграл штатный флаг ‑fit, на длинном запросе он в 2,44 раза быстрее привычного ‑ngl 99, а мои ускорения поверх него не дали ничего. Зато по дороге я собрал неплохую коллекцию способов, которыми замер скорости врет, и пару настроек, которые пригодятся любому владельцу небольшой видеокарты.
Семь занятий по локальному RAG на Python от файла до ответа с источниками
2026-10-02 в 13:38, admin, рубрики: llm, Ollama, python, rag, streamlit, локальные модели, семантический поиск, эмбеддингиСделал бесплатный курс для тех кто хочет научиться создавать локальные ИИ приложения на Python. За семь занятий разберём помощника, который ищет по вашим документам, отвечает на вопросы и показывает исходные фрагменты для проверки.
Чат с документами выглядит просто. Положили файлы в папку, задали вопрос, получили несколько складных предложений. Но стоит ответу разойтись с текстом — и хочется увидеть всю кухню: что нашёл поиск, что отправили модели и откуда она взяла последнюю фразу.
В local‑docs‑aiЧитать полностью »
Как я несколько часов гуглил, чтобы потом за 15 минут запустить локальный DeepSeek для Python и SQL
2026-09-28 в 8:34, admin, рубрики: deepseek, llm, Ollama, pandas, python, sql, windows, локальные модели, локальный AI
Полгода назад мне понадобился личный AI помощник (знаю...звучит слишком пафосно и мне самому это словосочетание не нравится) для работы на своем ноутбуке на Windows.
Читать полностью »
Тупая модель с жёстким циклом проверки бьёт умную модель без него
2026-09-21 в 11:09, admin, рубрики: llm, агентное программирование, агенты, верификация, локальные моделиНедавно читал тут статью про «Cost per Task» и про то, что самая дешёвая модель в линейке внезапно обгоняет самую умную по цене решённой задачи. С выводом согласен полностью, но хочу добавить то, чего в той статье не было: дело не только в модели. Дело в том, что происходит после того, как модель написала код.
Последние восемь месяцев я строю агентную обвязку, в которой модель не просто пишет файлы, а обязана доказать, что написанное работает. Выяснилось следующее: если прикрутить к слабой модели честный цикл верификации, она уверенно обходит сильную модель, работающую в режиме «написал и отчитался».
Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить
2026-08-11 в 17:16, admin, рубрики: Apple Silicon, gguf, llama.cpp, llm, meta, инференс, квантизация, локальные модели
Если вы когда-нибудь смотрели на HF и не понимали, что такое DFlash, квантизация и почему одна и та же модель лежит в десяти репозиториях от десяти разных людей — или давно собирались поднять LLM у себя, но всё не находили повода — выход Muse Glimmer 30B буквально лучший момент начать.
TL;DR.Читать полностью »
Как я собрал полностью локальную диктовку для русского языка на Mac: GigaAM, Whisper, Qwen и Apple
2026-07-28 в 13:13, admin, рубрики: gigaam, MacOS, mlx, qwen, VoiceSwitch, Whisper, локальные модели, распознавание речиЯ хотел получить на Mac простую вещь: нажать глобальную горячую клавишу, надиктовать сообщение и сразу увидеть текст в активном окне. Без отправки аудио в облако, без ежемесячной подписки и с возможностью самому сравнить несколько моделей на собственной речи.
Так появился VoiceSwitch — открытое menu bar-приложение для Apple Silicon. Сейчас оно умеет переключаться между четырьмя движками распознавания, показывать состояние записи и расшифровки, автоматически вставлять результат и локально превращать устную речь в аккуратное или краткое сообщение.
Как за один вечер разгрести 36 000 фотографий и почту с 2005 года, руками AI-агента и локальных моделей
2026-06-14 в 8:48, admin, рубрики: CLIP, czkawka, insightface, mlx, Qwen2.5-VL, дедупликация, диаризация, локальные модели, распознавание лицЕсть задачи, которые не делаются никогда. Не потому что сложные, а потому что объём убивает любое намерение на втором часу. У меня такой задачей был фотоархив: около 36 000 фото и видео, 222 ГБ, копившиеся 20 лет и размазанные вообще везде:
-
часть в OneDrive, разложенная по годам;
-
часть там же, но в свалках: дампы с телефонов, выгрузки из WhatsApp, папка буквально с названием «разобрать старые фото», которая ждала своего часа лет десять;
-
часть уже в Apple Photos, с iPhone, сама по себе и никак не связанная с остальным архивом;