Это статья о двух месяцах исследовательской работы над одним вопросом: может ли языковая модель 3B накапливать компетентность не за счёт роста весов. Здесь есть числа, код и баги. Все результаты воспроизводимы: сиды, хеши и протоколы заморожены до прогонов.
Доставка верифицированного решения похожей задачи в контекст 3B-модели даёт +30 п.п. к решаемости (53% → 83%), повторено на 3 сидах
Дообучение на верифицированных решениях (через маленькие адаптеры LoRA, один цикл) даёт эффект +0.145: прирост на новых задачах минус изменение на старых (95-процентная вилка значений: от +0.0575 до +0.250). Эффект есть, но это одна точка, а не кривая
Рубрика «llm» - 12
Можно ли научить маленькую LLM учиться без роста весов? Замеры, баги и честная статистика
2026-10-05 в 10:45, admin, рубрики: continual learning, llm, lora, верификация, дистилляция, машинное обучение, экспериментыДешево, но не точно: разбираем контроллер доверия к памяти LLM-агентов
2026-10-03 в 8:24, admin, рубрики: llm, rag, агенты ии, галлюцинации, интерпретируемость ии, машинное обучение, память агентовВ 2024 году мэрия Нью-Йорка запустила чат-бота MyCity — цифрового помощника для владельцев малого бизнеса. Он должен был стать удобным справочником по городским правилам и законам. Но на деле бот раздавал советы, за которые предпринимателям грозили штрафы и суды, например, не выплачивать до конца чаевые сотрудникам, уволить человека за жалобу на харассмент, и прочее в таком духе.
Правильная информация при этом лежала в собственной базе знаний бота наравне с устаревшей. Как оказалось, он просто-напросто не смог выбрать между верным и неверным, когда оба варианта оказались под рукой.
TL;DR
В типичных агентских сценариях объем cached input токенов растет квадратично относительно количества ходов. Хорошая модель — модель которая решает задачу за минимальное количество ходов. Цена кэшированного чтения — определяющая характеристика стоимости инференса.
Вместо введения
Единственная причина, по которой современные авторегрессионные трансформеры вообще пригодны для инференса — это использование KV кэша, без которого каждый следующий токен требовал бы Читать полностью »
Семь занятий по локальному RAG на Python от файла до ответа с источниками
2026-10-02 в 13:38, admin, рубрики: llm, Ollama, python, rag, streamlit, локальные модели, семантический поиск, эмбеддингиСделал бесплатный курс для тех кто хочет научиться создавать локальные ИИ приложения на Python. За семь занятий разберём помощника, который ищет по вашим документам, отвечает на вопросы и показывает исходные фрагменты для проверки.
Чат с документами выглядит просто. Положили файлы в папку, задали вопрос, получили несколько складных предложений. Но стоит ответу разойтись с текстом — и хочется увидеть всю кухню: что нашёл поиск, что отправили модели и откуда она взяла последнюю фразу.
В local‑docs‑aiЧитать полностью »
Русский текст в Claude Opus 5 стоит в 3,9 раза дороже, чем в GPT-5.5, при одинаковой цене за токен
2026-10-01 в 12:41, admin, рубрики: claude, deepseek, GigaChat, gpt, llm, yandexgpt, русский язык, стоимость api, токенизатор, токенизацияЦены на API языковых моделей публикуют за миллион токенов, и по этой цифре модели обычно сравнивают. Но «токен» у каждой модели свой. Я прогнал один и тот же русский текст через Claude Opus 5 и GPT-5.5: Opus 5 насчитал в нём в 3,9 раза больше токенов. Значит, при одинаковой цене за токен обработка русского текста на Opus 5 обойдётся почти вчетверо дороже, чем на GPT-5.5, — и это не зависит от того, у кого вы покупаете доступ.
Мы искали, куда coding agents тратят токены. Дело оказалось не в промптах
2026-10-01 в 12:13, admin, рубрики: AI-разработка, coding agents, DevTools, llm, MCP, node.js, оптимизация токенов, тестированиеМы много разрабатываем с помощью coding agents: веб‑приложения, MCP‑серверы, пайплайны обработки данных, системы из нескольких агентов. И чем лучше становилась инфраструктура вокруг агентов, тем больше в ней появлялось инструкций, проверок, субагентов и автоматики. По идее, разработка должна была становиться дешевле. А расход контекста рос.
Первое подозрение было очевидным: слишком раздутые промпты. Мы искали не там.
38 килобайт текста со смыслом «всё хорошо»
Агент закончил изменение и запустил тесты. 178 тестов, все зелёные. На stdout прилетело 38 365 байт TAP:
# Subtest:...
ok 1 ‑...
‑-
duration_ms:...
type: 'test'
..
Нейросеть написала PR, тесты зелёные, а поведение изменилось. Как я научил CI это ловить
2026-09-30 в 12:31, admin, рубрики: ai-генерированный код, code review, differential testing, github actions, hypothesis, llm, Ollama, property-based testing, python
Зачем нейросети «обвязка»: как превратить LLM в рабочий AI-сервис
2026-09-30 в 12:00, admin, рубрики: AI, harness, harness engineering, llm, llm-модели, ml, mlops, обвязка, обвязка агента
Большую языковую модель можно скачать с Hugging Face, развернуть на сервере с GPU и отправить ей первый запрос. Технически LLM уже работает: получает текст на вход и генерирует ответ. Но до готового бизнес-сервиса еще далеко.

