Рубрика «llm» - 10

Слева — привычный зелёный тест. Справа — то, что с ним делает LLM

Слева — привычный зелёный тест. Справа — то, что с ним делает LLM

Читать полностью »

Последние полгода я обучал свою небольшую нейросеть с нуля на одной rtx 4060. Сжег кучу времени, перебрал кучу данных и в итоге дошел до версии 2.1 — это крошечная LLM всего на 260 млн параметров.

Зачем вообще было это делать? Мне просто стало интересно, можно ли научить такую микроскопическую нейронку (а более большую я обучить и не мог) хоть какой‑то логике.

Что в итоге вышло:

  • Во‑первых, она умеет считать по разрядам. Она может считать большие числа, которые другие модели того же размера считают неверно.

Читать полностью »

В 2025 году каждый крупный провайдер LLM пережил минимум один значимый сбой. Большинство решений этой проблемы — gateway‑слой снаружи приложения: LiteLLM, Bifrost, Kong AI Gateway. Они перехватывают упавший HTTP‑запрос и повторяют его на другом провайдере.

Это работает для одного вызова, но не работает для многошагового пайплайна — gateway не знает, что упавший запрос был вторым шагом из трёх. Он видит запрос, которому нужен retry, а не позицию в конечном автомате.

В этой статье — как реализовать fallback провайдера как явный переход FSM на реальном стеке llm‑nano‑vm 0.8.6Читать полностью »

Однажды я открыл биллинг и просто посмотрел, на что уходят токены. Не на «подумать над архитектурой». А на переименование переменных, генерацию тестов по готовому ТЗ и прогон миграций. Всё это считалось по тарифу флагманской модели, хотя такую работу вытянет модель в десятки раз дешевле.

Ниже – как развести действительно сложные задачи и рутину по двум моделям внутри Claude Code, не ставя ни одного стороннего форка. И три зоны, куда дешёвую модель я не пускаю принципиально.

Что на самом деле сжигает токены

Читать полностью »

Вместо вступления

За последний год я заметил странную закономерность. Когда кодовая база была небольшая, все было хорошо, но чем больше кода писал ИИ, тем меньше времени уходило на добавление фичей и больше — на исправление текущего кода. Это сильно раздражало.

Я как будто ходил по кругу:

  1. Сначала мне казалось: сейчас заставлю ИИ самому для себя писать правила. Кол‑во правил росло, сложность росла. Сначала в них переставал ориентироваться я, потом ИИ.

  2. Читать полностью »

Материал подготовлен на основе выступления Фионы Фунг (Fiona Fung), главного инженера команды Claude Code. Ссылка на публикацию.

Сегодня я наткнулся на кое-что, что показалось мне весьма ценным.

Это довольно редко встречается — AI-компании вроде Claude действительно делятся мыслями и размышлениями об организационной структуре.

Читать полностью »
ПростоГраф: как я сделал глубокий форк LightRAG под свои (и, возможно, ваши) нужды - 1

С чего всё началось (можете пропустить, тут немного жизы)

Читать полностью »

Долгое время вижу одно и то же в новостях и обзорах: ИИ уберет рутину, снимет трение, даст крылья и вообще панацея от всех болячек. Я поставил Claude Code — и да, трение исчезло. Рутина схлопнулась. Идею теперь можно проверить за вечер, а не за месяц.

А дальше выяснилось, что трение это для меня было важно и когда оно ушло, я ощутил это в полной мере.

Идеи мрут как мухи

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js