Рубрика «llm-архитектура»

Доступ к западным большим языковым моделям (далее - БЯМ) закрывается снаружи и, судя по всему, скоро начнёт закрываться изнутри.
Что останется бизнесу и какую цену нам придётся за это платить? 

Изоляция на практике

Читать полностью »

Использование кодовых агентов (Codex, Cursor, Claude Code) стало обыденностью. Внутри разных AI-агентов могут использоваться одни и те же модели, но результаты будут сильно отличаться.

Например, есть мнение, что Cursor лучше и быстрее справится с написанием качественного UI, Claude Code покажет себя лучше в проектировании архитектуры приложения, а WindSurf лучше остальных создаст прототип системы.

Почему одна и та же модель в разных агентах дает разный результат? Давайте разбираться.

Читать полностью »

Последние новости в сфере ИИ натолкнули меня на одну обнадёживающую мысль: локальный запуск очень больших моделей уже не выглядит чем-то совсем фантастическим.

Пока это ещё не новая реальность, но последние опубликованные технологи подводят именно к этому. Давайте разберёмся, какие именно новости к этому подводят и чего можно ожидать в ближайшем будущем.


PrismML анонсировала и выложила в открытый доступ Bonsai 8B

Читать полностью »

Введение: фейл с машинкой по генерации идей

Возможно многие увидят схожую проблему при использовании нейронок. Я уже достаточно долго и часто использую llm для личных и рабочих задач, автоматизирую свои воркфлоу и в моих кейсах модели эффективно справлялись со своими задачами пока не столкнулся с одним кейсом.

Читать полностью »

Часть 1. Детерминированный движок рассуждения на конечной таблице операции (в перспективе — замена LLM)

Когда речь заходит о больших языковых моделях, все сразу отмечают их талант к сочинению и пересказу текстов. Но вот встроить такую модель в реальный продукт — задача куда более каверзная, чем кажется на первый взгляд. На практике вылезают три системных «подводных камня», из‑за которых работать с ними бывает откровенно неудобно.

Читать полностью »

Уже больше года назад у меня зародилась идея создать свою архитектуру языковой модели. Традиционные модели, "думающие" на уровне токенов мне решительно не нравились. Колоссальный вычислительный бюджет на то, чтобы просто предсказать один токен. Логичным мне казалось оторвать мышление модели от токенов, перенеся его в латентное пространство. Примерно полгода назад я начал первые практические эксперименты и сейчас получил первые практические результаты. Поскольку уровень подготовки читателей очень сильно различается, в статье не будет глубоких технических разборов, а скорее история эксперимента.

Читать полностью »

Я «уволил» LLM с должности «мозга» проекта. И его производительность взлетела - 1

(...или почему будущее AI — не в увеличении контекстного окна, а в создании структурированной "памяти")

Помните свой первый "вау-эффект" от LLM?

Читать полностью »

Что будет, если к опасному запросу в LLM приписать специально подобранную строку токенов? Вместо отказа модель может послушно сгенерирует подробный ответ на запрещённую тему — например, как ограбить магазин. Именно так работают состязательные суффиксы: они заставляют LLM игнорировать ограничения и отвечать там, где она должна сказать «опасно».

Читать полностью »

https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js