Мои недавние заметки на эту тему. AGI здесь используется в практическом определении - система способная выполнить 90% задач которые делают офисные сотрудники за компьютером.
Наблюдая за ограничениями современных LLM-агентных систем, я пришел к пониманию, что модели для них должны разрабатываться (и оцениваться) иначе, чем принято сейчас.
Гипотеза: если бы модели обладали способностью к последовательному вызову инструментов, корректно интерпретируя результаты и повторяя цикл до получения качественного ответа, эти системы существенно превзошли бы существующие.
Из этой гипотезы вытекают две основные идеи.
Идея 1: От CoT (Chain of Thought) к CoTC (Chain of Tool Call)
Анализ логов вызовов инструментов часто выявляет иррациональное поведение моделей: они могут загружать информацию, которая уже есть в контексте или совершать другие бессмысленные действия.
Появление "рассуждающих" (CoT) моделей давало надежду, что вызовы станут рациональнее. Однако этого не произошло; мои эксперименты (например, с o3-mini против gpt-4o) показали, что модели не смогли генерализовать свои навыки CoT на процесс вызова инструментов.
-
Вывод: Модели необходимо целенаправленно дообучать не просто рассуждениям (CoT), а именно цепочкам вызовов инструментов (Chain of Tool Call).
Идея 2: Делегирование фактологии поиску в интернете
Проблема галлюцинаций моделей за последние годы так и не была решена. Однако практический опыт (включение поиска в ChatGPT) показывает, что проблема почти полностью исчезает и взаимодействие с моделью выходит на принципиально иной уровень надежности.
-
Вывод: Не следует требовать от моделей хранения фактологической информации. Для получения фактов существует проверенный подход: интернет + поисковая система.
Синтез идей: Новый подход
Объединив эти два принципа - можно сформулировать как эти модели должны создаваться. Нам нужна модель (вероятно, традиционной трансформерной архитектуры, и, возможно, даже меньшего размера!), обученная на специфическом датасете:
-
Минимум фактов: Только базовые знания, необходимые для построения онтологий и понимания мира (условно, школьная программа + основы наук).
-
Максимум логики: Большое количество примеров решения логических задач, анализа, синтеза и, что самое важное, — примеров использования инструментов для достижения цели.
Такая модель не "знает", она "умеет". Она становится универсальным логическим вычислителем для текста и координатором инструментов.
Возражение: Но язык не является точным выразителем логики
Это так. Но естественный язык позволяет описать некое логическое состояние с достаточной степенью точности. При увеличении объема описания (слов) мы можем сколь угодно точно описать любое состояние — как начальное, так и промежуточное, так и финальное. Более того, ничто не мешает этой модели использовать более формальные языки — код (Python) или языки математической логики.
Возражение: LLM все равно не имеют долгосрочной памяти
Это так. Но на базе описанной выше LLM мы можем построить отдельного агента для управления памятью. Этот агент будет использоваться логическим ядром: сохранять и находить информацию, организовывать и реорганизовывать. Этот агент будет управлять (обрезать / саммаризировать) историей переписки логического ядра с пользователем и т. д. Я знаю несколько проектов, которые сделали подобного агента для памяти уже сейчас (Letta - ранее MemGPT, A-MEM и др). У меня тоже есть ряд идей, как это можно сделать еще эффективнее.
Предлагаемая структура системы
Система, построенная на этом принципе, могла бы выглядеть так:
-
Логическое Ядро: Главный агент, работающий на описанной выше LLM.
-
Агент Памяти: Вспомогательный агент, использующий ту же LLM (или похожую — специально обученную для управления памятью) и управляющий накопленными знаниями системы.
-
Поиск в Интернете: Обязательный инструмент для получения новой информации.
-
Прочие инструменты: Калькулятор, исполнение кода, и все остальные инструменты для доступа к внешнему миру (MCP).
-
"Традиционная LLM" как инструмент: Как ни парадоксально, одним из инструментов может стать обычная, "галлюцинирующая" LLM. Мы можем обращаться к ней за фактами, которые трудно найти в Google, но которые она хорошо "обобщила", используя ее как своего рода "интуитивный" или "фаззи-поисковик".
Как создать такую модель?
-
Архитектура: Обычная LLM на трансформерах. Инновация не в "железе", а в обучающих данных.
-
Тренировочный сет (Факты): Минимален. Школьный курс, учебные курсы университетских дисциплин, научные работы с высоким индексом цитируемости. Только то, что нужно для построения базовой картины мира. Мультиязычный.
-
Тренировочный сет (Синтетика): Это — ключевая часть. Нам нужны десятки тысяч примеров логических построений, синтеза выводов из фактов, и особенно — примеры решения многоходовых логических задач с активным вызовом инструментов. Создание этого сета является наиболее сложной задачей.
-
Дообучение (RL): Применение техник обучения с подкреплением, аналогичных тем, что используются для современных reasoning-моделей, но с обязательным включением вызовов инструментов в процесс обучения.
-
Бенчмарки: Тестировать нужно не отдельную LLM, а всю систему в сборе (Ядро + Память + Интернет). Только так можно оценить реальный прогресс.
Подтверждение от Andrej Karpathy
Я размышлял на эту тему последние пару месяцев, но не имел ресурсов для ее проверки, так как не занимаюсь обучением LLM-моделей. И вот, несколько дней назад - 17 октября, Andrej Karpathy в подкасте с Dwarkesh Patel фактически озвучил эту идею...
Andrej Karpathy:
"...на самом деле, я думаю, они [модели] запомнили слишком много. ...Я почти уверен, что мы можем получить "когнитивные ядра" (cognitive cores), которые будут очень хороши даже при, скажем, миллиарде параметров. ...Если вы поговорите с моделью в миллиард параметров [через 20 лет], у вас может состояться очень продуктивный разговор. Она думает. ...Но если вы зададите ей какой-то фактический вопрос, ей, возможно, придется его поискать. Но она будет знать, что она не знает, и ей, возможно, придется это поискать, и она просто сделает все разумные для этого вещи."
Он также объяснил, почему текущие модели такие большие:
"...данные для обучения — это интернет, и он ужасен. ...Огромное количество мусора... Я почти уверен, что из-за того, что интернет так ужасен, нам приходится строить действительно большие модели, чтобы все это сжать. ...Большая часть этого сжатия — это работа по запоминанию, а не когнитивная работа. Но то, что нам действительно нужно, — это когнитивная часть, память не нужна."
По результатам этого подкаста он написал масштабный твит, где упомянул свой июньский твит про "cognitive core":
Идет гонка за "когнитивным ядром" LLM — моделью на несколько миллиардов параметров, которая максимально жертвует энциклопедическими знаниями в пользу умений.
Она всегда активна и по умолчанию работает на каждом компьютере как ядро персональных LLM-вычислений.
Ее черты постепенно кристаллизуются:
Нативная мультимодальность (текст/зрение/аудио) как на входе, так и на выходе.
Архитектура в стиле "матрешки", позволяющая регулировать уровень умений (capability) во время работы.
Рассуждение (reasoning), также регулируемое. (система 2)
Агрессивное использование инструментов.
Слоты LoRA для дообучения (finetuning) на устройстве: для обучения в рантайме, персонализации и кастомизации.
Делегирует и перепроверяет ровно то, что нужно, у "оракулов" в облаке, если доступен интернет.
Она не знает, что правление Вильгельма Завоевателя закончилось 9 сентября 1087 года, но смутно узнает имя и может найти дату. Она не может выдать по памяти SHA-256 пустой строки (e3b0c442...), но может быстро его вычислить, если вам это действительно нужно.
... сокращено
Также в этом твите он ссылается на свой майский твит где пишет про реализацию памяти не через параметры модели, а через изменение системного промпта:
Нам не хватает (как минимум одной) важной парадигмы обучения LLM. Не уверен, как это назвать, возможно, у неё есть название — «system prompt learning»?
Предобучение — для знаний. Тонкая настройка (SL/RL) — для поведения.
Оба этих процесса включают изменение параметров, но большая часть человеческого обучения больше похожа на изменение системного промпта.
... сокращено
Эту статью можно рассматривать как развернутое пояснение идей, которые Andrej Karpathy озвучил в своем интервью и развил в X/Twitter. Многие, слушая его интервью, могут пропустить этот ключевой фрагмент, а между тем он критически важен для понимания вектора развития языковых моделей, агентных систем и практического пути к AGI.
Для меня эта история стала еще одним подтверждением фундаментального принципа: когда технология созревает, схожие идеи возникают у разных людей независимо друг от друга, почти одновременно.
Приглашаю к дискуссии в комментариях.
Обо мне
Больше двух лет пишу проекты про интеграцию LLM в приложения: агентский RAG, память для агентов, мультиагентский DeepResearch, голосовое управление приложениями и т. д. Оказываю консультации по интеграции LLM в проекты.
Недавно начал вести телеграм-канал о сильных и слабых сторонах LLM: LLM => AGI?
Автор: ovsale
