Рубрика «llm» - 16

У авторегрессионной модели контекст — это то, что уже случилось. Токен выдан, и переписать его нечем: генерация умеет только дописывать справа.

У диффузионной всё иначе. На каждом шаге она делает полный двунаправленный проход по всей последовательности и переоценивает каждую позицию. Решение «эту фиксируем, эту оставляем открытой» принимает встроенный механизм уверенности: прошёл максимум softmax порог — токен приморожен, не прошёл — остаётся маской и будет переписан. То есть у диффузионной модели структурно естьЧитать полностью »

В 2025 году Volga AI Assistant начинался как отдельный Telegram‑бот. Пользователь отправлял сообщение, NLU определял намерение, после чего бот возвращал подготовленный ответ.

Архитектура первой версии почти полностью повторяла этот сценарий:

Читать полностью »
Иероним Босх — «Фокусник» (ок. 1502)

Иероним Босх — «Фокусник» (ок. 1502)

Читать полностью »

Языковая модель пишет ответ по одному токену за шаг, и на каждом шаге прочитывает все свои веса от начала до конца. Спекулятивное декодирование пытается это обойти: маленькая черновая модель набрасывает несколько токенов вперёд, причём сразу деревом вариантов, а большая проверяет всё это дерево за один свой проход и принимает ту ветку, которая совпала с её собственным выбором. Текст на выходе получается тот же самый, быстрее становится только его получение. Так устроен метод из статьи EAGLE-3 с NeurIPS 2025, и авторы приводят для него ускорение до 6.5 раза.

Читать полностью »

О чём этот текст

Это рассказ о моём эксперименте: что захотелось попробовать, что получилось и где пришлось пересмотреть свои ожидания. Я не ставлю здесь задачу кого-то обучить или доказать, как правильно устраивать память агентов. Просто захотелось поделиться этим опытом — вместе с результатами, ошибками и вопросами, на которые у меня пока нет ответа.

С чего всё началось

Недавно мне попалась статья SKILL.state: Scalable Long-Horizon Agent SkillsЧитать полностью »

Зачем нужны векторные БД в эпоху LLM - 1

Не открою секрет, если скажу, что обычный поиск по ключевым словам уже не особо помогает. Чтобы нейросети могли отвечать точно, опираясь на ваши корпоративные базы знаний, им нужно «понимать» смысл текста. А это уже сложнее, чем просто искать точные совпадения букв. 

Читать полностью »

За это лето у меня вышло 23 презентации на 914 слайдов, от ядерной триады до вопроса «а есть ли у мира создатель». Этот текст про то, как так вышло, что именно делает ИИ в этой схеме, а что нет, и почему у меня ощущение, что я не стал умнее, а просто освободил голову. Писать статьи никогда не было моим занятием, и, наверное, не стало: это первая. Так что если где‑то сбивчиво, это не ИИ, это я.

Как это началось

Читать полностью »

3 сентября 2026 года в 19:49 по тихоокеанскому времени Сэм Альтман опубликовал твит о новой флагманской модели OpenAI. В твите — название модели, список задач, три цифры и обещание, что ожидание стоило того. Твит собрал 4,1 млн просмотров. В нём нет одного слова — того, вокруг которого потом развернулась вся полемика.

Слова «AGI» в твите Альтмана не встречается ни разу.

Читать полностью »

Автоматизацию бизнеса часто обсуждают в контексте замены сотрудников: вот сейчас подключим AI, сократим отдел поддержки в три раза и получим экономический эффект.

На практике мне гораздо интереснее другой класс задач.

Есть сотрудники, которые умеют анализировать продажи, работать с ассортиментом, рекламой и клиентами. Но несколько часов каждого рабочего дня они тратят на то, чтобы переносить данные из одной системы в другую или в сотый раз писать почти одинаковый ответ покупателю.

Один из проектов, над которым я работал, как раз оказался таким.

Читать полностью »

Недавно Никита Михалков, помимо обычного «гона Бесов» — пусть будут с большой буквы, как у Достоевского, — высказался ещё и об искусственном интеллекте. С мыслью, которую он, как всегда, талантливо и красочно преподнёс, спорить трудно. Михалков заявил, что, если искусственный интеллект заменит естественный, искусство потеряет всякий смысл, ведь у «машины», как он по инерции окрестил ИИ, нет «ни совести, ни души, ни сострадания, ни страха, ни любви». С первой частью этого утверждения я готов согласиться почти безоговорочно, но переход ко второй кажется мне далеко не столь очевидным.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js