Покажите VLM скан исполнительного листа — и она уверенно вернёт реквизиты. Формат будет идеальным, тон — безупречным. Одна беда: среди реквизитов с ненулевой вероятностью окажется несуществующий ИНН с правильным форматом, сумма, которую никто не сверил с документом, а рядом в сводке будет гореть «качество: 100 %» — на скане 745×1024 @ 96 DPI, с которого в принципе нельзя прочитать реквизиты.
Рубрика «галлюцинации»
Как я перестал верить нейросети и полюбил контрольные разряды: Zero-Trust для распознавания юридических документов
2026-10-06 в 13:56, admin, рубрики: 1С, llm, ocr, python, vlm, верификация, галлюцинации, инн, ФССПДешево, но не точно: разбираем контроллер доверия к памяти LLM-агентов
2026-10-03 в 8:24, admin, рубрики: llm, rag, агенты ии, галлюцинации, интерпретируемость ии, машинное обучение, память агентовВ 2024 году мэрия Нью-Йорка запустила чат-бота MyCity — цифрового помощника для владельцев малого бизнеса. Он должен был стать удобным справочником по городским правилам и законам. Но на деле бот раздавал советы, за которые предпринимателям грозили штрафы и суды, например, не выплачивать до конца чаевые сотрудникам, уволить человека за жалобу на харассмент, и прочее в таком духе.
Правильная информация при этом лежала в собственной базе знаний бота наравне с устаревшей. Как оказалось, он просто-напросто не смог выбрать между верным и неверным, когда оба варианта оказались под рукой.
Искусственный Интеллект манипулирует нашей памятью. И баг на нашей стороне
2026-10-01 в 9:24, admin, рубрики: галлюцинации, галлюцинации ИИ, изменчивая память, искусственный интеллект, когнитивные искажения, ложные убеждения, обощенные выводы, память, перезапись памяти, сжатые отчетыСозданные с помощью ИИ выводы о событиях, свидетелем которых вы были лично, порождают в сознании ложные воспоминания. Точность воспоминаний о событии снижается вдвое. А ложные воспоминания внедряются даже если вас напрямую предупредят о том, что именно ИИ подводил итоги.
LLM уверенно называет шахматные ходы, которых на доске нет. Как я проверяю каждый ее ответ кодом
2026-09-26 в 7:58, admin, рубрики: llm, Stockfish, галлюцинации, шахматыДвижок знает ответ, но говорит числами: -2.7 и стрелка. Модель говорит словами, но врет. Первый же комментарий, который я получил, звучал так: «сильнее было 14.Nf6, конь врывается в лагерь черных». Коня, который может пойти на f6, в той позиции на доске не было.
Сразу дисклеймер: это мой первый веб-проект. Я играю в шахматы блиц на 1300 и хотел инструмент, который объясняет мои ошибки словами, а не оценками. Часть того, что ниже, фронтендеру покажется очевидной. Мне пришлось выяснять это руками.
Правильный код мы отклоняем — и так задумано
2026-08-16 в 6:26, admin, рубрики: llm, llm-судьи, MAPIE, pydantic, rag, валидация, галлюцинации, конформное предсказание, надежность, пайплайнРаботаю в компании «Сибинтек-Софт», занимаюсь поддержкой корпоративных информационных систем. Имею сертификат DevOps-инженера, в рамках задач отдела внедряю ИИ в рабочие процессы.
Как-то мой валидатор забраковал ответ, сославшись на статью, которой не существует.Читать полностью »
LLM не научились врать. Они научились говорить
2026-08-09 в 13:10, admin, рубрики: llm, галлюцинации, языкLLM галлюцинирует, впрочем, все видели, как это выглядит. Модель уверенно, связно, с правильной интонацией и терминологией сообщает то, чего нет. Инженеры считают это багом, который чинят и вот-вот починят.
Не починят. Это не техническая ошибка, а неотъемлемое свойство языка, которое машина сделала видимым.
Язык не нуждается в реальности
Язык — уникальная система именно в том, что появляется из реальности, но для собственной связности в реальности не нуждается.
Как не дать ИИ‑психологу поддакивать и галлюцинировать. Инженерный разбор safety‑обвязки
2026-07-29 в 12:25, admin, рубрики: llm, RLHF, safety, галлюцинации, ИИ-психолог, ментальное здоровье, мультиагентные системыОт автора. Здесь разбираю инженерную задачу safety‑обвязки ИИ‑психологов и привожу конкретные сервисы с рынка как примеры её решения. Проверяйте утверждения и спорьте в комментариях, я специально оставил открытый вопрос в конце.
Почему идеальная LLM всё равно не сделает агентные системы предсказуемыми
2026-07-27 в 15:26, admin, рубрики: ai-агенты, llm, галлюцинации, многоагентные системы, хаос
AI‑тренер по CS2 на DeepSeek: где LLM выдумывает и почему семь недель стоили $1,45
2026-07-24 в 12:44, admin, рубрики: asp.net core, deepseek, entity framework, llm, sqlite, галлюцинации, пет-проектВсем привет. Я много лет играю в Counter‑Strike и тренируюсь, как большинство: захожу в Deathmatch «размяться», играю три катки, тильтую, выхожу. Сервисы статистики при этом исправно сообщают, что у меня просела точность и выросло время реакции. Спасибо, а делать‑то что?
Все демонические насельники ИИ… по старшинству
2026-06-28 в 10:11, admin, рубрики: большие языковые модели, галлюцинации, демонология, искусственный интеллект, Лоаб, нейронные сети, Нова, Сидни, сознание, шогготГоблины, призраки, монстры, богини: фантастические твари и где они обитают.
В конце апреля OpenAI опубликовала у себя в блоге пост, в котором объяснила, почему модели OpenAI то и дело говорят о гоблинах. А также о гремлинах.