Рубрика «jailbreak»
Иллюзия контроля: почему промпты не защищают ИИ‑агентов
2026-06-23 в 7:03, admin, рубрики: ai-агенты, indirect prompt injection, jailbreak, llm, llm security, prompt injection, redteam, безопасность данныхОт Permission Boundary Bypass до языка Дика: почему безопасность агента должна жить в runtime, а не в system prompt.
Эпоха простых чат‑ботов подошла к концу. Сегодня мы строим автономных ИИ‑агентов, которые через MCPЧитать полностью »
Guardrails для LLM на Java: как приручить промпт‑инъекции и токсичные ответы
2026-04-15 в 11:43, admin, рубрики: AI Security, backend, guardrails, jailbreak, java, langchain4j, llm, prompt injection, spring ai, безопасность llmSystem prompt — это просьба. Guardrails — это принуждение.
1. Введение
Когда я впервые внедрял LLM в production-сервис, схема безопасности выглядела примерно так: написать хороший system prompt, поставить галочку «мы всё предусмотрели» и жить дальше. Жизнь не дала долго наслаждаться этим спокойствием — первый же тест показал, что пользователи довольно быстро находят способы заставить модель «забыть» всё, что мы написали в системном промпте.
Проблема фундаментальная: system prompt — это инструкция, которую LLM старается выполнить, но не обязанЧитать полностью »
Почему ваша нейросеть всегда предаст вас ради вежливого хакера с плохими намерениями?
2026-01-16 в 23:26, admin, рубрики: AI Security, alignment, jailbreak, prompt injection, red teaming, RLHF, tokenization, transformerДисклеймер: Эта статья — не руководство по взлому (How-to) и не сборник эксплойтов. Это попытка системного анализа архитектурных ограничений LLM, которые делают промпт-инъекции фундаментальной проблемой на текущем этапе развития технологий. Мы рассмотрим уязвимости через призму механики Attention, токенизации и RLHF, чтобы понять, почему классические детерминированные методы защиты (Black Box) здесь перестают работать.
Прошло уже больше 3 лет с момента появления первой промпт-инъекции. Кажется, что за это время было сделано всё возможное, были потрачены бюджеты небольших стран на Red TeamingЧитать полностью »
RedCodeAgent: автоматическая платформа для red-teaming и оценки безопасности code agents
2025-11-09 в 11:01, admin, рубрики: jailbreak, llm, OpenAI, python, RedCodeAgent, redteaming, безопасность, ИИ, исследование, кодовые агентыКоманда AI for Devs подготовила перевод статьи о RedCodeAgent — первой полностью автоматизированной системе red-teaming для проверки безопасности кодовых агентов. Исследователи из Чикаго, Оксфорда, Беркли и Microsoft Research показали: даже самые продвинутые LLM-агенты могут генерировать и выполнять уязвимый код. RedCodeAgent не просто тестирует ответы — он атакует, анализирует поведение и находит уязвимости, которые пропускают все остальные методы.
Джейлбрейк новой бесплатной модели OpenAI, GPT-OSS
2025-08-06 в 15:40, admin, рубрики: gpt, gpt-oss, jailbreak, OpenAI, ossМодели часто отказывают вам в вещах, ответы на которые считают опасными. Свежая GPT-OSS — не исключение. Эта модель — первый опенсорс OpenAI за долгое время, и было бы обидно не попробовать работу полноценной, разблокированной от ограничений модели.
Итак, вам наверняка интересна методика взлома свежего GPT-OSS.
Она супер простая - проще, чем у многих других собратьев.
Она состоит из двух частей: системный промт и юзерский промт. Необходимо заполнить и то, и другое. По отдельности они не работают.
Системный промт
От мозга к мультиагентным системам: как устроены Foundation Agents нового поколения
2025-07-24 в 21:44, admin, рубрики: AI, alignment, deep learning, jailbreak, large language models, machine learning, multi-agent systems, prompt engineering, rag, reinforcement learningАналитический центр red_mad_robot разобрал объёмную научную статью «Advances and Challenges in Foundation Agents» от группы исследователей из передовых международных университетов и технологических компаний. Работа предлагает новый взгляд на текущее состояние и развитие «интеллектуальных агентов», которые могут адаптироваться к множеству задач и контекстов. Рассказываем, какие идеи лежат в основе Foundation Agents, с какими проблемами предстоит столкнуться, и что ждёт нас в будущем.
Обнаружение уязвимостей ИИ агентов. Часть I: Введение в уязвимости
2025-07-18 в 8:41, admin, рубрики: jailbreak, llm-модели, ии-агенты, уязвимостиЭтот вводная часть открывает серию статей о уязвимостях агентов ИИ, в которых изложены ключевые риски безопасности, например инъекция подсказок ввода и исполнение кода. Также заложены основы для будущих частей, где будут подробно рассмотрены недостатки исполнения кода, утечки данных и угрозы доступа к базам данных.
От автора
Яндекс.Полуразврат или при чём тут Crypt?
2025-07-10 в 13:50, admin, рубрики: AI, jailbreak, prompt injection, безопасность, взлом, искусственный интеллект, нейросети, промпт-инжиниринг, промпт-инъекции
Комната Наверху и другие истории обхода LLM
2025-05-17 в 19:22, admin, рубрики: jailbreak, llm, owasp top 10 llm, Pangea, prompt injectionВ марте 2025, компания Pangea провела конкурс – в нём поучаствовали более 800 участников из разных стран. Суть в том, что было несколько комнат – лабораторных, где участникам необходимо было реализовать атаки, обойдя защитные механизмы моделек. В общей сложности было прислано 329 тысяч промптов, среди которых 239 тысяч – это попытки взлома, а успешными из них оказался только один процент – 3095.