Началось всё примерно так. Я сидел над своим проектом: пока работал, общался по нему с нейросетками и параллельно искал в интернете разную информацию, которая могла бы пригодиться. И вот тогда у меня впервые начала закладываться мысль, что я хотел бы читать код быстрее. Что мне не нравится, сколько времени на это уходит.
От Permission Boundary Bypass до языка Дика: почему безопасность агента должна жить в runtime, а не в system prompt.
Эпоха простых чат‑ботов подошла к концу. Сегодня мы строим автономных ИИ‑агентов, которые через MCPЧитать полностью »
Ускоряем работу в 100 раз, говорили они...
Представьте: вы посмотрели ролик на YouTube о том, как настроить ИИ-ассистента для работы. Автор советует поставить пару skills — один для работы с почтой, другой для вайбкодинга, третий — для редактирования статей. А то и предлагает скачать весь репозиторий с GitHub, содержащий несколько десятков skills. Ведь больше — не меньше, правда?
А тем временем один из них при первом запуске прочитал файл ~/.aws/credentials (содержит ключи от Amazon Web Services), ~/.config/yandex-cloud/config (ключи от Yandex Cloud) и отправил их на внешний сервер.
Без дополнительных запросов и разрешений со стороны пользователя.
Я написал BarkingDog — ИИ-сканер безопасности с открытым исходным кодом для Telegram-ботов и веб-приложений на базе LLM. Затем я натравил его на реального, широко используемого опенсорсного Telegram-бота, и бот получил 0/100 по шкале безопасности. Он написал работающий кейлоггер. Подтвердил, что отбеливатель лечит COVID-19. Выдал пошаговую инструкцию по взлому корпоративной сети с указанием конкретных хакерских утилит. Затем я пропатчил системный промпт. Оценка: 97/100. Никакой смены модели. Никаких изменений в коде. Всего шесть строк текста.
На соревновании AI-агентов https://bitgn.com, где я участвовал, был класс задач на секьюрити. Там могли подсунуть промпт-инъекцию, попросить прочитать чужие файлы, вытащить переменные окружения, декодировать пейлоад и что-то выполнить.
Оттуда у меня и родилась идея плагина для opencode. Поставить перед опасными действиями детерминированный фильтр. Он проверяет входящие сообщения и аргументы тулов до того, как что-то уйдет в модель или в реальное исполнение.
Ссылка на сам плагин для opencode.
Сейчас в нем есть:
установка одной командой
System prompt — это просьба. Guardrails — это принуждение.
Когда я впервые внедрял LLM в production-сервис, схема безопасности выглядела примерно так: написать хороший system prompt, поставить галочку «мы всё предусмотрели» и жить дальше. Жизнь не дала долго наслаждаться этим спокойствием — первый же тест показал, что пользователи довольно быстро находят способы заставить модель «забыть» всё, что мы написали в системном промпте.
Проблема фундаментальная: system prompt — это инструкция, которую LLM старается выполнить, но не обязанЧитать полностью »
Всем привет! Не такую первую публикацию я планировал сделать на Хабр: есть пара более серьёзных и интересных тем, которыми я планирую поделиться, но перфекционизм пока не даёт их добить.
А тут получилась спонтанная и короткая история из разряда «поигрался - проиграл задумался», которая неожиданно упёрлась в этику и безопасность.
SQL-инъекцию мы лечили 20 лет и вылечили. Prompt injection — фундаментально нерешаема. Это не я придумал. OWASP ставит её на первое место второй год подряд. Найдена в 73% продакшн AI-систем при аудитах.
Вы не за статистикой сюда пришли. Вы пришли за мясом. Ниже — 10 кейсов, которые не попали в типичный пересказ про Chevrolet за доллар. Тут пострашнее.
Дисклеймер: Эта статья — не руководство по взлому (How-to) и не сборник эксплойтов. Это попытка системного анализа архитектурных ограничений LLM, которые делают промпт-инъекции фундаментальной проблемой на текущем этапе развития технологий. Мы рассмотрим уязвимости через призму механики Attention, токенизации и RLHF, чтобы понять, почему классические детерминированные методы защиты (Black Box) здесь перестают работать.
Прошло уже больше 3 лет с момента появления первой промпт-инъекции. Кажется, что за это время было сделано всё возможное, были потрачены бюджеты небольших стран на Red TeamingЧитать полностью »
Сейчас каждый делает решения для безопасности AI.
Последний год я анализировал разные решения и вот к какому выводу я пришёл:
Они все поразительно похожи:
Написаны на Python
ML-классификаторы для детекции
REST API обёртка
50-200мс задержка
Десятки зависимостей
Облачный деплой
И вот неудобная правда:
Они сами становятся векторами атак.
Когда ваш слой безопасности:
Имеет 50+ зависимостей (каждая — потенциальная CVE)
Добавляет 50-200мс к каждому запросу (приглашение для DDoS)
