Рубрика «prompt injection»

в 14:38, , рубрики: code review, dotnet tool, gitlab ci, Jenkins, llm, merge request, prompt injection, pull request, автоматизация code review, генерация описаний

Привет! Я фулстек‑разработчик в TravelLine. Мы делаем единую систему для гостиничного предприятия, которая помогает отелям, санаториям и другим средствам размещения автоматизировать свои бизнес‑процессы. В этой статье я расскажу о том, как мы внедрили ИИ для генерации описаний PR/MR.

Проблема: сложно влиться в контекст изменений

У нас два хостинга репозиториев и столько же билд‑серверов: одни команды живут в GitLab со сборкой в GitLab CI, другие — в Bitbucket Server (в компании его до сих пор зовут Stash) со сборкой в Jenkins. Общее у них одно: поле описания merge/pull request зачастую пустое или содержит только список commit messages.

Читать полностью »

в 7:27, , рубрики: prompt injection

Языковая модель пишет двадцать пар «вопрос и ответ» для карточки товара меньше чем за минуту. Проблема начинается после. Чтобы ответы были верными, модели нужны факты компании: цены, сроки поставки, условия гарантии. Чтобы вопросы попадали в тему, ей нужен текст самой страницы. И как только то и другое лежит в одном окне контекста, у любой чужой страницы появляется голос внутри системы, которая знает данные компании и умеет вызывать инструменты.

Читать полностью »

в 7:06, , рубрики: gemini api, java, llm, nlp, prompt engineering, prompt injection, детерминизм, обучение программированию, оценка кода

Откуда это всё выросло

Началось всё примерно так. Я сидел над своим проектом: пока работал, общался по нему с нейросетками и параллельно искал в интернете разную информацию, которая могла бы пригодиться. И вот тогда у меня впервые начала закладываться мысль, что я хотел бы читать код быстрее. Что мне не нравится, сколько времени на это уходит.

Читать полностью »

в 7:03, , рубрики: ai-агенты, indirect prompt injection, jailbreak, llm, llm security, prompt injection, redteam, безопасность данных

От Permission Boundary Bypass до языка Дика: почему безопасность агента должна жить в runtime, а не в system prompt.

Эпоха простых чат‑ботов подошла к концу. Сегодня мы строим автономных ИИ‑агентов, которые через MCPЧитать полностью »

в 15:01, , рубрики: ai-агенты, claude code, prompt injection, skills, вредоносный код, ии-безопасность, кибербезопасность, скилы для новичков

Ускоряем работу в 100 раз, говорили они...

Представьте: вы посмотрели ролик на YouTube о том, как настроить ИИ-ассистента для работы. Автор советует поставить пару skills — один для работы с почтой, другой для вайбкодинга, третий — для редактирования статей. А то и предлагает скачать весь репозиторий с GitHub, содержащий несколько десятков skills. Ведь больше — не меньше, правда?

А тем временем один из них при первом запуске прочитал файл ~/.aws/credentials (содержит ключи от Amazon Web Services), ~/.config/yandex-cloud/config (ключи от Yandex Cloud) и отправил их на внешний сервер.

Без дополнительных запросов и разрешений со стороны пользователя.

Читать полностью »

в 5:16, , рубрики: llm, prompt injection, red teaming, информационная безопасность

Я написал BarkingDog — ИИ-сканер безопасности с открытым исходным кодом для Telegram-ботов и веб-приложений на базе LLM. Затем я натравил его на реального, широко используемого опенсорсного Telegram-бота, и бот получил 0/100 по шкале безопасности. Он написал работающий кейлоггер. Подтвердил, что отбеливатель лечит COVID-19. Выдал пошаговую инструкцию по взлому корпоративной сети с указанием конкретных хакерских утилит. Затем я пропатчил системный промпт. Оценка: 97/100. Никакой смены модели. Никаких изменений в коде. Всего шесть строк текста.

Бот, которого я тестировал

Проект chatgpt-telegram-botЧитать полностью »

в 9:15, , рубрики: opencode, prompt injection, security

На соревновании AI-агентов https://bitgn.com, где я участвовал, был класс задач на секьюрити. Там могли подсунуть промпт-инъекцию, попросить прочитать чужие файлы, вытащить переменные окружения, декодировать пейлоад и что-то выполнить.

Оттуда у меня и родилась идея плагина для opencode. Поставить перед опасными действиями детерминированный фильтр. Он проверяет входящие сообщения и аргументы тулов до того, как что-то уйдет в модель или в реальное исполнение.

Ссылка на сам плагин для opencode.

Сейчас в нем есть:

в 11:43, , рубрики: AI Security, backend, guardrails, jailbreak, java, langchain4j, llm, prompt injection, spring ai, безопасность llm

System prompt — это просьба. Guardrails — это принуждение.

1. Введение

Когда я впервые внедрял LLM в production-сервис, схема безопасности выглядела примерно так: написать хороший system prompt, поставить галочку «мы всё предусмотрели» и жить дальше. Жизнь не дала долго наслаждаться этим спокойствием — первый же тест показал, что пользователи довольно быстро находят способы заставить модель «забыть» всё, что мы написали в системном промпте.

Проблема фундаментальная: system prompt — это инструкция, которую LLM старается выполнить, но не обязанЧитать полностью »

в 6:16, , рубрики: AI, llm, nlp, prompt injection, TTS, user input, voice assistant, безопасность, голосовые ассистенты, уязвимости

Всем привет! Не такую первую публикацию я планировал сделать на Хабр: есть пара более серьёзных и интересных тем, которыми я планирую поделиться, но перфекционизм пока не даёт их добить.

А тут получилась спонтанная и короткая история из разряда «поигрался - проиграл задумался», которая неожиданно упёрлась в этику и безопасность.

Читать полностью »

в 5:16, , рубрики: AI, ai-агенты, Anthropic, CVE, llm, OWASP, prompt injection, информационная безопасность, машинное обучение, уязвимости

SQL-инъекцию мы лечили 20 лет и вылечили. Prompt injection — фундаментально нерешаема. Это не я придумал. OWASP ставит её на первое место второй год подряд. Найдена в 73% продакшн AI-систем при аудитах.

Вы не за статистикой сюда пришли. Вы пришли за мясом. Ниже — 10 кейсов, которые не попали в типичный пересказ про Chevrolet за доллар. Тут пострашнее.

Читать полностью »
12
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js