В третьей части серии демонстрируется, как риск усиливается в мультимодальных AI-агентах, когда скрытые инструкции, встроенные в безобидно выглядящие изображения или документы, могут инициировать утечку конфиденциальных данных без какого-либо взаимодействия с пользователем.
Основные выводы
Косвенная инъекция подсказок использует внешние источники — веб-страницы, изображения и документы — для скрытой манипуляции AI-агентами.
Мультимодальные AI-агентыЧитать полностью »
Последние годы генеративные большие языковые модели (LLM), такие как ChatGPT и YandexGPT, стали неотъемлемой частью многих продуктов и сервисов. С ростом популярности этих моделей возникли и новые угрозы безопасности — одной из самых актуальных стали промпт-инъекции. Что это такое, и почему это важно?
Промпт-инъекция — это атака, при которой злоумышленник отправляет модели запрос, сформулированный так, чтобы заставить её нарушить встроенные правила безопасности или раскрыть конфиденциальную информацию.
Например:
Манипуляция инструкциямиЧитать полностью »
