Рубрика «guardrails»

в 6:55, , рубрики: AI Gateway, dlp, guardrails, llm, on-premise, OWASP LLM Top 10, prompt injection, ФСТЭК

Зачем вокруг модели нужен контур

Сама по себе модель не отличает инструкцию от данных. Системный промпт, вопрос пользователя, абзац из базы знаний, текст страницы, которую только что притащил веб‑поиск: для неё это один поток токенов.

Разметка и разделители помогают ей понять, где заканчивается задание и начинается чужой текст, и долю удачных атак это заметно сбивает. Но это подсказка, а не граница: достаточно убедительная строчка внутри данных всё равно срабатывает как команда. Из этого свойства и выросли две верхние позиции OWASP Top 10 for LLM Applications 2026:

  • LLM01 Prompt Injection

  • LLM02 Sensitive Information Disclosure.

Читать полностью »

в 8:00, , рубрики: chatgpt, guardrails, llm-модели, selectel, waf, ии-система, инфраструктура, нейросети, политика безопасности, угрозы

в 11:26, , рубрики: gliner guard, gliner2, guardrails, Nvidia, tensorrt, triton-inference-server, vllm, инференс нейросетей

Когда в системе есть узел между LLM и пользователем его скорость также важна, как и скорость самой LLM. Когда этот узел сам является моделью (и иногда даже — тоже LLM) — задача ускорения становится совсем веселой и её нужно уметь решать разными способами. В этой работе я опишу процесс ускорения guardrail‑модели — узла, которые проверяет — нет ли на входе или выходе опасного контента.

Читать полностью »

в 11:43, , рубрики: AI Security, backend, guardrails, jailbreak, java, langchain4j, llm, prompt injection, spring ai, безопасность llm

System prompt — это просьба. Guardrails — это принуждение.

1. Введение

Когда я впервые внедрял LLM в production-сервис, схема безопасности выглядела примерно так: написать хороший system prompt, поставить галочку «мы всё предусмотрели» и жить дальше. Жизнь не дала долго наслаждаться этим спокойствием — первый же тест показал, что пользователи довольно быстро находят способы заставить модель «забыть» всё, что мы написали в системном промпте.

Проблема фундаментальная: system prompt — это инструкция, которую LLM старается выполнить, но не обязанЧитать полностью »

в 11:16, , рубрики: guardrails, безопасность, ИИ

Guardrails — это фреймворк безопасности для LLM-приложений, предназначенный для автоматической проверки входных и выходных данных с помощью настраиваемых правил и проверок.

В экосистеме OpenAI guardrails появились в 2025 году. На сегодняшний день они доступны как в Agent Builder, так и в виде Python SDK — openai-guardrails.

Читать полностью »

в 14:00, , рубрики: guardrails, OpenAI, ИИ, ии-агенты, ии-ассистент

Всем привет!

В этой статье разберёмся с OpenAI Guardrails — одним из самых эффективных инструментов для обеспечения безопасности ИИ-систем. Это продолжение цикла о защите и контроле ИИ-агентов, в первой части мы рассмотрели инструмент модерации запросов.

Guardrails предоставляет намного более мощные возможности для защиты, позволяя создавать многоуровневую систему валидации входных и выходных данных.

Если вам интересны детали, рекомендуем ознакомиться с дополнительными материалами из нашего Telegram-канала Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js