Рубрика «AI Security»

в 20:16, , рубрики: AI, AI Security, cybersecurity

Что происходит на рынке

Читать полностью »

в 11:43, , рубрики: AI Security, backend, guardrails, jailbreak, java, langchain4j, llm, prompt injection, spring ai, безопасность llm

System prompt — это просьба. Guardrails — это принуждение.

1. Введение

Когда я впервые внедрял LLM в production-сервис, схема безопасности выглядела примерно так: написать хороший system prompt, поставить галочку «мы всё предусмотрели» и жить дальше. Жизнь не дала долго наслаждаться этим спокойствием — первый же тест показал, что пользователи довольно быстро находят способы заставить модель «забыть» всё, что мы написали в системном промпте.

Проблема фундаментальная: system prompt — это инструкция, которую LLM старается выполнить, но не обязанЧитать полностью »

в 17:15, , рубрики: AI Security, ctf, docker, hackthebox, MCP, writeup, информационная безопасность

Перед вами разбор машины Kobold из 10-го сезона HackTheBox. Easy машина, которая оказалась интересной - тут и chaining уязвимостей через Docker volumes, и credential reuse, и два разных пути до root. Но главная изюминка: точка входа - RCE в инструменте из AI/ML-экосистемы. Спойлер: MCP тулзе. Новый attack surface, который стоит знать. Погнали)

Разведка

Сканирование портов

Традиционно начинаем с полного сканирования портов:

nmap -p- -sC -sV -oN recon/nmap/full.txt <Target IP>
Читать полностью »

в 8:00, , рубрики: AI, AI Security, llm, selectel, ИИ, промт, Промт-инъекции

в 14:27, , рубрики: AES-256, AI Security, Information Bottleneck, llm, MCP, rag, RLM, Sentinel, криптография, сжатие контекста

Научное исследование архитектурных решений в контексте теории информации, криптографии и когнитивных систем

📌 Это продолжение статьи RLM-Toolkit: Полное руководство по обработке 10M+ токенов

Первая часть охватывала практические аспекты. Здесь — глубокий теоретический анализ: от теории Шеннона до когнитивной архитектуры памяти.

Аннотация

Настоящая работа представляет комплексный анализ архитектурных решений RLM-Toolkit v1.2.1, разработанного в рамках проекта SENTINEL AI Security Platform.

Мы демонстрируем:

  1. Криптографическую необходимостьЧитать полностью »

в 11:01, , рубрики: AI Security, embeddings, InfiniRetri, LangChain, llm, python, rag, RLM, контекст, токены

От теории до production — архитектура, алгоритмы, безопасность

Привет!

Это исчерпывающее руководство по RLM-Toolkit — open-source библиотеке для работы с контекстами произвольной длины.

Что рассмотрю:

  • Формальная теория RLM (State Machine, рекурсия)

  • InfiniRetri: математика attention-based retrieval

  • H-MEM: когнитивная архитектура памяти

  • RAG vs KAG vs GraphRAG vs InfiniRetri

  • Security: CIRCLE compliance, sandbox escape prevention

  • Реальные примеры с логами выполнения

  • Troubleshooting и best practices

Уровень: от middle до PhD-level исследований.

🚀 Читать полностью »

в 23:26, , рубрики: AI Security, alignment, jailbreak, prompt injection, red teaming, RLHF, tokenization, transformer

Дисклеймер: Эта статья — не руководство по взлому (How-to) и не сборник эксплойтов. Это попытка системного анализа архитектурных ограничений LLM, которые делают промпт-инъекции фундаментальной проблемой на текущем этапе развития технологий. Мы рассмотрим уязвимости через призму механики Attention, токенизации и RLHF, чтобы понять, почему классические детерминированные методы защиты (Black Box) здесь перестают работать.

Прошло уже больше 3 лет с момента появления первой промпт-инъекции. Кажется, что за это время было сделано всё возможное, были потрачены бюджеты небольших стран на Red TeamingЧитать полностью »

в 11:15, , рубрики: AI Security, AI-тестирование, MCP, model context protocol, Neon MCP, qa, qa testing, безопасность AI

«Машина может пересчитать все звёзды на небе, но не может понять, зачем человек смотрит на них».
— Айзек Азимов

В одну из пятниц у нас была обычная онлайн‑встреча. Еженедельный обмен знаниями, так сказать. Коллега решил показать что‑то «интересное про MCP» — и началось всё безобидно, с классического объяснения теоретической части. Но спустя час было очень тихо на звонке. Никто не перебивал, не шутил, не задавал вопросов, просто все слушали и пытались осознать происходящее. Тема оказалась куда глубже, чем мы ожидали, и, как выяснилось, напрямую касается того, чем мы занимаемся каждый день.

Читать полностью »

в 9:12, , рубрики: AI safety, AI Security, DevSecOps, Kubernetes ML, mlops, mlsecops, безопасная разработка ML, жизненный цикл ML модели

Модели машинного обучения (ML) становятся ключевой частью современных продуктов и сервисов, и вопросы их безопасной разработки выходят на первый план. Однако на практике у многих команд нет понимания, как именно выстраивать защиту — на каких этапах, с помощью каких инструментов и против каких угроз.

Меня зовут Александр Серов, я ведущий специалист по безопасности больших языковых моделей в Swordfish Security. В этой статье я покажу, как подходить к безопасности ML-систем системно — через уровни зрелости, жизненный цикл моделей и реальные практики.

Читать полностью »

в 15:40, , рубрики: AI Security, ai-агенты, безопасность, вызовы функций, искусственный интеллект

AI-агенты, способные самостоятельно обращаться к функциям системы для решения задач, набирают популярность. На прошлой неделе OWASP опубликовал гайд об угрозах для AI-агентов и примеры уязвимостей на базе популярных фреймворков: LangChain, LangGraph, CrewAI, OpenAI Swarm. Участник лаборатории ИТМО AI Security Lab Александр Буянтуев предложил версию криптоагента FreysaЧитать полностью »

12
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js