Рубрика «AI Security»

в 8:00, , рубрики: AI, AI Security, llm, selectel, ИИ, промт, Промт-инъекции

в 14:27, , рубрики: AES-256, AI Security, Information Bottleneck, llm, MCP, rag, RLM, Sentinel, криптография, сжатие контекста

Научное исследование архитектурных решений в контексте теории информации, криптографии и когнитивных систем

📌 Это продолжение статьи RLM-Toolkit: Полное руководство по обработке 10M+ токенов

Первая часть охватывала практические аспекты. Здесь — глубокий теоретический анализ: от теории Шеннона до когнитивной архитектуры памяти.

Аннотация

Настоящая работа представляет комплексный анализ архитектурных решений RLM-Toolkit v1.2.1, разработанного в рамках проекта SENTINEL AI Security Platform.

Мы демонстрируем:

  1. Криптографическую необходимостьЧитать полностью »

в 11:01, , рубрики: AI Security, embeddings, InfiniRetri, LangChain, llm, python, rag, RLM, контекст, токены

От теории до production — архитектура, алгоритмы, безопасность

Привет!

Это исчерпывающее руководство по RLM-Toolkit — open-source библиотеке для работы с контекстами произвольной длины.

Что рассмотрю:

  • Формальная теория RLM (State Machine, рекурсия)

  • InfiniRetri: математика attention-based retrieval

  • H-MEM: когнитивная архитектура памяти

  • RAG vs KAG vs GraphRAG vs InfiniRetri

  • Security: CIRCLE compliance, sandbox escape prevention

  • Реальные примеры с логами выполнения

  • Troubleshooting и best practices

Уровень: от middle до PhD-level исследований.

🚀 Читать полностью »

в 23:26, , рубрики: AI Security, alignment, jailbreak, prompt injection, red teaming, RLHF, tokenization, transformer

Дисклеймер: Эта статья — не руководство по взлому (How-to) и не сборник эксплойтов. Это попытка системного анализа архитектурных ограничений LLM, которые делают промпт-инъекции фундаментальной проблемой на текущем этапе развития технологий. Мы рассмотрим уязвимости через призму механики Attention, токенизации и RLHF, чтобы понять, почему классические детерминированные методы защиты (Black Box) здесь перестают работать.

Прошло уже больше 3 лет с момента появления первой промпт-инъекции. Кажется, что за это время было сделано всё возможное, были потрачены бюджеты небольших стран на Red TeamingЧитать полностью »

в 11:15, , рубрики: AI Security, AI-тестирование, MCP, model context protocol, Neon MCP, qa, qa testing, безопасность AI

«Машина может пересчитать все звёзды на небе, но не может понять, зачем человек смотрит на них».
— Айзек Азимов

В одну из пятниц у нас была обычная онлайн‑встреча. Еженедельный обмен знаниями, так сказать. Коллега решил показать что‑то «интересное про MCP» — и началось всё безобидно, с классического объяснения теоретической части. Но спустя час было очень тихо на звонке. Никто не перебивал, не шутил, не задавал вопросов, просто все слушали и пытались осознать происходящее. Тема оказалась куда глубже, чем мы ожидали, и, как выяснилось, напрямую касается того, чем мы занимаемся каждый день.

Читать полностью »

в 9:12, , рубрики: AI safety, AI Security, DevSecOps, Kubernetes ML, mlops, mlsecops, безопасная разработка ML, жизненный цикл ML модели

Модели машинного обучения (ML) становятся ключевой частью современных продуктов и сервисов, и вопросы их безопасной разработки выходят на первый план. Однако на практике у многих команд нет понимания, как именно выстраивать защиту — на каких этапах, с помощью каких инструментов и против каких угроз.

Меня зовут Александр Серов, я ведущий специалист по безопасности больших языковых моделей в Swordfish Security. В этой статье я покажу, как подходить к безопасности ML-систем системно — через уровни зрелости, жизненный цикл моделей и реальные практики.

Читать полностью »

в 15:40, , рубрики: AI Security, ai-агенты, безопасность, вызовы функций, искусственный интеллект

AI-агенты, способные самостоятельно обращаться к функциям системы для решения задач, набирают популярность. На прошлой неделе OWASP опубликовал гайд об угрозах для AI-агентов и примеры уязвимостей на базе популярных фреймворков: LangChain, LangGraph, CrewAI, OpenAI Swarm. Участник лаборатории ИТМО AI Security Lab Александр Буянтуев предложил версию криптоагента FreysaЧитать полностью »

в 10:05, , рубрики: AI RedTeaming, AI Security, deepseek, llm, mixtral, rag

Языковая модель DeepSeek R1 наделала много шума в начале этого года. Сначала в AI-сообществе с восхищением обсуждали, как китайцам удалось получить качество генерации текста на уровне передовых западных моделей при меньших затратах на обучение. Затем восторг сменился жёсткой критикой о политической предвзятости, копировании моделей OpenAI и доступности истории запросовЧитать полностью »

в 19:57, , рубрики: AI Security, BERT, llm, lora, mlops, nlp (natural language processing)

Сколько раз вы были свидетелями судейства на хакатонах, которое, на первый взгляд, казалось неверным? Думаем, таких случаев было много.

Сегодня мы посмотрим на результаты AI Product Hack и постараемся разобраться в том, кто после присуждения мест оказался прав: раздосадованные поражением участники команд или судьи.

В частности мы будем рассматривать кейс компании Raft - “Мониторинг токсичного контента в AI-продуктах”. 

Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js