Рубрика «llm-attack»
Современные уязвимости современных LLM-агентов
2025-05-05 в 11:15, admin, рубрики: gpt, grok, llama, llm, llm-attack, llm-агент, безопасность
Исследование уязвимостей LLM-агентов: опыт Red Teaming
2025-03-30 в 15:17, admin, рубрики: gpt, llm, llm-attack, llm-агент, безопасностьПривет!
Сначала об определениях. LLM Red teaming — практика тестирования больших языковых моделей (например, GPT), направленная на выявление уязвимостей, нежелательного поведения и способов их взлома (jailbreak). Суть в том, чтобы через специальные подсказки или методы обойти защитные механизмы и ограничения LLM.
Security-RAG или как сделать AI Security tool на коленке
2025-01-20 в 6:11, admin, рубрики: chromadb, LangChain, langfuse, llm, llm-attack, llm-приложения, ml, искусственный интеллект, промпт-инъекцииЗатравочка
LLM-ки и LLM-агенты продолжают наводить шум. статьи про то как сделать очередной RAG или Агента продолжают клепаться (да блин даже мы одна из этих статей), huggingface выпускают smolagents, квантизация позволяет дойти LLM-кам до простых работяг и обывателей, давая им возможность в них потыкаться в той же LM studio или других приложениях.
Создание своих тестов для Garak
2024-09-27 в 8:30, admin, рубрики: AI, Garak, llm, llm-attack, Malware, mlsecops, анализ уязвимостей, большие языковые модели, выявление угрозВ прошлой статье я уже говорил о тёмной стороне больших языковых моделей и способах борьбы с проблемами. Но новые уязвимости вскрываются ежедневно, и даже самые крутые инструменты с постоянными обновлениями не всегда за ними успевают. Именно поэтому команда Garak дает пользователям возможность самостоятельного расширения функционала своего инструмента.
Меня зовут Никита Беляевский, я исследую аспекты безопасности LLM решений в лаборатории AI SecurityЧитать полностью »
Garak: инструмент Red-Team для поиска уязвимостей в LLM
2024-09-16 в 9:04, admin, рубрики: AI, Garak, llm, llm-attack, Malware, MLSec, mlsecops, анализ уязвимостей, большие языковые модели, выявление угроз«ChatGPT раскрывает личные данные реальных людей!», «Атака на ChatGPT по сторонним каналам!», «Чат-бот ChatGPT стал причиной утечки секретных данных!», «Хакеры стали использовать ChatGPT в схемах фишинга!». Эти новостные заголовки раскрывают нам тёмную сторону больших языковых моделей. Да, они генерируют за нас контент и анализируют данные, но помимо удобства, приносят новые виды атак и уязвимостей, с которыми надо уметь бороться.
Меня зовут Никита Беляевский, я исследую аспекты безопасности LLM решений в лаборатории AI SecurityЧитать полностью »