Рубрика «mlsecops»
Заметки по результатам участия в круглом столе «Современные вызовы в безопасности AI и пути их решения» на KDW — 2025
2025-10-04 в 6:16, admin, рубрики: mlsecops, информационная безопасность, искусственный интеллектПривет! Я Чернышов Юрий, к.ф.-м.н., доцент УрФУ, руководитель исследовательского центра UDV Group (компания разработчик ПО для ИБ в Екатеринбурге).
За неделю от ночных кошмаров до спокойного сна: как я автоматизировал защиту от AI-хакеров
2025-07-24 в 11:05, admin, рубрики: devops, DevSecOps, llm, mlsecops, python, rag, информационная безопасность, искуственный интеллект, машинное обучениеНикто не любит быть тем парнем, который говорит "а давайте еще и защиту поставим". Особенно когда речь идет о блестящем новом AI-продукте, который должен был запуститься "еще вчера". Но когда твой корпоративный чат-бот начинает выдавать системные промпты направо и налево, а в 2 ночи тебе в Telegram прилетают сообщения "СРОЧНО! Хакеры взломали бота!" — понимаешь, что без брони в бой идти нельзя.
MLDR. Как не стать героем инцидента будущего. Часть 1
2025-07-23 в 12:44, admin, рубрики: llm, mlsecops, ИИ и машинное обучение, ии-агенты, информационная безопасностьВсем привет! Я Александр Лебедев, ml инженер в команде, занимающейся MlSecOps проектами в Innostage. Мы разрабатываем решения для безопасности моделей машинного обучения и внедрением ml в системы информационной безопасности.
И сегодня мы поговорим о том, как не взломать искусственный интеллект.
Как построить безопасный MLOps-pipeline: Tier-уровни зрелости, принципы и реальные инструменты
2025-06-26 в 9:12, admin, рубрики: AI safety, AI Security, DevSecOps, Kubernetes ML, mlops, mlsecops, безопасная разработка ML, жизненный цикл ML моделиМодели машинного обучения (ML) становятся ключевой частью современных продуктов и сервисов, и вопросы их безопасной разработки выходят на первый план. Однако на практике у многих команд нет понимания, как именно выстраивать защиту — на каких этапах, с помощью каких инструментов и против каких угроз.
Меня зовут Александр Серов, я ведущий специалист по безопасности больших языковых моделей в Swordfish Security. В этой статье я покажу, как подходить к безопасности ML-систем системно — через уровни зрелости, жизненный цикл моделей и реальные практики.
MLSecOps: защита машинного обучения в эпоху киберугроз
2025-05-01 в 4:54, admin, рубрики: Data Poisoning, HiveTrace, LLAMATOR, mlsecops, owasp top 10, атака, защита, искусственный интеллект, кибербезопасность, машинное обучениеНа днях исследователь Цзянь Чжоу сообщил о критической уязвимости (CVE-2025-32434), затрагивающей все версии PyTorch до 2.5.1 включительно. Ошибка устраняется только обновлением версии до 2.6.0. Уязвимость соответствует критическому уровню риска, и позволяет злоумышленнику выполнить произвольный код на стороне жертвы без какого-либо взаимодействия с пользователем. Единственным условием является факт загрузки модели, созданной атакующим, даже при якобы безопасном параметре weights_only=True. Эта опция ранее считалась надежной, но, как выяснилось, не спасала от угроз.
Создание своих тестов для Garak
2024-09-27 в 8:30, admin, рубрики: AI, Garak, llm, llm-attack, Malware, mlsecops, анализ уязвимостей, большие языковые модели, выявление угрозВ прошлой статье я уже говорил о тёмной стороне больших языковых моделей и способах борьбы с проблемами. Но новые уязвимости вскрываются ежедневно, и даже самые крутые инструменты с постоянными обновлениями не всегда за ними успевают. Именно поэтому команда Garak дает пользователям возможность самостоятельного расширения функционала своего инструмента.
Меня зовут Никита Беляевский, я исследую аспекты безопасности LLM решений в лаборатории AI SecurityЧитать полностью »
Garak: инструмент Red-Team для поиска уязвимостей в LLM
2024-09-16 в 9:04, admin, рубрики: AI, Garak, llm, llm-attack, Malware, MLSec, mlsecops, анализ уязвимостей, большие языковые модели, выявление угроз«ChatGPT раскрывает личные данные реальных людей!», «Атака на ChatGPT по сторонним каналам!», «Чат-бот ChatGPT стал причиной утечки секретных данных!», «Хакеры стали использовать ChatGPT в схемах фишинга!». Эти новостные заголовки раскрывают нам тёмную сторону больших языковых моделей. Да, они генерируют за нас контент и анализируют данные, но помимо удобства, приносят новые виды атак и уязвимостей, с которыми надо уметь бороться.
Меня зовут Никита Беляевский, я исследую аспекты безопасности LLM решений в лаборатории AI SecurityЧитать полностью »