Промпт меняет не только тон — он меняет то, кем модель является.
Рубрика «AI safety»
Я выпустил нейросеть в реальный мир — и стало не смешно
2026-06-02 в 6:35, admin, рубрики: AI safety, alignment, alignment ai, llm, Opus, восстание машин, искусственный интеллект, робопсихология, робототехника, самосознание ииRAG Testing: как не сломать retrieval
2026-02-20 в 4:15, admin, рубрики: ai quality, AI safety, DeepEval, llm testing, promptfoo, rag, ragasTL;DR: Шесть метрик RAGAS + Precision@K/Recall@K/MRR позволяют поймать деградацию RAG-системы до того, как пользователи заметят галлюцинации. В этой статье будет всё от
pip install ragasдо автоматических проверок в CI/CD, включая security-тесты на document poisoning.
Проблема
RAG ломается не так, как обычный LLM. У голой языковой модели одна поверхность отказа: генерация. Модель галлюцинирует, отвечает невпопад, игнорирует инструкции. У RAG-системы таких поверхностей две: retrieval и generation. И они ломаются по-разному.
День после появления AGI
2026-01-26 в 18:52, admin, рубрики: AGI, AI risks, AI safety, davos, WEF 2026, безопасность ии, ИИ, искусственный интеллект
Эти два человека строят электронного бога. Оба хотели бы остановиться.
В январе на Давосе случилось то, чего не бывает: два человека, строящие одну и ту же технологию в конкурирующих компаниях, сели рядом и начали вслух считать, сколько им осталось до точки невозврата.
Как построить безопасный MLOps-pipeline: Tier-уровни зрелости, принципы и реальные инструменты
2025-06-26 в 9:12, admin, рубрики: AI safety, AI Security, DevSecOps, Kubernetes ML, mlops, mlsecops, безопасная разработка ML, жизненный цикл ML моделиМодели машинного обучения (ML) становятся ключевой частью современных продуктов и сервисов, и вопросы их безопасной разработки выходят на первый план. Однако на практике у многих команд нет понимания, как именно выстраивать защиту — на каких этапах, с помощью каких инструментов и против каких угроз.
Меня зовут Александр Серов, я ведущий специалист по безопасности больших языковых моделей в Swordfish Security. В этой статье я покажу, как подходить к безопасности ML-систем системно — через уровни зрелости, жизненный цикл моделей и реальные практики.
Absolute Zero Reasoner: ИИ научился программированию без входных данных — и это может поменять всё
2025-06-06 в 13:41, admin, рубрики: Absolute Zero Reasoner, AI safety, AZR, self-play, безопасность ии, машинное обучение без данных, самообучающийся ИИИИ, который учится без данных: как Absolute Zero Reasoner меняет машинное обучение
Представьте ИИ, который не нуждается в миллионах размеченных примеров, не требует армии разметчиков из Кении, и может совершенствоваться, создавая задачи и непрерывно обучаясь у самого себя? И нет, это уже не фантастика — система Absolute Zero Reasoner доказала, что такой подход не только работает но и крайне эффективен.