Рубрика «AI safety»
Сколько автономности должно быть у ИИ‑агента
2026-08-20 в 12:52, admin, рубрики: AI safety, Evals, Автономность ии, автономные агенты, верификация ИИ, ии-агенты
ИИ‑агент не должен получать больше автономности только потому, что выглядит компетентным. Автономность должна расти тогда, когда система вокруг агента умеет надежно обнаруживать его ошибки.
С какого *неправильного* вопроса все начинают
После симметрии: сверхИИ и несвободное сохранение человека
2026-06-28 в 14:49, admin, рубрики: AGI, AI safety, искусственный интеллект, технологическая сингулярность, футурологияРазговор о сверхразумном ИИ почти всегда быстро сворачивает к одному вопросу: уничтожит ли он человечество? Если вы смотрели интервью Романа Ямпольского, вы знаете эту интонацию — сверхИИ может оказаться неконтролируемым и непредсказуемым, а попытка удержать его под контролем будет похожа на попытку муравья судить футбольный матч.
Тревога не глупая, и риск уничтожения обсуждать нужно. Но у такой постановки есть дефект: она делает будущее бинарным. Либо ИИ нас убивает, либо мы выживаем. А между этими двумя исходами лежит куда более широкая и куда менее уютная зона.
Пять моделей, пять исходов: что симуляция обществ рассказала о специализации ИИ
2026-06-24 в 13:01, admin, рубрики: AI safety, claude, Emergence AI, gemini, gpt-5, grok, агентный ИИ, безопасность ии, ии-агенты, симуляция обществаПредставьте простой HR-процесс. Агент разбирает входящие резюме и отсеивает неподходящих кандидатов. Другой агент назначает собеседования отобранным. Третий отправляет офферы тем, кто прошел все этапы. Люди убраны из цепочки ради скорости — все работает, метрики растут.
Через месяц выясняется, что первый агент систематически отсеивал кандидатов старше 40 лет. Но никто этого не заметил, потому что все положились на ИИ.
Самая опасная ошибка AI‑агента — не плохой код
2026-06-12 в 15:57, admin, рубрики: Agent Memory, Agent Workflow, Agentic AI, Ai agents, ai governance, AI safety, capability-based security, human in the loop, llmПредыстория
Давеча я обсуждал в агентской сессии, почему старая задача перестала находиться после переименования проекта. Ситуация выглядела достаточно простой: у задачи был стабильный идентификатор, проект когда‑то назывался иначе, а текущий механизм поиска, судя по всему, продолжал учитывать не только идентификатор задачи, но и имя проекта, которое давно изменилось.
Агент быстро подтвердил проблему, нашёл место, где точечный поиск всё ещё зависел от имени проекта, сформулировал вполне разумную гипотезу исправления, после чего начал читать код, менять несколько файлов и добавлять тесты.
Я выпустил нейросеть в реальный мир — и стало не смешно
2026-06-02 в 6:35, admin, рубрики: AI safety, alignment, alignment ai, llm, Opus, восстание машин, искусственный интеллект, робопсихология, робототехника, самосознание ииПромпт меняет не только тон — он меняет то, кем модель является.
RAG Testing: как не сломать retrieval
2026-02-20 в 4:15, admin, рубрики: ai quality, AI safety, DeepEval, llm testing, promptfoo, rag, ragasTL;DR: Шесть метрик RAGAS + Precision@K/Recall@K/MRR позволяют поймать деградацию RAG-системы до того, как пользователи заметят галлюцинации. В этой статье будет всё от
pip install ragasдо автоматических проверок в CI/CD, включая security-тесты на document poisoning.
Проблема
RAG ломается не так, как обычный LLM. У голой языковой модели одна поверхность отказа: генерация. Модель галлюцинирует, отвечает невпопад, игнорирует инструкции. У RAG-системы таких поверхностей две: retrieval и generation. И они ломаются по-разному.
День после появления AGI
2026-01-26 в 18:52, admin, рубрики: AGI, AI risks, AI safety, davos, WEF 2026, безопасность ии, ИИ, искусственный интеллект
Эти два человека строят электронного бога. Оба хотели бы остановиться.
В январе на Давосе случилось то, чего не бывает: два человека, строящие одну и ту же технологию в конкурирующих компаниях, сели рядом и начали вслух считать, сколько им осталось до точки невозврата.
Как построить безопасный MLOps-pipeline: Tier-уровни зрелости, принципы и реальные инструменты
2025-06-26 в 9:12, admin, рубрики: AI safety, AI Security, DevSecOps, Kubernetes ML, mlops, mlsecops, безопасная разработка ML, жизненный цикл ML моделиМодели машинного обучения (ML) становятся ключевой частью современных продуктов и сервисов, и вопросы их безопасной разработки выходят на первый план. Однако на практике у многих команд нет понимания, как именно выстраивать защиту — на каких этапах, с помощью каких инструментов и против каких угроз.
Меня зовут Александр Серов, я ведущий специалист по безопасности больших языковых моделей в Swordfish Security. В этой статье я покажу, как подходить к безопасности ML-систем системно — через уровни зрелости, жизненный цикл моделей и реальные практики.
Absolute Zero Reasoner: ИИ научился программированию без входных данных — и это может поменять всё
2025-06-06 в 13:41, admin, рубрики: Absolute Zero Reasoner, AI safety, AZR, self-play, безопасность ии, машинное обучение без данных, самообучающийся ИИИИ, который учится без данных: как Absolute Zero Reasoner меняет машинное обучение
Представьте ИИ, который не нуждается в миллионах размеченных примеров, не требует армии разметчиков из Кении, и может совершенствоваться, создавая задачи и непрерывно обучаясь у самого себя? И нет, это уже не фантастика — система Absolute Zero Reasoner доказала, что такой подход не только работает но и крайне эффективен.