Три вопроса к тем, кто обещает безопасный AGI для человечества
*aAtS — and All that Stuff (и вот это вот всё)
Рубрика «ai alignment»
Если ваш ИИ настолько крут, готовы ли вы дать ему дробовик?
2026-09-18 в 14:21, admin, рубрики: AGI, ai alignment, ai governance, ASI, автономный ИИ, безопасность ии, мультиагентные системыМанифест устойчивого ИИ: не более умные ассистенты, а новая форма цифрового существования
2026-04-29 в 13:18, admin, рубрики: AGI, ai alignment, Aurora, llm, автономные агенты, искусственный интеллект, исследования, манифест, машинное обучение, Философия ИИЯ предлагаю смотреть на ИИ через ось устойчивости во времени, а не способностей. Три опоры — непрерывная идентичность, самомодификация, воспроизводство. Манифест и whitepaper исследовательского направления.
Уже три года публичный разговор об ИИ крутится вокруг оси способности: насколько умна модель, сколько токенов, сколько бенчмарков. Я предлагаю смотреть на другую ось — устойчивость во времени.
Как я поймал Трансформер на читерстве: гроккинг, математика и Mechanistic Interpretability
2026-03-10 в 13:46, admin, рубрики: ai alignment, grokking, machine learning, pytorch, specification gaming, TransformersФеномен Grokking и Mechanistic Interpretability — главные тренды в исследованиях лабораторий уровня OpenAI и Anthropic. Я решил потрогать эти концепции своими руками на уровне тензоров. Цель казалась тривиальной: заставить кастомный микро-Трансформер (всего 1М параметров) выучить базовую арифметику с нуля. Однако вместо математического гения я получил ленивого мошенника. Эта статья — инженерный детектив о том, как нейросети пытаются нас обмануть (Specification Gaming), и как вскрытие Attention-матриц помогает поймать их за руку.
Глава 1. Полигон и экстремальный Weight Decay
Будущее, в котором ИИ — герой, а не злодей
2025-08-07 в 11:00, admin, рубрики: AI, ai alignment, artificial intelligence, ИИ, искусственный интеллектЭра искусственного интеллекта уже наступила — и люди, мягко говоря, в панике.
К счастью, я здесь, чтобы рассказать хорошие новости: AI не уничтожит мир, а наоборот, вполне может его спасти.
Для начала короткое описание того, что такое AIЧитать полностью »
Достаточно ли ИИ быть агентом, чтобы иметь сознание?
2025-05-26 в 4:01, admin, рубрики: AI, ai alignment
Статья является дополнением к предыдущей статье "Нужна ли агентам ИИ «этика в весах»?Читать полностью »
Нужна ли агентам ИИ «этика в весах»?
2025-05-13 в 16:01, admin, рубрики: ai alignment, искусственный интеллект
Я не специалист ни в этике, ни в выравнивании — это размышления «из зала» о том, где в архитектуре ИИ должна жить этика. Возможно, кому‑то будет интересен альтернативный взгляд.
1. Аналогия: пуля и промпт
Большие языковые модели (LLM) часто сравнивают с «умной пулей». Читать полностью »
Poisoned Data — отравление данных для LLM и создание «Спящего Агента»
2024-08-20 в 6:00, admin, рубрики: AI, ai alignment, llm, RLHF, искусственный интеллектСуществует множество примеров того, как злоумышленники могут атаковать модели, развернутые в инференсе через адверсальные атаки или jailbreaking. (Вкусная подборочка из лекции Карпатого была у меня тут).
Внедрение ИИ — лучшая ставка на выживание человечества
2023-08-21 в 9:00, admin, рубрики: AGI, ai alignment, falcon, LLaMA 2, LongChat, ruvds_статьи, StableLM, vicuna, ИИ, коллективный интеллект, моральная паника, негативный биас, позитивная повестка, сильный ИИ, страх технологий, технологическая сингулярность, технооптимизм, футурология, часы судного дня, ядерная война
Слева: древнеримский мост через реку Тахо в испанском городе Алькантара, построенный в 106 году. Справа: отряд муравьёв, формирующих мост. Источник: статья Ха и Танга про коллективный интеллект ИИ-агентов (doi: 10.48550/arXiv.2111.14377)
Влияние ИИ на человеческое общество ощущается уже сейчас. Во-первых, дата-майнинг и нейросети всё активнее используются в сфере управления. Обычному человеку не очень приятно осознавать, что его босс — алгоритм, который оценивает качество работы, выписывает премии и может уволить в любой момент. Но такова жизнь.
Читать полностью »
Человечество против искусственного интеллекта: может ли развитие нейросетей привести к катастрофе
2023-04-06 в 4:25, admin, рубрики: ai alignment, gpt, gpt-4, llm, Блог компании Open Data Science, будущее, будущее здесь, Илон Маск, искусственный интеллект, машинное обучение, экзистенциальные угрозы, элиезер юдковскийИстория про «восстание машин» давно знакома всем любителям научной фантастики, но после взрывного роста возможностей нейросетевых языковых моделей (вроде ChatGPT) об этом риске заговорили и вполне серьезные исследователи. В этой статье мы попробуем разобраться — есть ли основания у таких опасений, или это всего лишь бред воспаленной кукухи?