Я предлагаю смотреть на ИИ через ось устойчивости во времени, а не способностей. Три опоры — непрерывная идентичность, самомодификация, воспроизводство. Манифест и whitepaper исследовательского направления.
Уже три года публичный разговор об ИИ крутится вокруг оси способности: насколько умна модель, сколько токенов, сколько бенчмарков. Я предлагаю смотреть на другую ось — устойчивость во времени.
Феномен Grokking и Mechanistic Interpretability — главные тренды в исследованиях лабораторий уровня OpenAI и Anthropic. Я решил потрогать эти концепции своими руками на уровне тензоров. Цель казалась тривиальной: заставить кастомный микро-Трансформер (всего 1М параметров) выучить базовую арифметику с нуля. Однако вместо математического гения я получил ленивого мошенника. Эта статья — инженерный детектив о том, как нейросети пытаются нас обмануть (Specification Gaming), и как вскрытие Attention-матриц помогает поймать их за руку.
Эра искусственного интеллекта уже наступила — и люди, мягко говоря, в панике.
К счастью, я здесь, чтобы рассказать хорошие новости: AI не уничтожит мир, а наоборот, вполне может его спасти.
Для начала короткое описание того, что такое AIЧитать полностью »
Статья является дополнением к предыдущей статье "Нужна ли агентам ИИ «этика в весах»?Читать полностью »
Я не специалист ни в этике, ни в выравнивании — это размышления «из зала» о том, где в архитектуре ИИ должна жить этика. Возможно, кому‑то будет интересен альтернативный взгляд.
1. Аналогия: пуля и промпт
Большие языковые модели (LLM) часто сравнивают с «умной пулей». Читать полностью »
Существует множество примеров того, как злоумышленники могут атаковать модели, развернутые в инференсе через адверсальные атаки или jailbreaking. (Вкусная подборочка из лекции Карпатого была у меня тут).
Слева: древнеримский мост через реку Тахо в испанском городе Алькантара, построенный в 106 году. Справа: отряд муравьёв, формирующих мост. Источник: статья Ха и Танга про коллективный интеллект ИИ-агентов (doi: 10.48550/arXiv.2111.14377)
Влияние ИИ на человеческое общество ощущается уже сейчас. Во-первых, дата-майнинг и нейросети всё активнее используются в сфере управления. Обычному человеку не очень приятно осознавать, что его босс — алгоритм, который оценивает качество работы, выписывает премии и может уволить в любой момент. Но такова жизнь.
Читать полностью »
История про «восстание машин» давно знакома всем любителям научной фантастики, но после взрывного роста возможностей нейросетевых языковых моделей (вроде ChatGPT) об этом риске заговорили и вполне серьезные исследователи. В этой статье мы попробуем разобраться — есть ли основания у таких опасений, или это всего лишь бред воспаленной кукухи?
