ОЦЕНКА ПОТРЕБНОСТЕЙ В GPU ДЛЯ AGI МАСШТАБА МОЗГА

Определение того, на сколько GPU может приблизиться к вычислительной мощности человеческого мозга, связано с серьёзными техническими, теоретическими и архитектурными сложностями. Современные системы на базе GPU фундаментально отличаются от биологических нейронных сетей, поэтому любые разговоры о «GPU-эквивалентах» стоит воспринимать как приблизительные. Ниже приводится анализ и синтез ключевых идей и имеющихся неопределённостей.

1. ВЫЧИСЛИТЕЛЬНЫЕ ПОТРЕБНОСТИ ЧЕЛОВЕЧЕСКОГО МОЗГА

Часто указывается, что человеческий мозг совершает порядка 10¹⁴ синаптических спайков в секунду, потребляя лишь около 20 ватт энергии. Однако это число может варьироваться (некоторые оценки доходят до 10¹⁵ спайков/с). Перевод этих спайков в FLOP/s на GPU сталкивается с двумя основными сложностями:

• Разреженность против плотности. Биологическая нейронная активность высокоразрежена, и в каждый момент времени срабатывает лишь часть синапсов. GPU отлично работают с плотными операциями над матрицами, что вносит избыточные затраты при моделировании разреженных, событийно-ориентированных вычислений. В результате для достижения работы в реальном времени на уровне масштабов мозга может потребоваться порядка 10¹⁷ FLOP/s или даже больше — хотя это во многом зависит от того, как именно моделируются операции нейронов и синапсов.

• Архитектурное несоответствие. GPU на базе фон Неймана не оптимизированы под динамические вычисления на базе спайков. По ранним оценкам, для моделирования синаптической активности мозга (при благоприятных предпосылках) может потребоваться около 100 современных высокопроизводительных GPU (например, RTX 4090) только для обработки синаптических обновлений. На практике ещё более критичными, чем вычислительные ресурсы, часто оказываются пропускная способность памяти и пропускная способность сетевых соединений.

2. ПРОБЛЕМЫ МАСШТАБИРОВАНИЯ ПРИ ИСПОЛЬЗОВАНИИ СУЩЕСТВУЮЩИХ GPU

• Энергоэффективность. Мозг со своими ~20 ватт значительно превосходит по эффективности современные кластеры GPU. Обучение крупной модели вроде GPT-4 (и тем более GPT-5) может потребовать энергии, сопоставимой с десятками лет работы человеческого мозга. Масштабирование до уровня задач AGI только усилит требования к энергопотреблению, особенно если мы пытаемся использовать методы «в лоб».

• Алгоритмические ограничения. Многие современные AI-системы (например, крупные языковые модели) всё ещё во многом полагаются на большое количество параметров и огромные датасеты. Достижение человеческой гибкости в рассуждениях и многомодальном восприятии остаётся сложной задачей. GPU, хоть и обладают высокой производительностью, в первую очередь созданы для линейной алгебры и не обеспечивают динамическую сложность биологического мышления «из коробки». При этом, стоит отметить, что мы не обучаем детей, будущих ученых, на петабайтах данных - достаточно учебников и хороших преподавателей (DeepSeek? :).

3. АЛЬТЕРНАТИВНЫЕ ПОДХОДЫ ДЛЯ СНИЖЕНИЯ ЗАВИСИМОСТИ ОТ GPU

• Нейроморфное оборудование. Исследовательские чипы, такие как Intel Loihi или IBM TrueNorth, пытаются напрямую воспроизводить функциональность нейронов или синапсов, обещая значительные выгоды в плане энергопотребления и вычислительной эффективности. Однако эти платформы пока находятся на экспериментальной стадии, и реализация AI общего назначения на них ещё далека от завершения.

• Гибридные архитектуры. Сочетание символических методов (для явной логики) с нейронными сетями для распознавания паттернов может сократить вычислительные требования. Подходы вроде «малых моделей с высокой внутренней сложностью», разрабатываемые в Китае, или различные когнитивные архитектуры позволяют комбинировать специализированные модули, избегая «лобового» наращивания размеров сетей.

• Когнитивные архитектуры, вдохновлённые мозгом. Проекты, подобные Whole Brain Architecture (WBA), предлагают разделять интеллект на функциональные модули по аналогии со структурами мозга. Такой модульный подход позволяет оптимизировать ресурсы, используя специализированное оборудование или алгоритмы только там, где это наиболее необходимо.

4. ОЦЕНКИ И НЕОПРЕДЁЛЕННОСТИ

• Консервативные прогнозы. Если для AGI потребуется полностью воссоздать масштаб спайковой активности мозга, даже 100–1 000 современных высокопроизводительных GPU могут оказаться недостаточными для по-настоящему «общего» интеллекта. Эта величина, возможно, позволит выполнять более узкие задачи или лишь частичные симуляции мозга при определённых допущениях, но перед нами остаются масштабные проблемы с вычислительной мощностью, объёмом памяти и энергопотреблением.

• Возможные прорывы. Не исключено, что кардинально новые методы — квантово-вдохновлённые вычисления, нейроморфные устройства, более эффективные алгоритмы обучения (например, in-context learning) — могут резко снизить требования к аппаратной части. Хотя пока это скорее гипотезы, их нельзя списывать со счетов, учитывая стремительные темпы развития AI и аппаратных решений.

5. ОСНОВНЫЕ ВЫВОДЫ

• Краткосрочная перспектива. Попытка «лобовой» симуляции мозга на текущих GPU-архитектурах в реальном времени потенциально требует тысяч (а то и миллионов) устройств, особенно если учитывать ограничения по памяти и издержки событийно-ориентированной динамики.

• Долгосрочная перспектива. Достижение AGI, вероятно, потребует такого оборудования, которое копирует базовые принципы работы мозга (например, спайковые вычисления, событийно-ориентированные архитектуры и сверхвысокую энергоэффективность). Нейроморфные решения, гибридные символико-нейронные подходы или совершенно новые парадигмы вычислений могут оказаться более перспективными, чем дальнейшее «просто» масштабирование GPU.

ЗАКЛЮЧЕНИЕ

Хотя приблизительные оценки в FLOP/s позволяют представить колоссальный разрыв между биологическими системами и современными цифровыми, они остаются неточными ориентировками. Эффективность и архитектурная сложность человеческого мозга наглядно демонстрируют, что прямое воспроизведение когнитивных процессов на GPU, заточенных под плотные арифметические операции, сталкивается с серьёзными ограничениями. Тысячи GPU могут быть задействованы для симуляции отдельных аспектов мозговой активности, но для полноценного AGI по-прежнему требуются прорывы и в алгоритмах, и в аппаратной части. Вероятно, именно нейроморфные технологии и гибридные архитектуры, максимально приближённые к энергетической эффективности, гибкости и параллелизму нервной системы, станут наиболее многообещающим направлением в будущем.

p.s. Изначально статья создавалась на английском языке, поэтому, это в некотором смысле перевод моей собственной статьи с английского.