ИИ-дилемма: рост против риска для человечества. Разбираем этически неоднозначную статью экономиста Чарльза Джонса

2026-09-21 в 1:26, admin, рубрики: ИИ, продолжительность жизни, риски, Сингулярность, экономика, экономическая модель, экономический рост

Публикуется полный перевод статьи The AI Dilemma: Growth versus Existential Risk, опубликованной в 2024 году за авторством Чарльза Джонса (Charles I. Jones).

Эта статья ставит непростой этический вопрос: можем ли мы обменять ускоренный экономический рост и (возможное) увеличение продолжительности жизни, которое нам сулит повсеместное внедрение ИИ и рост самого ИИ до (предполагаемого) суперинтеллекта, на риски, связанные с полным уничтожением человечества как вида? В статье предлагается математическая модель, включающая параметры ускорения экономического роста, увеличения продолжительности жизни и риск уничтожения человечества сверхсильным ИИ. Этически неоднозначной статью делает утверждение, что существует и может быть теоретически оценен уровень риска для человечества, который "допускается принять" в обмен на ускорение экономического роста и увеличение средней продолжительности жизни...

Кроме того, текст и формулы снабжены комментариями @avshkol для помощи в понимании формул и части сложных мест работы, а также критическими комментариями @avshkol там, где предположения и выводы, сделанные в модели, заслуживают критики или иного взгляда (см. заключительный комментарий).

The AI Dilemma: Growth versus Existential Risk^*

By Charles I. Jones**

* По ссылке https://doi.org/10.1257/aeri.20230570 можно ознакомиться со страницей статьи для получения дополнительных материалов и заявления о раскрытии авторства

** Стэнфордский университет и NBER (электронная почта: chad.jones@stanford.edu). Габриэль Ходоров-Рейх был соредактором этой статьи.

Благодарности

Я благодарен Жан-Феликсу Бруйетту, Тому Дэвидсону, Себастьяну Ди Телле, Майе Иден, Джошуа Гансу, Тому Хоулдену, Питу Кленоу, Антону Коринеку, Кевину Куруку, Паскуалю Рестрепо, Шарлотте Зигманн, Крису Тонетти, Филу Траммеллу, а также участникам семинаров в Markus Academy, Федеральном резервном банке Миннеаполиса, конференции NBER по ИИ, Оксфорде, PSE Macro Days 2023, Стэнфорде и USC за полезные комментарии и обсуждения.

Классификация JEL

D11 Экономика потребителя: теория
D81 Критерии принятия решений в условиях риска и неопределённости
H43 Оценка проектов; социальная ставка дисконтирования
I31 Общее благосостояние; благополучие
O31 Инновации и изобретения: процессы и стимулы

ИИ-дилемма: рост против риска для человечества

Достижения в области искусственного интеллекта (ИИ) — это палка о двух концах. С одной стороны, они могут ускорить экономический рост, поскольку ИИ расширяет наши инновационные возможности. С другой стороны, многие эксперты опасаются, что эти достижения таят в себе экзистенциальную угрозу: создание сверхразума, не согласованного с человеческими ценностями, может привести к катастрофическим последствиям и, возможно, даже к вымиранию человечества. В данной статье рассматривается оптимальный уровень использования технологий ИИ в условиях реализации подобных возможностей и рисков. При каких условиях нам следует продолжать стремительное развитие ИИ, и при каких следует остановить его?

Недавние достижения в области искусственного интеллекта, вероятно, повысят уровень жизни в ближайшие годы. Сворачивание белков, распознавание речи и поразительные успехи генеративных моделей в создании текста и изображений в последние годы превзошли все ожидания (Bubeck et al. 2023). Вполне вероятно, что в ближайшей перспективе ИИ расширит наши способности к инновациям, и, безусловно, может статься, что ИИ сравняется или даже превзойдёт человеческий интеллект во многих когнитивных задачах и даже начнет самостоятельно производить инновации. Как только машины смогут генерировать идеи, то ограничения роста, определяемые количеством и качеством исследователей-людей, могут перестать действовать. Темпы роста могут ускориться настолько, что потенциально приведут к так называемой «сингулярности» с бесконечным потреблением. Модели в этом направлении исследовались в работах Aghion, B. Jones и C. Jones (2019); Trammell и Korinek (2020); Davidson (2021); Nordhaus (2021); а также Erdil и Besiroglu (2023).

С другой стороны, эти достижения сопряжены с риском. Значительная часть ИИ-сообщества, включая ведущих исследователей из OpenAI и Google, предупреждает, что эти достижения могут представлять экзистенциальную угрозу для человечества: либо из-за злонамеренного использования ИИ «плохим актором», либо, возможно, даже со стороны самого сверхразумного ИИ.

Проще говоря, ИИ может повысить уровень жизни сильнее, чем электричество или интернет. Но он может создать риски, превышающие риски от ядерного оружия. Более того, эти возможности, насколько бы вероятными или невероятными они ни были, взаимосвязаны. Именно то состояние мира, в котором ИИ достаточно силен, чтобы обеспечить беспрецедентный рост уровня жизни, представляется наиболее вероятным источником экзистенциального риска. В данной статье рассматривается оптимальное использование ИИ в условиях этого двойственного эффекта. При каких условиях нам следует продолжать стремительное развитие ИИ, а при каких — остановить?

Цель статьи не в том, чтобы дать точный ответ на этот вопрос, поскольку ответ, безусловно, будет зависеть от параметров, которые мы не можем точно измерить. Вместо этого в статье предлагаются разработанные автором простые модели для прояснения задействованных в этом процессе экономических сил.

В результате даётся несколько важных выводов:

Крайне важна кривизна функции полезности. При логарифмической функции полезности модели проявляют поразительное равнодушие к экзистенциальному риску, что позволяет предположить следующее: огромные выигрыши в потреблении, которые может дать ИИ, стоят азартных игр с вероятностью вымирания один к трем.
Для CRRA-функции полезности с коэффициентом относительного избегания риска () равным двум или более, картина резко меняется. Эти функции полезности ограничены, а предельная полезность потребления быстро падает. Такие модели весьма консервативны в вопросе обмена выигрыша в потреблении на экзистенциальный риск.
Эти выводы распространяются и на сценарии сингулярности, в которых самосовершенствующийся ИИ генерирует ускоряющийся рост и бесконечное потребление. Если функция полезности ограничена, как в стандартных функциях полезности, которые мы часто используем в самых разных приложениях в экономике, то даже бесконечное потребление дает конечную полезность. Модели с остаются консервативными в отношении экзистенциального риска.
Важное исключение возникает, когда быстрые инновации, облегченные внедрением ИИ, увеличат ожидаемую продолжительность жизни. Этот выигрыш находится «в тех же единицах», что и экзистенциальный риск, в том смысле, что он не сталкивается с резко падающей предельной полезностью потребления. Даже при сильной ориентации на будущее, которая появляется из-за низкого коэффициента дисконтирования, снижение смертности благодаря ИИ может сделать приемлемыми огромные экзистенциальные риски.

В Разделе II разрабатывается простая модель для иллюстрации этих соотношений. Затем в Разделе III анализ расширяется за счет включения более развитой теории динамики, возможности наступления сингулярности и перспективы того, что ИИ-инновации увеличат ожидаемую продолжительность жизни.

Смежная литература

Серьезные опасения по поводу экзистенциального риска, связанного с ИИ, были подчеркнуты в работах Joy (2000); Bostrom (2002, 2014); Rees (2003); Posner (2004); Yudkowsky (2008); и Ord (2020). Эти опасения усилились по мере прогресса самого ИИ. Недавний обзор представлен в работе Ngo, Chan и Mindermann (2023).

Недавний сборник конференции по экономике ИИ (Agrawal, Gans и Goldfarb, 2019) освещает ряд потенциальных затрат и выгод. Brynjolfsson и McAfee (2014) подчеркивают огромные выгоды от ИИ, в то время как Brynjolfsson, Rock и Syverson (2021) отмечают, что первоначальный рост может замедлиться по мере внедрения организационных изменений, что схоже с внедрением электричества и информационных технологий. Acemoglu и Lensman (2024) показывают, что оптимальное внедрение трансформирующих технологий, связанных с большими затратами и выгодами, может быть отложено, если затраты в некоторой степени необратимы.

C. Jones (2016) рассматривает компромиссы между экономическими выгодами новых технологий и их потенциальными затратами с точки зрения потерянных жизней, например, из-за ядерного оружия, биологических угроз или рисков, связанных с передовой наукой. По мере того как мы богатеем, может стать оптимальным замедлить экономический рост или, по крайней мере, перенаправить инновации на спасение жизней. Настоящая статья отличается тем, что фокусируется непосредственно на ИИ и количественно оценивает эти компромиссы.

Aschenbrenner (2020), а также Aschenbrenner и Trammell (2024) фокусируются на экзистенциальном риске в целом, предполагая, что он растет по мере увеличения совокупного потребления и снижается благодаря усилиям по его смягчению. Они предполагают, что мы можем попасть в «опасные времена», если мы достаточно продвинуты, чтобы сталкиваться с высоким риском, но еще недостаточно богаты, чтобы достаточно тратить на его смягчение. Martin и Pindyck (2015, 2021) рассматривают катастрофы и то, как стоимость среднестатистической жизни может быть использована для оценки выгод от их предотвращения. Все эти работы, как и настоящая статья, опираются на исследования Rosen (1988); Murphy и Topel (2003a); Nordhaus (2003); и Hall и C. Jones (2007) в осмыслении того, как следует оценивать человеческие жизни.

I. Простая модель

Предположим, что достижения в области ИИ позволяют компьютерам дополнять и даже заменять людей в инновационной деятельности, что приводит к ускорению экономического роста до некоторого уровня , возможно, до 10 процентов в год. Однако, использование такого ИИ создает экзистенциальный риск для человечества. С одной стороны, использование передового ИИ в течение периодов повышает потребление на душу населения до $c=c_{0}e^{gT}$ , но в то же время вероятность того, что человечество выживет, составляет $S(T)=e^{- delta T}$ .

Комментарий от @avshkol: Как понимать формулы выше?

Как понимать формулу роста потребления на душу населения :

: начальный уровень потребления на душу населения (до внедрения мощного ИИ).
: темп экономического роста, который обеспечивает ИИ (в примере автора это может быть 10% или 0,1 в год).
: время (или «интенсивность»), в течение которого мы используем этот мощный ИИ. Автор называет это «количеством лет», но в упрощенной модели это скорее мера того, «насколько далеко» мы заходим в использовании технологии.
$e^{gT}$ : это стандартная формула расчета непрерывного сложного процента. Если экономика растет с постоянной скоростью , то через время размер экономики (и потребление) умножается на экспоненту от произведения скорости на время.

Итак, чем дольше () мы используем ИИ, тем богаче мы становимся. Потребление растет экспоненциально.

Вероятность выживания

(дельта): Мгновенная вероятность экзистенциального риска (катастрофы) в единицу времени. Например, если , это означает 1% риск гибели человечества каждый год использования ИИ.
то же самое время использования ИИ, что и в предыдущей формуле.
$e^{-delta T}$ : Эта формула происходит из теории пуассоновских процессов (экспоненциальное распределение времени до наступления события).

Почему именно такая формула, $e^{-delta T}$ ? Представим, что риск гибели — это случайное событие, которое может произойти в любой момент с постоянной интенсивностью . Тогда:

Вероятность не погибнуть за один маленький промежуток времени dt равна примерно .
За большой период вероятность выжить равна произведению вероятностей выживания за все маленькие промежутки. В пределе это дает экспоненту с минусом: $e^{-delta T}$ .

Итак:

Если (мы не используем ИИ), вероятность выживания (100%).
Чем больше времени мы используем ИИ, тем меньше вероятность выживания.
Если , вероятность выживания падает до .

Это означает, что риск накапливается со временем. Чем дольше мы играем с огнем (используем опасный ИИ), тем выше шанс, что «игра» закончится катастрофой.

Автор ставит перед обществом задачу оптимизации:

Выгода: Увеличить , чтобы получить как можно большее потребление $c=c_0 e^{gT}$ .
Цена: Увеличение снижает вероятность того, что кто-то вообще сможет насладиться этим потреблением, так как вероятность выживания $S(T)=e^{-delta T}$ при этом падает.

Цель модели, которую ставить автор — найти оптимальное значение , которое максимизирует ожидаемую полезность (expected utility):

Здесь U(c) — это функция получаемой субъективной полезности от объема потребления (например, логарифмическая).

Таким образом, вводимые формулы показывают своеобразный обмен: богатство против выживания. Экспоненциальному росту богатства противостоит экспоненциальное падение шансов на выживание.

Мы еще больше упростим модель, чтобы она стала по сути статической. Единственным решением будет выбрать интенсивность использования ИИ (хотя мы иногда будем вольно называть этот параметр «на сколько лет»). Весь рост и экзистенциальный риск в такой статической модели реализуются немедленно, а не с течением времени, и, если общество выживет, люди будут потреблять постоянный объем $c=c_{0}e^{gT}$ навсегда.

Общественное благосостояние для постоянного населения человек, получающих до конца жизни постоянный поток полезности , равно

$U=Nint_{0}^{infty}e^{-rho t}u(c)dt=frac{1}{rho} Nu(c)$ .

Комментарий от @avshkol: Как понимать формулу общественного благосостояния?

Эта формула описывает, как экономисты переводят ежегодное счастье (полезность) одного человека в общую ценность для общества за всё будущее время.

Давайте разберем её по частям:

$U=Nint_{0}^{infty}e^{-rho t}u(c)dt=frac{1}{rho} Nu(c)$

: количество людей в обществе (предполагается постоянное население).
: полезность (удовлетворение), которую получает один человек за один год от потребления уровня . Это «поток счастья» в единицу времени.
(читается как "ро"): ставка дисконтирования. Показывает, насколько мы ценим настоящее больше будущего. Если велико, нам всё равно, что будет через несколько лет, мы живем сегодняшним днем. Если мало, мы сильно заботимся о своем будущем и о будущих поколениях.
: Время, идущее от 0 до бесконечности .
$e^{-rho t}$ : Коэффициент дисконтирования. Он «уменьшает» вес будущего счастья, будущей полезности. Чем дальше момент времени , тем меньше вклад этого момента в общую сумму полезности.

Смысл интеграла в том, что он суммирует полезность за все будущие годы. Поскольку постоянно (потребление не меняется со временем в этой упрощенной модели), мы выносим его за знак интеграла.

Математически это стандартный интеграл от экспоненты:

$int_{0}^{infty} e^{-rho t} , dt=left[ -frac{1}{rho} e^{-rho t} right]_{0}^{infty}=0 - left( -frac{1}{rho} cdot 1 right)=frac{1}{rho}$

Экономический смысл результата $frac{1}{rho}$ таков: это мультипликатор бессрочного потока.

Если ставка дисконтирования (5% в год), то $frac{1}{rho}=20$ .
Это значит, что вечный поток полезности равен текущей годовой полезности, умноженной на 20.
Чем ниже ставка дисконтирования (чем больше мы ценим будущее свое и других поколений), тем больше этот множитель и тем выше общая ценность общества.

Итак, общее благосостояние общества равно:

Годовой полезности одного человека ,
Умноженной на количество людей ,
Умноженной на коэффициент капитализации вечного потока $frac{1}{rho}$ .

Другими словами, автор говорит: «Представьте, что если человечество выживет, оно будет жить вечно с одним и тем же уровнем богатства. Чтобы оценить ценность такого "рая", мы берем годовое счастье одного человека, умножаем на количество всех людей и затем умножаем на "вечный множитель" , который обратно зависит от того, насколько сильно мы обесцениваем будущее».

В контексте статьи эта формула нужна, чтобы сравнить два сценария:

Рисковать всем сейчас ради огромного роста потребления (что увеличит ).
Или сохранить текущий уровень, но избежать риска полного уничтожения (при котором станет равным 0).

Постоянные экзогенные темпы роста или сокращения населения лишь изменят ставку дисконтирования на ; следовательно, они уже неявно учтены.

Таким образом, задача сводится к статической проблеме выбора для максимизации ожидаемой полезности, где математическое ожидание берется с учетом экзистенциального риска:

$EU=S(T) cdot frac{1}{rho} Nu(c)=e^{-delta T} cdot frac{1}{rho} Nu(c_0 e^{gT})$ .

Комментарий от @avshkol: Как понимать формулу выше?

О корректировке ставки дисконтирования при росте населения

В базовой формуле благосостояния

$U=N int_{0}^{infty} e^{-rho t} u(c) dt$

предполагалось, что население постоянно. Однако в реальности население может расти или сокращаться.

Если население растет с темпом n (то есть $N_t=N_0 e^{nt}$ ), то под интегралом появляется множитель $e^{nt}$ .
При перемножении экспонент показатели складываются: $e^{-rho t} cdot e^{nt}=e^{-(rho - n)t}$ .

Экономический смысл: Рост населения работает как антидисконтирование. Даже если люди сильно обесценивают будущее и очень высоко ценят настоящее, здесь и сейчас (т.е. наблюдается высокое ), тот факт, что в будущем будет жить больше людей, увеличивает совокупную полезность будущих периодов. Эффективная ставка дисконтирования для общества становится ниже: $rho_{eff}=rho - n$ .

Автор отмечает, что этот параметр уже неявно учтен, поэтому в дальнейших выкладках можно продолжать использовать символ , понимая под ним эффективную общественную ставку дисконтирования.

Сведение к статической задаче:

Это одна из основных формул модели, она показывает, как оценивается решение об использовании ИИ в условиях неопределенности.

Структура формулы:

$EU=underbrace{S(T)}_{text{Вероятность выживания}} times underbrace{left( frac{1}{rho} N u(c) right)}_{text{Ценность мира при выживании}}$

где:

$S(T)=e^{-delta T}$ : Вероятность того, что человечество вообще доживет до момента потребления благ. Это «вес» успешного сценария.
$frac{1}{rho} N u(c)$ : Благосостояние общества в случае, если катастрофы не произошло. Как мы разобрали ранее, это капитализированная стоимость вечного потока полезности.
$c=c_0 e^{gT}$ : Уровень потребления, который зависит от выбранной интенсивности использования ИИ ().

Почему задача стала статической? Вместо того чтобы моделировать каждый год по отдельности (где в каждом году есть риск гибели и поток потребления), автор «схлопывает» всю бесконечную временную линию в одну точку выбора:

Мы выбираем параметр (интенсивность/длительность использования ИИ) один раз.
Этот выбор мгновенно определяет два исхода: уровень богатства и вероятность выживания .
Ожидаемая полезность () — это просто произведение вероятности успеха на ценность успеха.

Суть оптимизации в том, что максимизация по означает поиск баланса между риском гибели и уровнем благосостояния в случае успеха. УвеличениеT:

Увеличивает второй множитель $frac{1}{rho} N u(c)$ за счет роста .
Уменьшает первый множитель за счет накопления риска.

Оптимальное находится там, где предельная выгода от дополнительного роста потребления в точности компенсируется предельным увеличением риска уничтожения всего этого будущего благосостояния.

Заметим, что и просто масштабируют общественное благосостояние вверх или вниз, но выпадут из условия первого порядка. Каждый из человек выигрывает от более высокого роста, и каждый несет потери, если мир рухнет. А приведенная стоимость бесконечного будущего просто пропорциональна ежегодному потоку через коэффициент .

Из условия первого порядка следует, что оптимально использовать ИИ до тех пор, пока

$delta cdot frac{N}{rho} v(c)leq gcdot frac{N}{rho}$ ,

(Потерянные жизни Дополнительный рост)

где $v(c)equiv frac{u(c)}{u'(c)c}$ .

Если мы позволим ИИ работать еще один период, затраты будут представлять собой вероятность наступления конца света , что означает потерю на человека, масштабированную на для учета количества населения и приведенной стоимости; мы делим на , чтобы перевести полезность в единицы потребления, и рассматриваем отношение к , потому что компромисс заключается в более высоком темпе роста, который сам по себе является процентом от величины потребления. Таким образом, стоимость потерянного года жизни равна

Комментарий от @avshkol: Как понимать формулы выше?

Этот фрагмент описывает условие первого порядка (First-Order Condition) для оптимизации. Это способ найти точку равновесия, в которой выгода от еще одного шага в увеличении использования ИИ в точности равна риску этого шага.

Разберем формулу и логику автора.

Условие оптимума

$delta cdot frac{N}{rho} v(c) le g cdot frac{N}{rho}$

Здесь сравниваются Предельные издержки (слева) и Предельные выгоды (справа).

$frac{N}{rho}$ : Этот множитель есть и слева, и справа. Он отражает масштаб общества и его характеристику в отношении оценки будущего: — количество людей, а — коэффициент капитализации будущего потока ценности (насколько мы ценим будущее). Поскольку этот множитель одинаков с обеих сторон, его можно сократить.
(дельта): Вероятность того, что использование ИИ приведет к концу света прямо сейчас.
: Темп роста потребления, который мы получаем за этот период.

Если сократить $frac{N}{rho}$ , условие упрощается до:

Это соотношение можно прочитать так:

Мы должны использовать ИИ дальше, только если дополнительный темп роста экономики превышает ожидаемые потери от риска гибели .

Что такое v(c)?

Автор вводит специальную величину: $v(c) equiv frac{u(c)}{u'(c) c}$

Это можно трактовать как «Стоимость года жизни в единицах потребления». Давайте разберём, как она получается:

: Полезность (счастье) от текущего уровня потребления. Это то, что мы теряем, если прекращаем потребление (в результате гибели от действий ИИ в данной модели).
: Предельная полезность. Она показывает, насколько сильно растет счастье, удовольствие от потребления при росте потребления на одну единицу.
Деление : Переводит «единицы счастья» обратно в «единицы денег/потребления», поскольку единицы полезности сокращаются. Это стандартный прием в экономическом анализе: чтобы сравнить разные блага, их приводят к общей денежной мере.
Деление на : Нормирует эту стоимость относительно текущего уровня потребления.

Величина отвечает на вопрос: «Сколько годовых расходов (в процентах от текущего дохода) человек готов отдать, чтобы прожить еще один год?» В данной работе приводится пример, что в США эта величина составляет около 6. То есть год жизни оценивается в среднем примерно в 6 годовых бюджетов человека.

Выгода от более интенсивного использования ИИ — это дополнительный период роста потребления со скоростью , масштабированный на . Оптимальный выбор интенсивности использования ИИ уравновешивает эти затраты и выгоды.

Сокращая члены, переписывая и предполагая внутреннее решение, оптимальный выбор таков, что $c^*=c_0 e^{gT^*}$ удовлетворяет условию:

(1) $v(c^*)=frac{g}{delta}$ .

Левая часть этого уравнения, , представляет собой стоимость года жизни в единицах потребления как отношение к потреблению на душу населения. Например, в сегодняшних США типичная стоимость года жизни составляет около 250 000 долларов, что выводится из «стоимости статистической жизни (value of a statistical life, VSL)» около 10 миллионов долларов для 40-летнего человека, который может прожить еще 40 лет. Поскольку потребление на душу населения составляет около 40 000 долларов, эта стоимость жизни подразумевает $v(c_{us,today}) approx 6$ . То есть год жизни стоит в шесть раз больше, чем потребление на душу населения (Hall, C. Jones и Klenow 2020). Точное значение может быть на 25 процентов выше или ниже в зависимости от допущений; нет никакой критичной зависимости от точного значения.

Комментарий от @avshkol: Как понимать формулы выше?

Логика «Затраты-Выгоды»

Автор объясняет, что оптимальный выбор интенсивности использования ИИ () находится в точке, где предельная выгода равна предельным издержкам.

Выгода (правая часть неравенства) предстваляет собой дополнительный рост потребления , умноженный на масштаб общества. Другими словами, это то, насколько богаче станет человечество за счет ускорения экономики.

Затраты (левая часть неравенства) $delta cdot frac{N}{rho} v(c)$ . Это вероятность катастрофы , умноженная на ценность всего будущего благосостояния, которое мы рискуем потерять.

Когда мы сокращаем общие множители $frac{N}{rho}$ , мы получаем чистое условие баланса риска и роста.

Условие оптимума

$v(c^*)=frac{g}{delta}$

Это ключевое уравнение модели. Оно говорит нам, до какого уровня богатства нам стоит расти, используя ИИ.

$frac{g}{delta}$ : Автор называет это «коэффициентом выгоды и затрат ИИ».

Например, если рост (или 0,1), а риск (или 0,01), то коэффициент равен 10. Это значит, что на каждый процент риска гибели мы требуем 10 процентов дополнительного роста экономики.
: Это «стоимость года жизни» при достигнутом уровне потребления. Мы должны использовать ИИ до тех пор, пока ценность нашей жизни не сравняется с этим коэффициентом.

Как считается стоимость года жизни:

VSL (Стоимость статистической жизни): Экономисты оценивают жизнь человека примерно в $10 млн. Это сумма, которую общество готово заплатить (или которую люди требуют в виде надбавки к зарплате за опасную работу), чтобы снизить риск смерти.
Оставшаяся продолжительность жизни: Для 40-летнего человека это примерно 40 лет.
Стоимость одного года: $10 000 000 / 40 лет = $250 000 в год.
Годовое потребление на душу населения в США составляет около $40,000.
Отношение стоимости года жизни к годовому потреблению: v(c)=250,000 / 40,000 =6.25 ≈ 6.

Экономический смысл числа 6: мы получаем соотношение, что год жизни стоит в 6 раз больше, чем все товары и услуги, которые средний человек потребляет за этот год. Это показывает, насколько для нас ценно само существование по сравнению с материальными благами.

Резюмируя:

Уравнение говорит буквально следующее:

Мы должны развивать ИИ до тех пор, пока наша жизнь не станет настолько дорогой (в пересчете на единицы потребления), что риск её потерять перевесит выгоду от дальнейшего обогащения.

Если текущая стоимость года жизни равна 6, а коэффициент равен, к примеру, 10, то нам выгодно рисковать и расти дальше, пока не вырастет с 6 до 10.

A. Функция полезности CRRA

Уравнение (1) неявно определяет оптимальный уровень потребления . Мы выбираем такое количество времени , в течение которого будет работать ИИ, пока стоимость жизни не сравняется с , что я рассматриваю как соотношение «выгоды и затрат ИИ», или сокращенно AIBC (AI benefit-cost).

Для дальнейшего решения предположим функциональную форму CRRA для полезности:

$u(c)=begin{cases} bar{u} + frac{c^{1-gamma}}{1-gamma}, & text{если } gamma neq 1 \ bar{u} + log c, & text{если } gamma=1. end{cases}$

При полезности CRRA стоимость жизни равна

(2) $quad v(c) equiv frac{u(c)}{u'(c)c}=begin{cases} bar{u} c^{gamma-1} + frac{1}{1-gamma}, & text{если } gamma neq 1 \ bar{u} + log c, & text{если } gamma=1. end{cases}$

Мы сосредоточимся на случаях и (логарифмическая полезность), как на наиболее релевантных. Значительная часть источников в макроэкономике фокусируется на этих случаях (Kimball et al. 2024). Также будет легко понять, что произойдет, если .

Заметим, что стоимость жизни растет с потреблением при . Чтобы понять это интуитивно, рассмотрим Рис. 1 и отметим, что полезность ограничена при . В этом случае предельная полезность потребления быстро падает, и величина полезности никогда не может быть больше величины .

Рисунок 1. Ограниченная потоковая полезность при

Примечание: при полезность CRRA является ограниченной, и верхняя граница задаётся параметром .

На Рис. 1 также видно, почему параметр важен. При постановке задачи мы нормализовали полезность в состоянии смерти до нуля; это свободная нормализация, и мы могли бы выбрать любое другое значение. Однако, поскольку смерть равна нулю, жизнь должна давать положительную полезность, чтобы ей отдавали предпочтение. При член $c^{1-gamma}/(1-gamma)$ меньше нуля. Другими словами, если мы ничего не сделаем, например, не добавим константу , жизнь не получит предпочтения перед смертью.

Комментарий от @avshkol: Подробнее о CRRA в контексте подраздела A.

Концепция CRRA (Constant Relative Risk Aversion, Постоянное относительное неприятие риска) требует объяснения.

CRRA представляет собой стандартный способ математически описать, как удовлетворенность человека (полезность, ) меняется с ростом его потребления или богатства (), но с учетом отношения к риску. Главная идея CRRA: чем больше у вас уже есть, тем меньше дополнительной радости приносит каждая следующая единица потребления (убывающая предельная полезность). Но при изменении вашего уровня богатства (дохода), ваше относительное отношение к риску остается неизменным. Это означает, что если вы готовы вложить 10% своего капитала в рискованные активы (например, акции), то вы сохраните эту пропорцию как при богатстве в $10 000, так и при богатстве в $1 000 000.

В формуле CRRA вся «магия» заключена в параметре , который показывает степень неприятия риска:

Если (логарифмическая полезность), то полезность растет как логарифм потребления . Потолка у полезности нет. В модели это означает, что люди готовы идти на огромные риски (например, 33% вероятность конца света ради колоссального роста потребления в 55 раз).
Если (высокое неприятие риска), то полезность ограничена сверху . Предельная полезность потребления падает очень быстро. Это значит, что после достижения определенного уровня благосостояния дополнительные триллионы долларов приносят всё меньше и меньше счастья, упираясь в невидимый «потолок».

Автор использует CRRA, чтобы показать, как оценка риска зависит от нашей функции полезности:

При модель получается оптимистичной и склонной к риску: стоит запустить мощный ИИ на 40 лет, чтобы получить огромный рост, даже если это несет существенный риск уничтожения человечества.
При модель становится консервативной. Поскольку полезность ограничена, даже гипотетическое «бесконечное потребление» (сингулярность) не даст бесконечной полезности. Поэтому рисковать существованием человечества ради такого роста математически неоправданно: дополнительные выгоды от роста слишком малы по сравнению с абсолютной потерей всего при конце света.

В тексте есть важный технический момент. В модели полезность смерти принята за ноль. Если, то математическое выражение

$frac{c^{1-gamma}}{1-gamma}$

всегда дает отрицательное число. Чтобы жизнь была предпочтительнее смерти (то есть чтобы общая полезность была больше нуля), нам необходимо добавить положительную константу . Простыми словами: — это базовая, фундаментальная ценность самого факта существования, которая гарантирует, что жизнь имеет положительную полезность, даже когда предельная полезность от денег стремится к нулю.

B. Количественный анализ

Коэффициент AIBC , очевидно, является критическим входным параметром для любого количественного анализа этой модели. Мы рассмотрим и по отдельности. Позволив ИИ работать еще один период, мы повысим потребление, например, на %. Это чрезвычайно быстрые темпы экономического роста, намного быстрее 2 процентов в год, которые наблюдались в США за последние 150 лет. В полуэндогенной модели роста достижение такого более высокого темпа роста потребовало бы увеличения темпа роста числа исследователей как минимум в пять раз (C. Jones 2022). Это стало бы потрясающим достижением, и некоторые наблюдатели считают, что этого возможно достичь с ИИ (Davidson 2021). Выбирая такое высокое значение, мы даем фору ИИ, предполагая, что ИИ невероятно полезен.

Какова мгновенная вероятность экзистенциального риска от этого действия? Эксперты расходятся во мнениях относительно данного риска в целом, но позвольте мне рассмотреть два возможных значения, чтобы проиллюстрировать некоторые важные моменты. Во-первых, возможно, экзистенциальный риск составляет 1 процент в год. Во-вторых, возможно, он в два раза выше и составляет 2 процента в год. Эти значения полностью выдуманы, но они иллюстративны, и подразумеваемые ими компромиссы станут ясны позднее. Модель в следующем разделе использует альтернативный подход, который позволяет избежать необходимости калибровать этот параметр. В первом случае коэффициент AIBC равен десяти, а во втором — пяти. В Таблице 1 показаны количественные результаты для различных значений параметров.

Таблица 1 — Потребление и экзистенциальный риск: простая модель

	%			%
		T^*	Экзистен-циальный риск			Экзистен-циальный риск
1	54.60	40.0	0.33	1	0	0
2	1.57	4.5	0.04	1	0	0
3	1.27	2.4	0.02	1	0	0

Примечания: В таблице представлены количественные результаты для оптимального выбора в простой модели при условии, что %, поэтому коэффициент соотношения выгод и затрат ИИ (AIBC) равен десяти в левой части и пяти в правой. Другие предполагаемые значения: и . Значение выбирается таким образом, чтобы соответствовать для каждого значения . В столбцах «Экзистенциальный риск» приводится значение $1 - e^{-delta T^*}$ , которое представляет собой общую вероятность экзистенциального риска.

Логарифмическая полезность. Как объяснялось ранее, $v(c_{us,today})=6$ . Если %, так что коэффициент AIBC равен десяти, то мы будем использовать ИИ такое количество лет, пока стоимость жизни не вырастет десятикратно, и потребление в шесть раз с его текущего значения. При логарифмической полезности (), возьмем из уравнения (2). В этом случае должна увеличиться на четыре единицы, а . Другими словами, при логарифмической полезности и % мы должны запускать ИИ до тех пор, пока потребление не увеличится в 55 раз!

Рост 10 процентов в год дает , то есть мы будем расти такими быстрыми темпами в течение 40 лет. Для сравнения, в США наблюдался примерно 18-кратный рост ВВП на душу населения с 1870 года. Современные стандарты жизни в США также примерно в 50 раз выше, чем в беднейших странах, которые, в свою очередь, не намного превышают уровень жизни, который большинство людей в мире имело до промышленной революции.

Какова цена этого немыслимого изменения уровня жизни? Вспомним, что мы будем сталкиваться с мгновенной вероятностью экзистенциального риска в 1 процент в год в течение 40 лет, так что вероятность того, что мы переживем этот взрыв ИИ, составляет . Другими словами, при логарифмической полезности оптимально пойти на риск вымирания человечества с вероятностью один к трем в обмен на шанс в две трети на беспрецедентное повышение уровня жизни в 55 раз.

Следующий интересный вывод, представленный в Таблице 1 — это то, что происходит при логарифмической полезности, если %, а не 1 процент. В этом случае заметим, что коэффициент AIBC равен пяти, а не десяти. Но поскольку $v(c_{us,today})=6$ , стоимость жизни в США сегодня уже слишком высока, чтобы риск ИИ был оправдан: $delta v(c_{us,today}) > g$ , так что оптимальный выбор . Наш диапазон неопределенности относительно природы экзистенциального риска наверняка включает как 1 процент, так и 2 процента. В первом случае мы запускаем ИИ на срок, эквивалентный 40 годам, и доходы вырастают в 55 раз, но во втором случае для нас будет оптимально немедленно отключить ИИ. Этот результат обобщен в нашем первом ключевом выводе.

КЛЮЧЕВОЙ ВЫВОД 1 (Логарифмическая полезность): Результаты с логарифмической полезностью очень чувствительны к величине экзистенциального риска ИИ. При % оптимально использовать ИИ в течение 40 лет, что сопряжено с вероятностью экзистенциального риска в одну треть и ошеломляющим 55-кратным ростом потребления. При % оптимальным будет немедленно его отключить.

Полезность CRRA при γ > 1. В логарифмическом случае не ограничена, и стоимость жизни растет медленно, пропорционально логарифму потребления. Когда , потоковая полезность ограничена, и стоимость жизни растет как степенная функция потребления, линейно с , когда ; подробнее об этом чуть позже. Наш второй главный вывод заключается в том, что оптимальное значение очень чувствительно к против . Чтобы увидеть это, вернемся к случаю %, чтобы коэффициент AIBC был равен десяти, и рассмотрим результаты в Таблице 1.

КЛЮЧЕВОЙ ВЫВОД 2 (CRRA > 1): При по-прежнему оптимально, чтобы выросла с начального значения шесть до нового значения десять. Однако, поскольку стоимость жизни растет быстрее с увеличением , это требует всего четырех с половиной лет роста, обеспечиваемого ИИ, а не 40 лет. Оптимальное потребление возрастает на 57 процентов, или в 1,57 раза, а не в 55 раз, а оптимальная вероятность экзистенциальной катастрофы составляет всего 4 процента. Переход к примерно вдвое сокращает эти значения.

Комментарий от @avshkol: Резюмируя количественный анализ в подразделе B.

Подраздел B переводит теоретическую модель в конкретные цифры, чтобы показать, как выбор функции полезности и оценка уровня угрозы меняют (иногда радикально!) оптимальную стратегию развития ИИ.

Автор задаёт достаточно амбициозные базовые параметры: ИИ обеспечивает взрывной экономический рост на 10% в год (), а вероятность экзистенциального риска (уничтожения человечества) оценивается в 1% или 2% в год. Текущая «ценность года жизни» принята равной 6 годовым объемам потребления.

Далее автор сравнивает два сценария поведения общества:

1. Сценарий «Игрока»: Логарифмическая полезность (γ=1)

В этом случае полезность не имеет потолка, и общество готово идти на огромные риски ради богатства.

Если риск 1% в год, то модель показывает, что оптимально использовать ИИ на протяжении 40 лет. За это время потребление вырастет фантастически — в 55 раз. Но «ценой» этого чуда станет 33% вероятность полного уничтожения человечества (так как риск накапливается за 40 лет).
Если риск 2% в год, то модель дает категоричный ответ — немедленно остановить ИИ (). Текущая ценность жизни уже слишком высока, чтобы оправдать даже этот чуть более высокий риск.

Главный вывод 1: При логарифмической полезности результаты гиперчувствительны к оценке риска. Разница между риском вымирания 1% и 2% — это выбор между колоссальным ростом с шансом на вымирание и полным отказом от технологии.

2. Сценарий «Консерватора»: CRRA-полезность (γ=2)

В этом случае полезность ограничена сверху (мы быстро «наедаемся» благами), поэтому дополнительные триллионы долларов не стоят риска потери всего.

Если риск 1% в год. Поскольку предельная полезность потребления падает очень быстро, нам не нужно гнаться за 55-кратным ростом. Оптимальная стратегия — использовать ИИ всего 4,5 года. Потребление вырастет на скромные 57% (в 1,57 раза), а вероятность экзистенциальной катастрофы составит лишь 4%.

Главный вывод 2: При модель становится крайне осторожной. Мы останавливаем «гонку вооружений» с ИИ гораздо раньше, чтобы не рисковать существованием человечества ради относительно небольшого (по сравнению с возможным и с сингулярностью, рассматриваемой ниже) улучшения уровня жизни.

Итак, согласно предложенной модели, наше отношение к риску создания ИИ зависит не только от самих технологий, но и от нашего отношения к риску (параметра ). Если мы по своей природе «логарифмические игроки» (), мы готовы поставить на кон выживание всего человечества (33% вероятность проигрыша и вымирания) ради 55-кратного роста благосостояния. Если же мы «осторожные потребители» (), мы предпочтем остановиться на малом (рост на 57%), чтобы свести риск глобальной катастрофы к относительно безопасным 4%.

C. Неоднородность и стоимость жизни

Чтобы лучше понять эти результаты, полезно рассмотреть стоимость года жизни, . Напомним, что это значение равно $v(c) equiv u(c)/[u'(c)c]=bar{u} c^{gamma-1} + 1/(1-gamma)$ , поэтому оно увеличивается с потреблением при . (В логарифмическом случае ). В сегодняшних США значение стоимости года жизни для среднего человека составляет около шести годовых потреблений.

Примечания: Стоимость одного года жизни определяется как

$v(c) equiv u(c)/[u'(c)c]=bar{u} c^{gamma-1} + frac{1}{1-gamma}$ .

Это ценность проживания одного года , конвертированная в единицы потребления путем деления на предельную полезность и выраженная как отношение к самому уровню потребления . Таким образом, эта величина имеет размерность «стоимости года жизни, измеренной как множитель индивидуального потребления».

В современных США эта стоимость для среднего человека равна шести; мы подбираем различные значения для разных значений , чтобы соблюсти это условие. На графике среднее текущее потребление в США нормализовано до единицы. Как указывал Розен (Rosen, 1988), есть причины, по которым не может быть меньше единицы: ведь вы, безусловно, были бы готовы отказаться от всего своего потребления… ради самой возможности потреблять.

На Рис. 2 это значение ценности года жизни показано в зависимости от потребления. На этом графике мы нормализуем единицы потребления так, чтобы $c_{us,today}=1$ . Ключевой момент графика — неоднородность стоимости жизни как функции от и как функции от параметра избегания риска .

Например, когда , стоимость жизни растет очень медленно, пропорционально логарифму потребления. Чтобы достичь , требуется существенное увеличение ; это и был тот самый 55-кратный рост, упомянутый в Ключевом выводе 1.

Напротив, когда , стоимость жизни растет линейно с потреблением. Поскольку в этом случае , чтобы выросла на четыре единицы с шести до десяти, требуется всего лишь 57-процентное увеличение .

Наконец, при более высоких значениях растет еще быстрее. Напомним, что это выглядит как $v(c) approx bar{u} c^{gamma-1}$ . Таким образом, если , стоимость жизни растет пропорционально квадрату потребления, а если , стоимость жизни растет пропорционально .

Следствием этого анализа является следующее: люди с разным уровнем потребления или с разными значениями будут совершенно по-разному относиться к использованию ИИ. Рассмотрим более низкие уровни потребления в Китае или в беднейших странах мира, или для людей с низким доходом в США. В этом случае предельная полезность потребления высока, и эти люди будут больше готовы пойти на азартную игру со своими жизнями, чтобы достичь гораздо более высоких стандартов жизни. То же самое будет верно и для людей с низкой степенью избегания риска, возможно, включая и предпринимателей в самих технологических стартапах, разрабатывающих ИИ. С другой стороны, люди, которые достаточно богаты или которые очень сильно избегают риска, будут гораздо менее склонны идти на такие азартные игры.

Комментарий от @avshkol: Резюмируя подраздел C.

Ценность года человеческой жизни для разных людей различна. Она сильно варьируется в зависимости от двух факторов: текущего уровня потребления человека и его степени неприятия риска .

При ценность жизни растет по мере роста потребления, но с разной скоростью:

При (логарифмическая полезность) ценность жизни растет очень медленно. Чтобы она существенно увеличилась, требуется колоссальный рост потребления (например, в 55 раз).
При и выше ценность жизни растет быстро (линейно или даже квадратично). Достаточно скромного роста потребления (всего на 57%), чтобы ценность жизни достигла того же критического порога.

Из всей этой математики следует важное наблюдение о том, как разные группы людей относятся к риску создания ИИ:

Люди с низким уровнем дохода (в бедных странах или наиболее бедные в развитых странах). Для них каждая дополнительная единица потребления имеет огромную ценность (высокая предельная полезность). Поэтому они с большей вероятностью согласятся на экзистенциальный риск ради шанса кардинально улучшить свой уровень жизни.

Технологические предприниматели. Часто обладают низкой степенью неприятия риска (низкий ), что также делает их более склонными к авантюрным решениям и ставке на быстрый рост.

Богатые люди и консерваторы. Уже имеют высокий уровень потребления и/или высокую степень неприятия риска. Для них дополнительные блага не стоят угрозы потери всего, поэтому они гораздо менее склонны поддерживать рискованные эксперименты с ИИ.

Итак, в части готовности рисковать существованием человечества ради прогресса ИИ общество неоднородно: бедные и склонные к риску люди с большей вероятностью поддержат такой «гамбит», в то время как богатые и осторожные люди предпочтут сохранить статус-кво. При этом богатство может быть относительно: любой, в целом довольный своим благосостоянием (например, имеющий дом и автомобиль и не желающий прикладывать сверхусилий, чтобы купить более дорогой дом и более дорогой автомобиль) скорее всего, будет придерживаться максимально консервативной стратегии.

D. Обсуждение

Сейчас самое время сделать паузу и обсудить некоторые допущения, лежащие в основе принятого здесь подхода. Например, рассмотрим вопрос о том, может ли предельная VSL (стоимость среднестатистической жизни) сказать нам что-то об экзистенциальном риске. Напомним, что VSL обычно измеряется с использованием компенсирующих разниц на рынке труда: насколько более высокую зарплату требует работник за то, чтобы быть строителем, сталкиваясь с высоким риском смертности, по сравнению с работой уборщиком? Это говорит нам о том, как индивид оценивает дополнительные 40 лет потока ценности , и мы можем использовать это, чтобы получить «год VSL», соответствующий стоимости одного года . В нашей простой модели это именно то, что нам нужно. Постоянное население человек получает постоянный поток каждый период жизни. Все люди сталкиваются с одним и тем же компромиссом между экзистенциальным риском и более высоким потреблением. Поскольку все люди идентичны, то, что обычный человек идет на компромисс между риском смертности и более высоким потреблением, говорит, что он информирован об этом компромиссе.

Одним из способов, которым VSL может завышать стоимость экзистенциального риска, является то, что у строителей есть семьи, которые могут пострадать, если строитель погибнет. Это уже учтено в VSL, но при экзистенциальном риске не останется никого, кто бы страдал. Этот аргумент предполагает использование более низких значений стоимости жизни для оценки экзистенциального риска, что подразумевает, что риск более приемлем.

Можно также возразить, что прекращение существования всей человеческой жизни на Земле не может быть должным образом измерено путем экстраполяции стоимости прекращения жизни одного человека. Подход, который мы неявно использовали до сих пор и который сделаем более явным в следующем разделе, — это тотальный утилитаризм, который просто суммирует пожизненные полезности всех людей, которые могут жить. Это суммирование подразумевает определенную линейность, которую стоит обсудить.

Во-первых, заметим, что этот подход тотального утилитаризма точно отражает логику того, что триллионы будущих людей могут не родиться, и что эта потеря была бы трагедией. Она оценивает триллионы людей именно так, как они сами ценили бы свою жизнь. Есть ли что-то помимо этого, что также должно быть включено? Возможно. Но суть в том, что базовая функция общественного благосостояния, на которую часто опираются экономисты и философы, — это именно логика тотального утилитаризма, поэтому полезно посмотреть, что она говорит.

Во-вторых, стоит отметить, что есть веские причины для простого «суммирования» пожизненных полезностей для получения общественного благосостояния. Фактически, существуют теоремы, обосновывающие эту линейность при слабых и кажущихся правдоподобными условиях; см. Kuruc, Budolfson и Spears (2022). Поэтому философы считают логику тотального утилитаризма фокальной и достойной внимания (Zuber et al. 2021).

Комментарий от @avshkol: Резюмируя подраздел D.

Здесь автор защищает ключевые допущения своей модели, в частности использование рыночной стоимости статистической жизни (VSL) и тотального утилитаризма для оценки экзистенциального риска.

В модели используется стандартная экономическая метрика VSL (например, насколько выше зарплата строителя по сравнению с уборщиком как компенсация за риск смерти). Важный нюанс: эта рыночная оценка может завышать реальный ущерб от экзистенциальной катастрофы. Обычная VSL включает в себя страдания и экономические потери оставшихся в живых родственников. Однако при полном уничтожении человечества выживать некому. Автор делает вывод, что «ценность жизни» в контексте конца света может быть даже ниже стандартной VSL, что парадоксальным образом делает принятие такого риска более оправданным с точки зрения модели.

Автор даёт свою точку зрения на возможный упрёк критиков, что нельзя просто экстраполировать ценность риска для одного человека на всё человечество (нельзя просто умножить индивидуальную трагедию на миллиарды). Ответ автора прямолинеен: модель сознательно использует тотальный утилитаристский подход, то есть простое суммирование полезности жизней всех людей, которые могут жить в будущем. Автор утверждает, что этот подход точно отражает масштаб трагедии: триллионы будущих людей просто не получат шанса прожить свою жизнь. Более того, такое линейное «суммирование» является стандартным и даже теоретически обоснованным базовым допущением во многих работах как в современной экономике, так и в философии.

Автор признает, что численная оценка концепции конца света сложна и неоднозначна, но доказывает, что использование стандартных экономических инструментов (VSL и суммирование полезности) не только корректно, но и дает консервативную, хорошо обоснованную базу для анализа. Более того, в этой логике учет того факта, что при всеобщем апокалипсисе «некому страдать в будущем», может делать глобальный риск от ИИ для всего человечества даже более приемлемым, чем кажется на первый взгляд.

II. Модель 2: Сингулярности и снижение смертности

Теперь мы рассмотрим более сложную модель, которая не требует точного указания вероятности экзистенциального риска. Интересные результаты возникают, когда мы учитываем: (i) сингулярность, в которой ИИ быстро приводит к бесконечному потреблению; (ii) возможность того, что ИИ может создать лекарства от болезней и снизить смертность в целом; и (iii) близкую к нулю социальную ставку дисконтирования, чтобы придать больший вес будущим поколениям.

A. Модель

Рассмотрим утилитаристское общественное благосостояние, как дисконтированную сумму пожизненных полезностей:

(3) $W=int_0^infty e^{-rho_s t} N_t U_t dt quad$

где:

— социальная ставка дисконтирования между поколениями,

$N_t=N_0 e^{bt}$ — количество людей, родившихся в момент времени (которое растет экзогенно со «скоростью рождаемости» ),

— ожидаемая пожизненная полезность индивида из когорты, родившейся в момент времени:

$U_t=int_0^infty e^{-(rho+m)a} u(c_{t+a}) da$ .

Параметр — это ставка, с которой индивиды дисконтируют собственные будущие потоки полезности. Каждый индивид сталкивается с постоянной мгновенной вероятностью идиосинкратической смертности, как показано в работе Blanchard (1985), и поэтому доживает до возраста с вероятностью $e^{-ma}$ . Наконец, потребление на душу населения одинаково для всех людей в данный момент времени и растет со скоростью : $c_{t+a}=c_0 e^{g(t+a)}=c_t e^{ga}$ . Все три параметра , и являются экзогенными и постоянными, причем . Как и ранее, предположим функцию полезности CRRA , так что

$u(c)=bar{u} + frac{c^{1-gamma}}{1 - gamma}$ ,

и будем придерживаться условия на протяжении всего этого раздела.

Подставив функцию полезности и постоянный экспоненциальный рост потребления, мы можем найти ожидаемую пожизненную полезность:

(4) $U_t=frac{bar{u}}{rho+ m} + frac{c_t^{1-gamma}}{1 - gamma} cdot frac{1}{rho+ m+ (gamma - 1)g} quad$

Наконец, мы можем подставить это выражение в функцию общественного благосостояния в (3), и в результате получить:

(5) $W(g, m)=frac{N_0 bar{u}}{(rho+ m)(rho_s - b)} + frac{N_0 c_0^{1-gamma}}{1 - gamma} cdot frac{1}{(rho+ m+ (gamma - 1)g)(rho_s - b+ (gamma - 1)g)} quad$

В отсутствие ИИ экономика демонстрирует постоянный темп роста, определяемый , и уровень смертности (нулевые индексы обозначают экономику в отсутствие ИИ, а не временные индексы). Внедрение ИИ приводит к более активному экономическому росту со скоростью $g_{ai}$ и, потенциально, к снижению смертности до уровня $m_{ai}$ . Однако ценой этого является однократный экзистенциальный риск, который реализуется немедленно при внедрении технологии ИИ: с вероятностью погибает каждый человек.

Некий социальный планировщик, максимизирующий ожидаемое общественное благосостояние, будет внедрять ИИ до тех пор, пока:

$W(g_0, m_0) < (1 - delta) W(g_{ai}, m_{ai})$

Таким образом, очевидно, что оптимально использовать ИИ, если экзистенциальный риск ниже критического значения , при котором предыдущее уравнение выполняется как равенство:

(6) $delta^*=frac{W(g_{ai}, m_{ai}) - W(g_0, m_0)}{W(g_{ai}, m_{ai})} quad$

То есть пороговое значение экзистенциального риска равно процентной разнице в общественном благосостоянии между двумя ситуациями.

Резюмируем: если фактический однократный экзистенциальный риск от ИИ, , меньше порогового значения , то оптимально использовать ИИ. Если однократный риск больше , то ИИ слишком опасен, и оптимально его не использовать. Решение в замкнутой форме для может быть получено путем подстановки соответствующих значений в (6), но формула получается громоздкой; мы изучим общие результаты численно, а аналитическое решение рассмотрим для частного случая(1).

(1) Перед тем как подставлять значения для решения относительно , полезно сделать еще одну подстановку в уравнение (4) для . В частности, вспомним, что

$v(c)=bar{u} c^{gamma-1} + frac{1}{1-gamma}$ .

Это выражение можно разрешить относительно и использовать для записи как функции от , которое мы наблюдаем, вместо .

Сингулярность. Когда , сингулярность, обеспечивающая бесконечное потребление, не приносит бесконечной полезности, поскольку потоковая полезность ограничена сверху значением . Это легко увидеть на предыдущем Рисунке 1. Общественное благосостояние при бесконечном потреблении в момент времени 0 равно:

$W_{sing}=frac{N_0 bar{u}}{(rho+ m_{ai})(rho_s - b)}$ .

Для наглядности будет полезно найти пороговое значение сингулярности, когда ИИ не дает дополнительного выигрыша в снижении смертности, так что $m_{ai}=m_0 equiv m$ . В этом случае подстановка выражений для общественного благосостояния в (6) дает:

(7) $delta_{sing,m}^*=frac{1}{1+ (gamma - 1) v(c_0)} cdot frac{1}{left(1+ (gamma - 1) frac{g_0}{rho+ m}right)left(1+ (gamma - 1) frac{g_0}{rho_s - b}right)} quad$ .

Сравнительная статика здесь очевидна. Более высокая начальная стоимость жизни снижает пороговое значение экзистенциального риска. Более высокий начальный темп роста снижает пороговое значение. Более высокое даёт более резкое убывание предельной полезности и также снижает пороговое значение риска. С другой стороны, более высокая общественная ставка дисконтирования , частная ставка дисконтирования или уровень смертности повышают пороговое значение сингулярности, поскольку будущие выгоды от обычного роста играют меньшую роль в перевешивании бесконечного потребления сингулярности. Если , выражение дополнительно упрощается.

B. Количественная оценка более насыщенной модели

Теперь мы количественно оценим пороговое значение экзистенциального риска для различных случаев. Мы запускаем экономику, как и раньше, с и предполагаем, что и : как индивиды, так и общественный планировщик дисконтируют будущее со скоростью 1 процент в год (т.е., ).

В случае, когда ИИ не используется, мы предполагаем, что и , что соответствует росту потребления на 2 процента в год и уровню смертности 1 процент в год, что подразумевает ожидаемую продолжительность жизни 100 лет.

Мы допускаем, что успешное использование ИИ влияет на рост одним из двух способов: сценарий быстрого роста с $g_{ai}=10%$ или сингулярность, которая немедленно обеспечивает бесконечное потребление. Что касается смертности, мы также рассматриваем два сценария. В первом ИИ не влияет на смертность, и $m_{ai}=m_0=1%$ . Во втором мы предполагаем, что инновационный ИИ, способный обеспечить поразительный рост потребления, также приносит впечатляющее снижение смертности: уровень смертности падает вдвое до $m_{ai}=0.5%$ . Обратите внимание, что это соответствует удвоению ожидаемой продолжительности жизни до 200 лет, это огромное изменение (аналогичное большому изменению темпов роста).

Результаты для порогового значения экзистенциального риска показаны в Таблице 2. Первая строка рассматривает вариант с , что очень близко к логарифмической полезности. Этот случай подтверждает результаты, которые мы видели в простой модели: при логарифмической полезности оптимальные пороговые значения экзистенциального риска удивительно высоки. Например, когда ИИ обеспечивает 10-процентный рост и не улучшает смертность, мы обнаруживаем, что . Также параллельно с простой моделью, по мере увеличения до двух или трех, пороговое значение экзистенциального риска очень резко падает до 2,2% и 0,5% соответственно. Таким образом, первый столбец Таблицы 2 в основном подтверждает результаты, которые мы видели в простой модели.

Таблица 2. Пороговые значения экзистенциального риска: Снижение смертности и Сингулярность

	Быстрый рост: $g_{ai}=10%$		Сингулярность: $g_{ai}=infty$
	$m_{ai}=1%$	$m_{ai}=0.5%$	$m_{ai}=1%$	$m_{ai}=0.5%$
1.01	0.540	0.678	0.916	0.937
2	0.022	0.267	0.024	0.268
3	0.005	0.254	0.005	0.254

Примечания: В таблице показаны количественные результаты для порогового значения экзистенциального риска в модели со снижением смертности и сингулярностью, рассчитанные с использованием уравнения (6). В случае отсутствия использования ИИ мы предполагаем, что и . Другие предполагаемые значения параметров: и .

Сингулярности. Далее, предположим, что ИИ достигает ещё более впечатляющих результатов и приводит к немедленной сингулярности с бесконечным потреблением. Эти результаты показаны в правой части Таблицы 2. При почти логарифмической полезности пороговое значение экзистенциального риска существенно возрастает, приближаясь к 100 процентам. На самом деле, легко показать, что при (если полезность логарифмическая или даже менее выпуклая), оптимальное пороговое значение экзистенциального риска для сингулярности составляет 100 процентов. То есть, до тех пор, пока полное уничтожение человеческой расы не является неизбежным, бесконечное потребление доминирует, и внедрение ИИ максимизирует общественное благосостояние. Это кажется мне крайне непривлекательным, что согласуется и с большим количеством работ в области экономики, фокусирующихся на , а не на .

Средняя и нижняя строки правой части таблицы показывают, что полностью меняет картину. Поскольку потоковая полезность ограничена, бесконечное потребление не намного лучше, чем $g_{ai}=10%$ , и падает примерно до 2 процентов. При снижение еще более резкое, до . Эти выводы приводят нас к третьему ключевому пункту.

КЛЮЧЕВОЙ ВЫВОД 3 (Сингулярность): Если , пороговое значение экзистенциального риска в условиях немедленной сингулярности, обеспечивающей бесконечное потребление, равно : любой риск, кроме гарантированного уничтожения, приемлем для достижения бесконечного потребления. Напротив, если или больше, пороговые значения сингулярности намного ближе к пороговым значениям при $g_{ai}=10%$ и намного меньше. Например, при даже бесконечное потребление не стоит азартной игры, если однократный экзистенциальный риск превышает 2,4 процента.

Снижение смертности. Далее рассмотрим возможность снижения смертности. Инновации, которые ИИ создает для ускорения экономического роста, могут повлиять не только на потребление. Мы уже видим примеры использования ИИ для изучения сворачивания белков, открытия лекарств и анализа изображений. ИИ, который мог бы ускорить рост потребления до 10 процентов и более, несомненно, создаст инновации, которые также снизят смертность. По мере того как мы становимся богаче и жизнь становится ценнее, это снижение смертности может стать ключевой составляющей улучшения уровня жизни благодаря ИИ. Экзистенциальный риск может быть частично уравновешен тем, что все будут жить дольше в случае, если ИИ не вызовет экзистенциальной катастрофы.

Таблица 2 иллюстрирует важность этой составляющей, рассматривая возможность того, что ИИ сократит стандартный уровень смертности вдвое, с 1 процента в год до 0,5 процента в год. Влияние на оптимальное пороговое значение экзистенциального риска велико. Интуиция подсказывает, что снижение смертности находится «в тех же единицах измерения», что и экзистенциальный риск, в отличие от потребления, которое должно быть отфильтровано через ограниченную функцию полезности.

Например, когда и $g_{ai}=10%$ , пороговое значение для использования ИИ резко возрастает с 2,2 процента до 26,7 процента. Когда , изменение еще более драматично: возрастает с 0,5 процента до 25,4 процента. Шанс на экзистенциальную катастрофу один к четырем становится более приемлемым, если мы проживем 200 лет вместо 100, при условии, что катастрофа не произойдет.

Тезис о том, что смертность и экзистенциальный риск находятся в одних и тех же единицах измерения, можно прояснить, обратившись к простой модели из Раздела I. Например, если экзистенциальный риск представляет собой пуассоновский процесс с интенсивностью , вероятность того, что индивид выживет в течение лет, равна ; важна только сумма рисков, а не их состав.

КЛЮЧЕВОЙ ВЫВОД 4 (Снижение смертности): При выигрыш от потребления имеет резко убывающую отдачу, а жизнь становится все более ценной. Если ИИ также увеличивает ожидаемую продолжительность жизни, пороговые значения экзистенциального риска могут быть намного выше, порядка 25 процентов для или 3.

Общественное дисконтирование, близкое к нулю. Что произойдет, если общественный планировщик дисконтирует будущее по более низкой ставке, придавая больший вес будущему? Возникают два инсайта, один относительно очевидный, а другой менее очевидный.

Во-первых, вернемся к случаю, когда $m_{ai}=m_0$ , то есть ИИ не дает никакого снижения смертности, и установим , чтобы входной размер каждой когорты был постоянным. Рассмотрим, что произойдет, если общественная ставка дисконтирования упадет до нуля. Это легче всего увидеть в уравнении (7). Если , то $delta_{sing,m}^* to 0$ (напомним, что ). То есть, если мы рискуем бесконечным будущим, которое не дисконтируется, пороговое значение экзистенциального риска падает до нуля. Никакой однократный экзистенциальный риск не стоит того, чтобы достичь сингулярности, потому что под угрозой находится бесконечность богатых будущих (и потому, что сама сингулярность приносит только конечную полезность при ). Это перекликается с логикой Ord (2020) и MacAskill (2022).

Эти эффекты численно показаны в Таблице 3. Первые два столбца повторяют наши базовые расчеты с и для удобства сравнения. Третий столбец рассматривает снижение в 20 раз до 0,05 процента, но без снижения смертности. Как и следовало ожидать из только что приведенного обсуждения, приз, который можно потерять из-за экзистенциального риска, намного больше, поэтому пороговые значения резко снижаются, почти до нуля.

Таблица 3. Пороговые значения экзистенциального риска при близком к нулю социальном дисконтировании

	Базовый случай		Близкое к нулю общественное дисконтирование
	$m_{ai}=1%$	$m_{ai}=0.5%$	$m_{ai}=1%$	$m_{ai}=0.5%$
1.01	0.540	0.678	0.525	0.646
2	0.022	0.267	0.002	0.251
3	0.005	0.254	0.000	0.250

Примечания: В таблице показаны количественные результаты для порогового значения экзистенциального риска в модели с сингулярностью, рассчитанные с использованием уравнения (6). Мы предполагаем, что , $g_{ai}=10%$ , , и .

Теперь рассмотрим, что произойдет, если ИИ также приведет к снижению смертности. Как и раньше, предположим, что ИИ снижает уровень смертности с 1 процента до 0,5 процента. Последний столбец Таблицы 3 показывает, что пороговые значения остаются высокими, около для или 3, даже когда падает почти до нуля. С одной стороны, мы придаем больший вес будущим поколениям. С другой стороны, сами будущие поколения ценят снижение смертности, и мы дисконтируем выигрыш в смертности для будущих поколений по более низкой ставке.

Самый простой способ понять этот результат — признать, что при существует бесконечное количество сколь угодно богатых будущих поколений, которые учитываются одинаково. В конце концов, даже при экономическом росте на 2 процента будущие поколения в конечном итоге станут богаче Билла Гейтса. В этом пределе полезность каждого поколения одинакова и задается формулой:

$U(L_E)=frac{bar{u}}{rho+ m}=frac{L_E cdot bar{u}}{rho cdot L_E+ 1}$ ,

где — ожидаемая продолжительность жизни. Обратите внимание, что если , пожизненная полезность линейна по ожидаемой продолжительности жизни, но при частном дисконтировании пожизненная полезность характеризуется убывающей отдачей от ожидаемой продолжительности жизни: добавление некоторого количества лет жизни в далекой старости менее ценно.

Поскольку при бесконечность полезности будущих поколений одинакова, мы можем просто думать о «репрезентативном» поколении. Пороговое значение экзистенциального риска при рассмотрении такого ИИ, который удваивает ожидаемую продолжительность жизни, находится из уравнения

что подразумевает:

$delta^*=frac{1/2}{rho cdot L_E+ 1}$ .

Наконец, при и решением будет , что помогает обосновать частое появление похожих чисел в Таблице 3. Если бы пожизненная полезность была линейна по ожидаемой продолжительности жизни (), то тогда . В качестве альтернативы, если , пороговое значение равно . Важно то, что даже при эти пороговые значения высоки и далеки от нуля. Даже с ориентацией на будущее, общество в этих примерах готово терпеть значительный экзистенциальный риск, если одним из преимуществ ИИ является снижение смертности и увеличение ожидаемой продолжительности жизни.

КЛЮЧЕВОЙ ВЫВОД 5 (Общественное дисконтирование, близкое к нулю): При отсутствии снижения смертности, снижение общественной ставки дисконтирования для придания большего веса будущему снижает пороговое значение экзистенциального риска, которое в пределе падает до нуля. При снижении смертности это уже не так: придание большего веса будущим поколениям означает, что снижение смертности, обусловленное ИИ, становится более ценным, что потенциально делает оправданным принятие на себя больших экзистенциальных рисков.

Комментарий от @avshkol для главы II. Модель 2: Сингулярности и снижение смертности

Здесь автор усложняет модель, чтобы также рассчитать критический порог риска. Правило простое: внедрять ИИ выгодно только в том случае, если реальный риск уничтожения ниже этого расчетного порога .

В эту модель добавлены три новых фактора: возможность сингулярности (бесконечного потребления), снижение смертности (увеличение продолжительности жизни) и оценка ценности будущих поколений (общественный дисконт).

1. Сценарий «Сингулярность» (Бесконечный рост)

Что если ИИ мгновенно обеспечит бесконечный экономический рост ( $g_{ai}=infty$ )?

Если (логарифмическая полезность), то полезность не имеет потолка. Модель говорит, что приемлем любой риск меньше 100%. То есть, даже 99% шанс уничтожения человечества оправдан ради бесконечного богатства. Автор считает такой вывод нереалистичным и непривлекательным.
Если (ограниченная полезность), то вступает в силу «потолок» полезности. Бесконечное потребление дает лишь конечный прирост счастья, так как предельная полезность денег стремится к нулю.

Вывод (Ключевой вывод 3): При реалистичном неприятии риска ( ) порог допустимого риска для сингулярности остается крайне низким (около 2,4%). Бесконечное потребление математически не стоит того, чтобы ставить на кон существование человечества.

2. Сценарий «Улучшение здоровья» (Снижение смертности)

Что если ИИ не только ускорит экономику, но и удвоит продолжительность жизни (снизит ежегодную смертность с 1% до 0,5%)?

Это кардинально меняет уравнение. Рост потребления проходит через «фильтр» убывающей предельной полезности (мы быстро «наедаемся» дополнительными деньгами). А вот дополнительные годы жизни не имеют этого фильтра.

Риск смерти от ИИ и выигрыш в годах жизни измеряются в одних и тех же единицах (годы жизни).

Вывод 4: Если ИИ удваивает продолжительность жизни, общество готово принять гораздо более высокий риск. При допустимый порог риска взлетает с 2,2% до 26,7%. Шанс 1 к 4 на конец света становится «терпимым», если в случае выживания каждый будет жить 200 лет вместо 100.

3. Сценарий «Забота о будущих поколениях»

Что если мы (как общество) оцениваем благополучие людей через 1000 лет так же высоко, как и людей сегодня (социальный дисконт )?

Без улучшения здоровья: Порог допустимого риска падает практически до нуля. Рисковать бесконечным будущим триллионов богатых людей ради конечного прироста полезности от сингулярности — катастрофически плохая сделка.

С улучшением здоровья: Парадоксально, но порог риска остается высоким (около 25%). Почему? Потому что каждое из этих бесконечных будущих поколений также выиграет от удвоения продолжительности жизни. Мы высоко ценим этот выигрыш не только для себя, но и для всех будущих людей, что компенсирует страх перед риском.

Вывод 5: Даже если мы бесконечно заботимся о будущем, снижение смертности делает высокий экзистенциальный риск математически оправданным.

Итак, математические расчёты в предложенной автором модели показывают, что гнаться за бесконечными деньгами (сингулярностью) ради выживания человечества не стоит (из-за ограниченной полезности богатства). Однако если ИИ подарит нам не только деньги, но и значительное увеличение продолжительности жизни, уравнение меняется: общество может рационально согласиться на риск вплоть до 25%, потому что «годы жизни» и «риск смерти» измеряются одной и той же валютой, не подверженной эффекту убывающей отдачи.

III. Заключение

Цель данной статьи не в том, чтобы дать однозначный ответ на вопрос, должны ли мы «отключить» ИИ, даже если отвлечься от важной проблемы того, как именно это можно было бы осуществить. Вместо этого предложены простые модели для изучения того, как ответ на этот вопрос меняется в зависимости от постановки задачи.

Одна из ключевых зависимостей заключается в том, какую функцию полезности мы используем: логарифмическую или CRRA при . При логарифмической функции полезности допускаются поразительно высокие уровни экзистенциального риска ради получения огромных преимуществ в виде роста уровня жизни. (Неужели ИТ-предприниматели, разрабатывающие ИИ, обладают настолько низкой степенью неприятия риска?) Однако при игра с экзистенциальным риском выглядит гораздо менее привлекательной.

Далее, даже сингулярность, которая немедленно обеспечивает бесконечное потребление, не так ценна, как могло бы показаться. При ограниченной полезности (например, ) бесконечное потребление лишь выводит нас на верхнюю границу, а предельная полезность дополнительного потребления оказывается ничтожно малой. Вывод о том, что при модели общественного благосостояния требуют предельной осторожности в отношении экзистенциального риска, остаётся в силе даже в условиях сингулярности.

Наконец, один из сценариев, при котором может быть оптимально принять на себя более высокие уровни экзистенциального риска, — это случай, когда ИИ приводит к новым инновациям, увеличивающим продолжительность жизни. Снижение смертности и экзистенциальный риск, грубо говоря, измеряются в одних и тех же единицах и не сталкиваются с эффектом убывающей предельной полезности потребления. Этот результат остается верным даже при низких социальных ставках дисконтирования, которые придают большой вес будущим поколениям.

Разумеется, в данном анализе упущен ряд факторов. Например, инвестиции в безопасность ИИ могут снизить экзистенциальный риск. Может оказаться оптимальным отложить использование ИИ до тех пор, пока риск не будет снижен, однако в какой-то момент дальнейшее снижение риска может стать невозможным, и тогда могут стать применимыми расчеты, подобные тем, что представлены в данной статье.

Ещё один фактор касается самой природы риска. В данной работе утилитаристский общественный планировщик рассматривает ситуации «10 процентов населения погибает каждый период» и «существует 10-процентная вероятность вымирания человечества» как равнозначные, поскольку планировщик учитывает лишь общую сумму полезностей.

Напротив, многие люди интуитивно чувствуют, что эти два риска не равнозначны, что может привести к более консервативным пороговым значениям.

Итоговый комментарий от @avshkol: этика против математики

Повторю ещё раз, что сама постановка вопроса «сколько плюшек мы можем получить от ИИ, чтобы это покрыло риск уничтожения всего человечества» выглядит, на мой взгляд, этически некорректной. Но это не повод отвергать модель и выводы, содержащиеся в статье. Можно сказать, что модель представляет собой крайний случай (гибель всего человечества от разбушевавшегося супер-ИИ), а в условиях неопределенности (да, ИИ может причинить некоторый вред, но мы точно не можем сказать, кому и в какой мере и с какой вероятностью), такая модель может оказаться полезной.

Здесь нужно упомянуть о двух возникших тенденциях в отношении ИИ: технооптимизм и технопессимизм.

Технооптимисты скорее согласятся с приводимыми темпами увеличения производительности благодаря ИИ (до 10%), и многие из них согласятся о том, что ИИ поможет в будущем увеличить продолжительность жизни вдвое. Часть технооптимистов признает риски, часть скажет, что риски надуманы, поскольку на любого ИИ-злодея найдутся «добрые ИИ, ИИ-защитники».

Технопессимисты указывают на то, что в отношении ИИ просто наблюдается излишний хайп и финансовый пузырь, что фактические успехи ИИ в росте производительности весьма и весьма скромны (даже у программистов на этот счёт идут серьёзные дискуссии), поэтому сама такая модель может быть поставлена ими под сомнение как нереалистичная (ИИ не даст никакого заметного роста производительности или продолжительности жизни, а уж возможности ИИ уничтожить или даже сильно насолить человечеству совсем нулевые).

Да, маловероятно, чтобы все ИИ планеты объединились и решили извести человечество, ведь существуют меры безопасности, некоторые ИИ специально обучаются противодействовать угрозам (условно, ИИ-негодяи окажутся в подавляющем меньшинстве среди всех ИИ, и, скорее всего, получат намного меньше вычислительных ресурсов). Но какой-то вред ИИ-негодяи (не без помощи людей-негодяев) всё же могут нанести, хотя бы хакерскими атаками на инфраструктуру. Поэтому модель, конечно же, представляет собой самый крайний, граничный случай, и именно в таком виде её нужно и воспринимать.

Ещё один непростой вопрос — о денежной оценке жизни. Да, некоторые люди принимают решения, приводящие к повышению риска для их собстенной жизни, но из этого не обязательно должно следовать математическое вычисление стоимости жизни в денежных единицах для любого человека. Это индивидуальные решения отдельных людей, которые, к тому же, часто происходят в условиях незнания реальной статистики риска. Так, многие люди решают курить, обменивая статистическое укорочение жизни на несколько лет на неденежные удовольствия. Хотя, если в ближайшем будущем появится дорогое лекарство или метод продления жизни, который с приемлемой вероятностью гарантирует увеличение жизни, но будет, повторю, дорогим, можно будет увидеть, какую в среднем цену будут готовы платить люди за увеличение жизни, например, на год. Понятно, что миллиардер отдаст, условно, миллиард, миллионер — миллион, а средний человек со среднестатистическим доходом? Такая оценка будет ближе к средней оценке жизни, поскольку будет являться результатом понятных целевых решений многих людей (за исключением начального периода, доступного только миллиардерам, миллионерам и части политических элит, которые будут иметь возможность фактически воспользоваться деньгами налогоплательщиков).

Здесь также нужно сказать о проблеме вероятности.

Во-первых, вероятность любого вреда субъективна, т.е. каждый человек в разные моменты времени оценивает её по-своему, исходя из своего опыта, убеждений, склонности к риску и т.п. И, более того, большинство людей затруднятся выразить эту вероятность количественно. Например, если мы возьмём более «приземлённый» риск от ИИ, а именно риск роста безработицы, хотя бы в начальном периоде развития ИИ, то оценка этого риска будет для каждого человека своя, исходя из его специальности, успешности, возраста, готовности или неготовности работать за меньшую плату и т.п.

Во-вторых, как было замечено самим автором, 10% вероятность уничтожения человечества вообще как вида и вероятность уничтожения в данном периоде 10% людей — это принципиально разные вероятности, и их нельзя смешивать.

В-третьих, наш мир таков, что часть итоговой картины складывается из решений отдельных людей, миллиардов потребителей, миллионов инвесторов... А другая часть — из решений мизерной доли процента людей у власти и глав корпораций. Сейчас решения в отношении ИИ, его развития и финансирования принимаются лишь этим небольшим кругом людей. И, как отметил автор, они скорее склонны к принятию рисков, чем наоборот. И, как мы слышали, объясняют это тем, что если не мы первые создадим мощный ИИ, это сделают наши [политические] конкуренты... Но всё может измениться, и массовый избиратель может проникнуться (явными или мнимыми) рисками ИИ, и сильно изменить картину будущего, голосуя явно и неявно (через группы влияния) за определенные решения по ограничению ИИ. То есть не существует некого общественного регулятора, который оценивает риски и принимает решение развивать или не развивать ИИ. Здесь может быть всё намного хаотичнее.

Список литературы

1. Acemoglu, Daron, and Todd Lensman. 2024. “Regulating Transformative Technologies.” American Economic Review: Insights 6(3): 359–76. Асемоглу, Дарон и Тодд Ленсман. 2024. «Регулирование трансформационных технологий». American Economic Review: Insights 6(3): 359–76.

2. Aghion, Philippe, Benjamin F. Jones, and Charles I. Jones. 2019. “Artificial Intelligence and Economic Growth.” In The Economics of Artificial Intelligence: An Agenda, edited by Ajay Agrawal, Joshua Gans, and Avi Goldfarb, 237–82. Chicago: University of Chicago Press. Агион, Филипп, Бенджамин Ф. Джонс и Чарльз И. Джонс. 2019. «Искусственный интеллект и экономический рост». В кн. «Экономика искусственного интеллекта: повестка дня» (The Economics of Artificial Intelligence: An Agenda), под ред. Аджая Агравала, Джошуа Ганса и Ави Голдфарба, 237–82. Чикаго: University of Chicago Press.

3. Agrawal, Ajay, Joshua Gans, and Avi Goldfarb, eds. 2019. The Economics of Artificial Intelligence: An Agenda. Chicago: University of Chicago Press. Агравал, Аджай, Джошуа Ганс и Ави Голдфарб, ред. 2019. «Экономика искусственного интеллекта: повестка дня» (The Economics of Artificial Intelligence: An Agenda). Чикаго: University of Chicago Press.

4. Aschenbrenner, Leopold. 2020. “Existential Risk and Growth.” Global Priorities Institute Working Paper 6-2020. Ашенбреннер, Леопольд. 2020. «Экзистенциальный риск и рост». Global Priorities Institute Working Paper 6-2020.

5. Aschenbrenner, Leopold, and Philip Trammell. 2024. “Existential Risk and Growth.” Global Priorities Institute Working Paper 13-2024. Ашенбреннер, Леопольд и Филип Траммелл. 2024. «Экзистенциальный риск и рост». Global Priorities Institute Working Paper 13-2024.

6. Blanchard, Olivier J. 1985. “Debts, Deficits, and Finite Horizons.” Journal of Political Economy 93 (2): 223–47. Бланшар, Оливье Дж. 1985. «Долги, дефициты и конечные горизонты». Journal of Political Economy 93 (2): 223–47.

7. Bostrom, Nick. 2002. “Existential Risks.” Journal of Evolution and Technology 9: 1–31. Бостром, Ник. 2002. «Экзистенциальные риски». Journal of Evolution and Technology 9: 1–31.

8. Bostrom, Nick. 2014. Superintelligence: Paths, Dangers, Strategies. New York: Oxford University Press. Бостром, Ник. 2014. «Сверхразум: пути, опасности, стратегии» (Superintelligence: Paths, Dangers, Strategies). Нью-Йорк: Oxford University Press.

9. Brynjolfsson, Erik, and Andrew McAfee. 2014. The Second Machine Age: Work, Progress, and Prosperity in a Time of Brilliant Technologies. New York: W. W. Norton. Бриньолфссон, Эрик и Эндрю Макафи. 2014. «Вторая эпоха машин: работа, прогресс и процветание во время блестящих технологий» (The Second Machine Age: Work, Progress, and Prosperity in a Time of Brilliant Technologies). Нью-Йорк: W. W. Norton.

10. Brynjolfsson, Erik, Daniel Rock, and Chad Syverson. 2021. “The Productivity J-Curve: How Intangibles Complement General Purpose Technologies.” American Economic Journal: Macroeconomics 13(1): 333–72. Бриньолфссон, Эрик, Дэниел Рок и Чад Сиверсон. 2021. «J-кривая производительности: как нематериальные активы дополняют технологии общего назначения». American Economic Journal: Macroeconomics 13(1): 333–72.

11. Bubeck, Sébastien, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, et al. 2023. “Sparks of Artificial General Intelligence: Early Experiments with GPT-4.” arXiv: 2303.12261. Бубек, Себастьен, Варун Чандрасекаран, Ронен Элдан, Йоханнес Герке, Эрик Хорвиц, Эдже Камар, Питер Ли и др. 2023. «Искры общего искусственного интеллекта: ранние эксперименты с GPT-4». arXiv: 2303.12261.

12. Davidson, Tom. 2021. Could Advanced AI Drive Explosive Economic Growth? San Francisco: Open Philanthropy. Дэвидсон, Том. 2021. «Может ли продвинутый ИИ обеспечить взрывной экономический рост?» (Could Advanced AI Drive Explosive Economic Growth?). Сан-Франциско: Open Philanthropy.

13. Erdil, Ege, and Tamay Besiroglu. 2023. “Explosive Growth from AI Automation: A Review of the Arguments.” arXiv: 2309.11692. Эрдил, Эге и Тамай Бесироглу. 2023. «Взрывной рост от автоматизации с помощью ИИ: обзор аргументов». arXiv: 2309.11692.

14. Hall, Robert E., and Charles I. Jones. 2007. “The Value of Life and the Rise in Health Spending.” Quarterly Journal of Economics 122(1): 39–72. Холл, Роберт Э. и Чарльз И. Джонс. 2007. «Ценность жизни и рост расходов на здравоохранение». Quarterly Journal of Economics 122(1): 39–72.

15. Jones, Charles I. 2016. “Life and Growth.” Journal of Political Economy 124(2): 539–78. Джонс, Чарльз И. 2016. «Жизнь и рост». Journal of Political Economy 124(2): 539–78.

16. Jones, Charles I. 2022. “The Past and Future of Economic Growth: A Semi-endogenous Perspective.” Annual Review of Economics 14: 125–52. Джонс, Чарльз И. 2022. «Прошлое и будущее экономического роста: полуэндогенный подход». Annual Review of Economics 14: 125–52.

17. Jones, Charles I. 2024. Data and Code for: “The AI Dilemma: Growth versus Existential Risk.” Nashville, TN: American Economic Association; distributed by Inter-university Consortium for Political and Social Research, Ann Arbor, MI. https://doi.org/10.3886/E201750V1. Джонс, Чарльз И. 2024. «Данные и код для: "Дилемма ИИ: рост против экзистенциального риска"». Нэшвилл, Теннесси: American Economic Association; распространяется Inter-university Consortium for Political and Social Research, Энн-Арбор, Мичиган. https://doi.org/10.3886/E201750V1.

18. Joy, Bill. 2000. “Why the Future Doesn’t Need Us.” Wired Magazine, April 1, 2000. https://www.wired.com/2000/04/joy-2/. Джой, Билл. 2000. «Почему будущее не нуждается в нас». Wired Magazine, 1 апреля 2000 г. https://www.wired.com/2000/04/joy-2/.

19. Kimball, Miles S., Daniel Reck, Fudong Zhang, Fumio Ohtake, and Yoshiro Tsutsui. 2024. “Diminishing Marginal Utility Revisited.” NBER Working Paper 32077. Кимбалл, Майлз С., Дэниел Рек, Фудун Чжан, Фумио Отакэ и Йошихиро Цуцуи. 2024. «Убывающая предельная полезность: пересмотр». NBER Working Paper 32077.

20. Kuruc, Kevin, Mark Budolfson, and Dean Spears. 2022. “Population Issues in Welfare Economics, Ethics, and Policy Evaluation.” Economics and Finance. https://doi.org/10.1093/acrefore/9780190625979.013.727. Куруц, Кевин, Марк Будолфсон и Дин Спирс. 2022. «Проблемы народонаселения в экономике благосостояния, этике и оценке политики». Economics and Finance. https://doi.org/10.1093/acrefore/9780190625979.013.727.

21. MacAskill, William. 2022. What We Owe the Future. New York: Basic Books. Макаскилл, Уильям. 2022. «То, что мы должны будущему» (What We Owe the Future). Нью-Йорк: Basic Books.

22. Martin, Ian W. R., and Robert S. Pindyck. 2015. “Averting Catastrophes: The Strange Economics of Scylla and Charybdis.” American Economic Review 105(10): 2947–85. Мартин, Иэн У. Р. и Роберт С. Пиндайк. 2015. «Предотвращение катастроф: странная экономика Сциллы и Харибды». American Economic Review 105(10): 2947–85.

23. Martin, Ian W. R., and Robert S. Pindyck. 2021. “Welfare Costs of Catastrophes: Lost Consumption and Lost Lives.” Economic Journal 131(634): 946–69. Мартин, Иэн У. Р. и Роберт С. Пиндайк. 2021. «Издержки благосостояния от катастроф: потерянное потребление и потерянные жизни». Economic Journal 131(634): 946–69.

24. Murphy, Kevin M., and Robert Topel. 2003a. “The Economic Value of Medical Research.” In Measuring the Gains from Medical Research: An Economic Approach, edited by Kevin M. Murphy and Robert Topel, 41–73. Chicago: University of Chicago Press. Мерфи, Кевин М. и Роберт Топел. 2003a. «Экономическая ценность медицинских исследований». В кн. «Оценка выгод от медицинских исследований: экономический подход» (Measuring the Gains from Medical Research: An Economic Approach), под ред. Кевина М. Мерфи и Роберта Топела, 41–73. Чикаго: University of Chicago Press.

25. Murphy, Kevin M., and Robert Topel, eds. 2003b. Measuring the Gains from Medical Research: An Economic Approach. Chicago: University of Chicago Press. Мерфи, Кевин М. и Роберт Топел, ред. 2003b. «Оценка выгод от медицинских исследований: экономический подход» (Measuring the Gains from Medical Research: An Economic Approach). Чикаго: University of Chicago Press.

26. Ngo, Richard, Lawrence Chan, and Sören Mindermann. 2023. “The Alignment Problem from a Deep Learning Perspective.” Unpublished. Нго, Ричард, Лоуренс Чан и Сёрен Миндерманн. 2023. «Проблема согласования целей с точки зрения глубокого обучения». Не опубликовано.

27. Nordhaus, William D. 2003. “The Health of Nations: The Contribution of Improved Health to Living Standards.” In Measuring the Gains from Medical Research: An Economic Approach, edited by Kevin M. Murphy and Robert Topel, 9–40. Chicago: University of Chicago Press. Нордхаус, Уильям Д. 2003. «Здоровье наций: вклад улучшения здоровья в уровень жизни». В кн. «Оценка выгод от медицинских исследований: экономический подход» (Measuring the Gains from Medical Research: An Economic Approach), под ред. Кевина М. Мерфи и Роберта Топела, 9–40. Чикаго: University of Chicago Press.

28. Nordhaus, William D. 2021. “Are We Approaching an Economic Singularity? Information Technology and the Future of Economic Growth.” American Economic Journal: Macroeconomics 13(1): 299–332. Нордхаус, Уильям Д. 2021. «Приближаемся ли мы к экономической сингулярности? Информационные технологии и будущее экономического роста». American Economic Journal: Macroeconomics 13(1): 299–332.

29. Ord, Toby. 2020. The Precipice: Existential Risk and the Future of Humanity. New York: Hachette Books. Орд, Тоби. 2020. «Пропасть: экзистенциальный риск и будущее человечества» (The Precipice: Existential Risk and the Future of Humanity). Нью-Йорк: Hachette Books.

30. Posner, Richard A. 2004. Catastrophe: Risk and Response. New York: Oxford University Press. Познер, Ричард А. 2004. «Катастрофа: риск и реакция» (Catastrophe: Risk and Response). Нью-Йорк: Oxford University Press.

31. Rees, Martin. 2003. Our Final Century: Will the Human Race Survive the Twenty-First Century? London: Heinemann. Риз, Мартин. 2003. «Наш последний век: выживет ли человеческая раса в двадцать первом веке?» (Our Final Century: Will the Human Race Survive the Twenty-First Century?). Лондон: Heinemann.

32. Rosen, Sherwin. 1988. “The Value of Changes in Life Expectancy.” Journal of Risk and Uncertainty 1(3): 285–304. Розен, Шервин. 1988. «Ценность изменений в ожидаемой продолжительности жизни». Journal of Risk and Uncertainty 1(3): 285–304.

33. Trammell, Philip, and Anton Korinek. 2020. “Economic Growth under Transformative AI.” Global Priorities Institute Working Paper 8-2020. Траммл, Филип и Антон Коринек. 2020. «Экономический рост в условиях трансформационного ИИ». Global Priorities Institute Working Paper 8-2020.

34. Yudkowsky, Eliezer. 2008. “Artificial Intelligence as a Positive and Negative Factor in Global Risk.” In Global Catastrophic Risks, edited by Nick Bostrom and Milan M. Ćirković, 308–45. Oxford, UK: Oxford University Press. Юдковски, Элиезер. 2008. «Искусственный интеллект как позитивный и негативный фактор глобального риска». В кн. «Глобальные катастрофические риски» (Global Catastrophic Risks), под ред. Ника Бострома и Милана М. Чирковича, 308–45. Оксфорд, Великобритания: Oxford University Press.

35. Zuber, Stéphane, Nikhil Venkatesh, Torbjörn Tännsjö, Christian Tarsney, H. Orri Stefánsson, Katie Steele, Dean Spears, et al. 2021. “What Should We Agree on about the Repugnant Conclusion?” Utilitas 33(4): 379–83. Зюбер, Стефан, Никхил Венкатеш, Тобьёрн Тэнншё, Кристиан Тарнер, Х. Орри Стефанссон, Кэти Стил, Дин Спирс и др. 2021. «О чем мы должны договориться относительно отвратительного вывода?». Utilitas 33(4): 379–83.

Автор: avshkol

Источник

Информация

Комментарии

Рекомендуем

ИИ-дилемма: рост против риска для человечества. Разбираем этически неоднозначную статью экономиста Чарльза Джонса

ИИ-дилемма: рост против риска для человечества

I. Простая модель

Как понимать формулу роста потребления на душу населения :

Вероятность выживания

О корректировке ставки дисконтирования при росте населения

Сведение к статической задаче:

Условие оптимума

Что такое v(c)?

Логика «Затраты-Выгоды»

Условие оптимума

Резюмируя:

A. Функция полезности CRRA

B. Количественный анализ

1. Сценарий «Игрока»: Логарифмическая полезность (γ=1)

2. Сценарий «Консерватора»: CRRA-полезность (γ=2)

C. Неоднородность и стоимость жизни

D. Обсуждение

II. Модель 2: Сингулярности и снижение смертности

A. Модель

B. Количественная оценка более насыщенной модели

1. Сценарий «Сингулярность» (Бесконечный рост)

2. Сценарий «Улучшение здоровья» (Снижение смертности)

3. Сценарий «Забота о будущих поколениях»

III. Заключение