Экономическая цена риска вымирания: как ИИ меняет подход к экзистенциальным угрозам
Внедрение искусственного интеллекта обещает беспрецедентный экономический рост и продление жизни, но несет в себе риск полного уничтожения человечества. Экономист Чарльз Джонс предложил математическую модель, которая формализует этот выбор как уравнение, где огромные будущие выгоды балансируются против шанса на выживание. Исследование показывает, что наши решения зависят не только от вероятности катастрофы, но и от того, как общество ценит будущее и человеческие жизни.
# ИИ-дилемма: математическая модель выбора между ростом и вымиранием
Достижения в области искусственного интеллекта представляют собой уникальный парадокс. С одной стороны, генеративные модели и алгоритмы распознавания паттернов уже демонстрируют способности, превосходящие человеческие ожидания в задачах от сверки белков до создания контента. Эксперты полагают, что в ближайшем будущем ИИ способен радикально ускорить темпы инноваций, возможно, достигнув точки саморазвития или «сингулярности». С другой стороны, лидеры индустрии, включая исследователей из OpenAI и Google, предупреждают об экзистенциальной угрозе: сверхразум, не подчиняющийся человеческим ценностям, может привести к катастрофическим последствиям.
В статье «The AI Dilemma: Growth versus Existential Risk» (2024), опубликованной экономистом Чарльзом Джонсом из Стэнфордского университета и NBER, этот вопрос рассматривается через призму строгой экономической модели. Автор ставит перед нами суровый выбор: готовы ли мы обменять гарантированный (но ограниченный) экономический рост на возможность бесконечного прогресса, ценой принятия риска полного уничтожения вида?
Кривизна предпочтений и цена риска
Центральным выводом работы является то, что «этически приемлемый» уровень риска зависит не от абсолютных цифр, а от формы функции полезности, которую общество выбирает для оценки благосостояния.
Если человечество использует логарифмическую функцию полезности, модель демонстрирует парадоксальную терпимость к угрозе. В таком сценарии огромные приросты потребления, которые может обеспечить ИИ, оправдывают ставку риска вымирания до одной к трем. То есть, общество готово рискнуть уничтожением вида ради экономического роста, если ожидаемые выгоды от этого роста достаточно велики. Это объясняется тем, что при логарифмической функции предельная полезность потребления падает неопределенно быстро: каждый дополнительный доллар приносит всё меньше счастья.
Ситуация кардинально меняется при использовании функции CRRA (относительная нелинейность), где коэффициент избегания риска составляет два или более. Такие функции предполагают, что дополнительная полезность от потребления падает очень быстро. В этом случае модель становится консервативной: любые значимые экзистенциальные риски становятся неприемлемыми, даже перед лицом обещаний сверхдоходов. Экономисты, работающие с такими параметрами, рекомендуют либо ограничивать развитие ИИ, либо замедлять его темпы.
Особый случай возникает, когда внедрение ИИ ведет не просто к большему богатству, но и к значительному увеличению продолжительности жизни. В этом случае выигрыш «переезжает» в ту же категорию, что и экзистенциальный риск. Продление жизни не подчиняется закону убывающей предельной полезности в той же мере, что и потребление товаров. Даже при сильной ориентации на настоящее (высокая ставка дисконтирования), возможность прожить дольше может сделать приемлемыми даже колоссальные риски вымирания.
Механика модели: экспоненциальный рост против экспоненциального риска
Для понимания сущности дилеммы рассмотрим упрощенную версию модели, представленную автором. Предположим, что использование мощного ИИ обеспечивает экономический рост $g$ (например, 10% в год), но каждое использование технологии в течение времени $t$ повышает мгновенную вероятность катастрофы до $\lambda$.
Математическая структура этой проблемы строится на конкуренции двух экспонент: 1. Рост потребления: чем дольше мы используем ИИ, тем быстрее растет экономика ($e^{gt}$). 2. Падение вероятности выживания: чем дольше мы используем ИИ, тем ниже шанс остаться в живых ($e^{-\lambda t}$).
Общественное благосостояние оценивается как математическое ожидание полезности. Если мы выживем, мы получим бесконечный поток потребления, капитализированный по ставке дисконтирования $r$. Если мы погибнем, поток равен нулю. Формула благосостояния выглядит так:
$$W = p \cdot \int_0^\infty U(c(t)) e^{-rt} dt$$
Где $p$ — вероятность выживания, а интеграл описывает суммарную ценность будущего потребления.
Автор отмечает важный нюанс: если население растет, это действует как антидисконтирование, увеличивая вес будущего, так как каждый следующий период принесет счастье большему количеству людей. Это учитывается в эффективной ставке дисконтирования.
Заключение: от формул к политике
Важно понимать, что статья Чарльза Джонса не предлагает готового ответа «да» или «нет» на вопрос о развитии ИИ. Ответ всегда будет зависеть от параметров, которые крайне сложно измерить: реальной вероятности злонамеренного использования ИИ, точных прогнозов роста производительности и этических предпочтений общества.
Модель служит инструментом для прояснения скрытых компромиссов. Она показывает, что отказ от развития ИИ может означать отказ от потенциального спасения миллиардов жизней за счет увеличения продолжительности их существования, в то время как неосторожное развитие может поставить вид на грань исчезновения. В конечном итоге, решение лежит в плоскости выбора функций полезности и оценки того, какие риски человечество готово нести ради своего будущего.
*Перевод и аналитика подготовлены на основе материалов @avshkol и оригинальной работы Charles I. Jones.*