На краю пропасти. Экзистенциальный риск и будущее человечества

 474 
Команда CSER предлагает три классификации: ключевые системы, механизм глобального распространения (что соответствует “распространению”) и сбой в предотвращении и сдерживании (что связано с человеческим фактором в “предотвращении” и “реакции”). Их схема разработана для классификации более широкого класса глобальных катастрофических рисков (необязательно экзистенциальных). См. подробнее у Avin et al. (2018).
 475 
Можно подумать, что этот риск на самом деле неизбежен, поскольку человечеству рано или поздно все равно наступит конец. Не стоит, однако, забывать, что экзистенциальные катастрофы – это катастрофы, которые уничтожают долгосрочный потенциал человечества, не позволяя нам достичь того, чего мы могли бы достичь. Если человечество (или наши потомки) вымрет, реализовав свой долгосрочный потенциал, это станет экзистенциальным успехом, а не провалом. Следовательно, общий экзистенциальный риск примерно равен вероятности того, что мы не реализуем свой долгосрочный потенциал. Примерно – потому что не реализовать свой потенциал мы можем и по другой причине, например если постепенно растратим его или если сохраним его, но даже не попробуем реализовать. Эти сценарии могут также представлять серьезную угрозу нашему долгосрочному будущему, а потому требуют внимательного изучения и действия. Но наше поколение не может уничтожить будущее человечества одним из этих способов, а потому они не рассматриваются на страницах этой книги.
 476 
Есть две основных причины, по которым это предположение может не оправдаться: первая связана с ужасными катастрофами, а вторая – с корреляциями между объективными вероятностями риска и ценностью реализации нашего потенциала.
В первом случае стоит отметить, что точная оценка требует от нас сравнения ожидаемой ценности всех рисков, то есть произведения их вероятности и ставок. Но если их ставки почти одинаковы (скажем, различаются не более чем на 1 %), то, сравнивая риски только по вероятности, мы теряем лишь крошечную долю точности. Во многих случаях есть веские причины полагать, что ставки варьируют не более чем на процент.
Это объясняется тем, что разница в ценности между миром, где человечество реализует свой потенциал, и миром, где этот потенциал будет уничтожен, в абсолютных значениях, как правило, гораздо больше, чем разница между различными исходами, в которых наш потенциал разрушается. Так, вымирание и необратимый коллапс цивилизации – два сценария, при которых наше будущее окажется весьма коротким и весьма малоценным. Следовательно, разница между ними гораздо меньше, чем разница между любым из них и долгим будущим, в котором нас ждет тысяча тысячелетий головокружительных побед.
Но есть и экзистенциальные риски, при наступлении которых ценность будущего не упадет почти до нуля, а окажется очень большой и отрицательной. Это случаи, когда мы почти достигнем максимума по своим масштабам (во времени, пространстве, технологическом уровне), но заполним свое будущее чем то, что имеет отрицательную ценность. Разница в ценности между таким ужасным исходом и вымиранием может соперничать с разницей между вымиранием и лучшим из возможных вариантов будущего. Для таких рисков необходимо скорректировать подход к анализу общего риска. Например, если риск предполагает, что будущее будет ужасным в той же степени, в которой прекрасен лучший из его вариантов, этому риску стоит придать двойной вес (или вообще отказаться от метода общего риска и переключиться на менее изящный метод ожидаемой выгоды). Поскольку я считаю, что такие риски очень маловероятны (даже с поправкой на увеличенный вес), а не стану вдаваться в детали.
Вторая проблема связана с неочевидной формой корреляции – не между двумя рисками, а между рисками и ценностью будущего. Возможно, есть риски, которые с гораздо большей вероятностью могут наступить в мире с высоким потенциалом. Например, если можно разработать искусственный интеллект, значительно превосходящий человеческий по всем фронтам, это повышает риск неконтролируемого ОИИ, но также повышает ценность, которую мы можем создать, используя ОИИ, настроенный в соответствии с человеческими идеалами. Не учитывая эту корреляцию, метод общего риска недооценивает ценность работы с этим риском.
 
Можно представить, что у риска и блага есть общая причина, которая и создает корреляцию. Высокий потолок технологических возможностей может считаться еще одной общей причиной целого ряда рисков и исключительно положительных вариантов будущего. Я не стану принимать эту возможность в расчет в остальной части книги, но это важный вопрос, который заслуживает рассмотрения в будущем.
 477 
Обратите внимание, что если несколько рисков имеют очень высокую корреляцию, то лучше, вероятно, считать их одним риском: риском, что произойдут все связанные между собой катастрофы. Его можно обозначить по общей причине всех катастроф, а не по непосредственным причинам каждой из них.
 478 
Тем не менее между рисками может возникнуть и антикорреляция, если они окажутся на расходящихся траекториях нашего будущего развития. Например, риски недостаточной глобальной координации и риски глобального тоталитаризма.
 479 
Как правило, я всячески рекомендую не предполагать наличие статистической независимости. Такое предположение часто приводит к недооценке вероятности экстремальных событий, когда все переменные движутся в одном направлении. Его вариацией можно считать предположение, что переменные распределяются нормально (поскольку нормальное распределение получается из суммы многих независимых переменных, согласно центральной предельной теореме). Известный пример того, как возникает ошибка, – модель ценообразования опционов Блэка – Шоулза, которая основывается на предположении о нормальном распределении и потому сильно недооценивает вероятность сильных коррелирующих колебаний цен.
Однако агрегирование экзистенциальных рисков может быть тем редким случаем, когда предполагать наличие статистической независимости не так уж плохо, поскольку нас меньше беспокоят ситуации, в которых множество событий происходит вместе.
 480 
Сегодня в этот список входят США, Россия, Китай и Европа. К концу текущего столетия он может сильно измениться.
 481 
Я не участвовал в первом исследовании “Глобальное бремя болезней” (World Bank, 1993; Jamison et al., 2006), но сыграл незначительную роль, выступив консультантом по нормативной базе при подготовке недавних отчетов в его рамках (GBD, 2012), и настоял, чтобы ставка дисконтирования для здоровья была приравнена нулю, что стало одним из ключевых изменений в сравнении с более ранними отчетами.
Еще больше меня вдохновил сопутствующий исследованию проект “Приоритеты контроля заболеваемости в развивающихся странах” (Jamison et al., 1993; Jamison et al., 2006). В нем рассматривается не то, сколько нездоровья вызывает каждая из причин, а насколько эффективны в пересчете на потраченные доллары различные меры предупреждения заболеваемости. Проект раскрыл мне глаза на поразительные различия в рентабельности разных способов укрепления здоровья и помог понять, что поддержка правильно выбранных благотворительных фондов может дать в сотни и тысячи раз больший эффект (Ord, 2013). Я выступил консультантом при подготовке третьей редакции проекта (Jamison, Gelband et al., 2018; Jamison, Alwan et al., 2018).
 482 
Говоря о “повышении”, я имею в виду, что фактор риска приводит к увеличению экзистенциального риска, а не просто находится в корреляции с ним. В частности, необходимо, чтобы воздействие на фактор риска приводило к соответствующему изменению уровня экзистенциального риска. Это можно выразить математически с помощью предложенного Джудой Перлом do-оператора – например, Pr (X|do (f = fmin)) (Pearl, 2000).