На краю пропасти. Экзистенциальный риск и будущее человечества

Например, лучший из возможных вариантов будущего может предполагать физическое усовершенствование человечества путем улучшения нашей биологии на генетическом уровне. А может, в нем люди получат свободу принимать поразительное количество новых биологических форм. Но если мы слишком рано пойдем по любому из этих путей, могут возникнуть сопряженные с этим экзистенциальные риски.
Если мы радикально изменим собственную природу, то заменим человечество (или, по крайней мере, Homo sapiens) чем-то новым. Возникнет риск потерять самое ценное, что есть в человечестве, даже не успев это постичь. Если мы разнообразим свои формы, то человечество окажется разделенным на части. Мы можем лишиться неотъемлемого единства человечества, которое позволяет нам прийти к согласию при выборе лучшего из вариантов будущего, и вместо этого ввязаться в бесконечную борьбу или вынужденно пойти на неудовлетворительный компромисс. С подобными рисками могут быть сопряжены и другие смелые шаги: например, если мы расселимся за пределами Солнечной системы и создадим федерацию независимых миров, каждый из которых пойдет в собственном культурном направлении.
Я не хочу сказать, что нужно противиться таким изменениям в положении человечества, ведь вполне возможно, что без них мы не сможем в полной мере реализовать свой потенциал. Я просто отмечаю, что таким смелым шагам должно предшествовать долгое раздумье[513]. Или, по крайней мере, раздумье достаточное, чтобы мы могли осознать последствия конкретных перемен. Нам не стоит спешить при выборе пути. Обеспечив экзистенциальную безопасность, мы практически гарантируем себе успех, если пойдем вперед медленно и осторожно: это наша игра, и ошибки в ней могут быть только невынужденными.
Что мы можем сказать о процессе долгого раздумья? На мой взгляд, оно станет не единственной задачей человечества в этот период – будет и много других прекрасных проектов: мы будем дальше накапливать знания, повышать благосостояние и укреплять справедливость. Многие люди того времени проявят лишь сдержанный интерес к долгому раздумью. Но именно долгое раздумье сильнее всего повлияет на характер нашего будущего, а потому оно и станет определяющей приметой времени[514].
Возможно, процесс пойдет главным образом в интеллектуальных кругах, а возможно, в него будет вовлечена и более широкая общественность. В любом случае нам нужно будет проявлять огромную осторожность, чтобы на него не повлияли предрассудки и предвзятость участников. Как Джонатан Шелл сказал о подобном предприятии, “даже если бы к такому начинанию привлекли всех до последнего жителей Земли, в нем оказалась бы задействована лишь бесконечно малая доля людей из поколений прошлого и будущего, а следовательно, им следовало бы действовать с осторожностью и скромностью небольшого меньшинства”[515]. Хотя в обсуждении должны учитываться все точки зрения, еще важнее, чтобы оно было прямым и четким. Не стоит забывать, что главная его цель не в том, чтобы просто получить благосклонность живущих, а в том, чтобы вынести вердикт, который выдержит проверку вечностью.
Хотя философия морали будет играть главную роль, долгое раздумье потребует вклада от представителей многих дисциплин. Нужно будет определить не только то, какие варианты будущего лучше всех, но и прежде всего то, какие из них реалистичны и какие стратегии с наибольшей вероятностью приведут к их реализации. К этому необходимо подключить естественные науки, инженерию, экономику, политологию и другие сферы.
Можно считать, что первые два шага – обеспечение экзистенциальной безопасности и долгое раздумье – создадут конституцию для всего человечества. Обеспечить экзистенциальную безопасность – все равно что вписать в эту конституцию необходимость беречь наш потенциал. А затем долгое раздумье поможет воплотить конституционные принципы на практике, определив, в каком направлении и в каких границах будет разворачиваться наше будущее.
Но конечной нашей целью, разумеется, станет последний шаг: полная реализация потенциала человечества[516]. Это можно отложить до тех пор, пока мы не определили, какой из вариантов будущего лучший, и не поняли, как прийти к нему, не совершив какой-либо роковой ошибки. Хотя приступить к раздумьям можно и сейчас, это не самая срочная задача[517]. Чтобы максимизировать наши шансы на успех, нужно прежде всего защитить себя, то есть обеспечить экзистенциальную безопасность. Именно эта задача стоит перед нами сейчас. Остальное может подождать.
 
Безопасность среди звезд?
Многие из тех, кто писал о рисках вымирания человечества, полагают, что если мы доживем до момента, когда сумеем расселиться по космосу, то будем в безопасности: сейчас мы храним все яйца в одной корзине, но, став межпланетным видом, положим конец этому периоду уязвимости[518]. Так ли это? Будет ли обеспечена экзистенциальная безопасность, если мы колонизируем другие планеты?
В основе этой идеи лежит важная статистическая истина. Если бы количество локаций, которые необходимо уничтожить, чтобы погубить человечество, увеличивалось и если бы вероятность того, что каждая из них столкнется с катастрофой, существовала независимо от того, произойдет ли это с остальными, то человечество вполне могло бы существовать бесконечно[519].
К несчастью, этот довод применим лишь к статистически независимым рискам. Многие риски, например риски болезни, войны, тирании и вечной приверженности плохим ценностям, на разных планетах коррелированы: если с ними сталкивается одна из них, то вероятность того, что с ними столкнутся и другие, несколько повышается. Некоторые риски, например неконтролируемый ОИИ и схлопывание вакуума, состоят почти в полной корреляции: если с ними сталкивается одна планета, то, скорее всего, с ними столкнутся и все остальные[520]. Предположительно, некоторые еще не выявленные риски также окажутся в корреляции в наших колониях.
Следовательно, наличие космических колоний может способствовать обеспечению экзистенциальной безопасности (путем устранения некоррелированных рисков), но одних колоний точно недостаточно[521]. Стать межпланетным видом – амбициозная цель и, вероятно, необходимый шаг на пути к реализации потенциала человечества. Но нам все-таки необходимо непосредственно заняться проблемой экзистенциального риска и сделать защиту своего долгосрочного потенциала одной из своих приоритетных задач.
 Беспрецедентные риски 
Человечество никогда не сталкивалось с экзистенциальной катастрофой, и остается надеяться, что столкнуться с ней в будущем ему не придется. Катастрофы таких масштабов беспрецедентны в нашей долгой истории. Поэтому у нас возникают серьезные трудности, когда мы пытаемся изучить, спрогнозировать и предотвратить такие бедствия. Более того, эти трудности никуда не денутся, поскольку экзистенциальные риски заведомо беспрецедентны. Когда у нас появится прецедент, станет слишком поздно, ведь мы уже лишимся будущего. Чтобы сберечь долгосрочный потенциал человечества, мы вынуждены строить планы и воплощать их в мире, никогда не видевшем событий, которых мы надеемся избежать[522]. Рассмотрим три связанных с этим трудности и попытаемся понять, как их преодолеть.
Во-первых, нельзя полагаться на свои интуитивные знания и институты, сформировавшиеся для работы с рисками малого и среднего масштабов[523]. Наше интуитивное чувство страха ни в эволюционном, ни в культурном плане не приспособлено к работе с рисками, грозящими большим, чем гибель отдельно взятых людей, – с рисками катастроф, которые нельзя допускать даже раз в тысячу лет в мире, населенном миллиардами людей. Это относится и к нашему интуитивному представлению о вероятности крайне редких событий и слишком высоких рисков. Эволюция и культурная адаптация помогли нам относительно неплохо усвоить ответы на эти вопросы в повседневной жизни (когда безопасно переходить дорогу, покупать ли детектор дыма), но плохо справляются с работой с рисками, угрожающими сотням людей, не говоря уже о рисках, которые угрожают миллиардам и всему будущему человечества.