На краю пропасти. Экзистенциальный риск и будущее человечества

Внеземной риск, который стоит на первом плане в популярной культуре, связан с конфликтом с инопланетной цивилизацией, способной путешествовать по космосу. Хотя очень сложно однозначно исключить такую возможность, широко признается, что такой сценарий крайне маловероятен (но становится более правдоподобным в исключительно долгосрочной перспективе)[456]. В популярной культуре главный риск сопряжен с прибытием инопланетян на Землю, но это, пожалуй, наименее вероятно и совсем не поддается нашему контролю. Однако, возможно, нам следует провести открытую дискуссию, прежде чем приступать к реализации активной части проекта SETI (отправке мощных сигналов для привлечения внимания далеких внеземных цивилизаций). Опасность может представлять даже пассивная часть проекта (прослушивание их сообщений), ведь сообщения вполне могут оказаться ловушкой[457]. Эти опасности невелики, но пока плохо изучены и плохо контролируемы.
Другой антропогенный риск сопряжен с самыми радикальными из наших научных экспериментов – теми, в которых создаются поистине беспрецедентные условия[458]. Так, при первом ядерном взрыве температура дошла до отметки, которой никогда прежде на Земле не наблюдалось, и появилась теоретическая возможность воспламенения атмосферы. Поскольку эти условия были беспрецедентными, мы не могли утешаться тем, что такое случалось уже много раз и не приводило к катастрофе. (Можно сказать, что часть рисков, о которых мы упоминали ранее, например обратное загрязнение, исследования с повышением вирулентности и ОИИ, также сопряжена с научными экспериментами, создающими беспрецедентные условия.)
В некоторых случаях ученые уверенно заявляют, что эксперимент не может вызвать катастрофу или вымирание. Но в прошлом даже то, что наука воспринимала как данность, порой оказывалось неверным: например, что объекты имеют определенное положение, что пространство подчиняется Евклидовой геометрии и что атомы невозможно делить, создавать и уничтожать. Если на ученых надавить, они признаются, что на самом деле имеют в виду, что такое не может произойти, если не будут существенным образом изменены наши научные теории. В обычных обстоятельствах такой уверенности достаточно, ведь при стремлении к точности уверенность в 99,9 % нас вполне удовлетворяет. Но этот стандарт не учитывает, что стоит на кону. В нашем случае ставки исключительно высоки, поэтому нам нужен стандарт, который будет принимать это в расчет[459].
Как правило, ожидаемые выигрыши сравнивают с ожидаемыми потерями. Но применить этот метод непросто, поскольку очень низкую (и плохо поддающуюся количественной оценке) вероятность колоссальной катастрофы необходимо сопоставлять с ощутимыми преимуществами, которые эксперименты уже принесли и, вероятно, принесут снова. Кроме того, знания или технологии, получаемые в результате экспериментов, могут помочь снизить будущий экзистенциальный риск или оказаться необходимыми для реализации нашего потенциала.
Для любого эксперимента, создающего беспрецедентные условия, вероятность катастрофы, как правило, очень мала. Но могут быть и исключения, и совокупная вероятность может нарастать. В основном такие риски контролируются плохо[460].
Риски, сопряженные с технологиями будущего, по природе своей более умозрительны, чем риски, возникающие из-за природных опасностей и наиболее мощных технологий настоящего. Это особенно очевидно, когда мы переходим от того, что становится реальностью в современной биотехнологии, к тому, что ждет нас в лучшем случае через несколько десятков лет. Но чтобы осознать, насколько серьезные риски ждут нас в будущем, необязательно считать все перечисленные угрозы вероятными (и даже правдоподобными). Даже если мы направим свое внимание лишь на пандемии искусственного происхождения, я полагаю, что сопряженный с ними экзистенциальный риск больше, чем все остальные риски из последних двух глав, вместе взятые, а этих рисков уже было достаточно, чтобы защита человечества стала главной заботой нашего времени.
 
Непредвиденные риски
Представьте, что научному институту в 1930 году поручили составить список экзистенциальных рисков, с которыми человечество столкнется в последующее столетие. Ученые упустили бы большинство рисков из этой книги, особенно антропогенных[461]. О существовании одних они, возможно, подозревали бы, но другие стали бы для них полной неожиданностью. Какая доля риска лежит вне поля нашего зрения?
 Подсказкой может стать тот факт, что не снижаются ни темпы обнаружения новых рисков, ни темпы их возникновения. В связи с этим вероятно, что в последующее столетие и позже мы столкнемся с непредвиденными рисками. Поскольку могущество человечества по-прежнему стремительно растет, не стоит удивляться, что некоторые новые угрозы оказываются сопряжены с немалым риском.
 Можно спросить, какой смысл рассматривать риски, которые не попадают в поле нашего зрения. Хотя нам не под силу работать с ними напрямую, мы все же можем снизить их, прилагая усилия к созданию мира, который серьезно подходит к собственному будущему. Следовательно, непредвиденные риски важны для понимания относительной ценности широких и узких программ по снижению рисков. Кроме того, они помогают нам оценить общий риск, с которым мы сталкиваемся.
Недавно Ник Бустрём указал на важный класс непредвиденных рисков[462]. Каждый год, разрабатывая новые технологии, мы можем наткнуться на нечто, что обладает разрушительной силой атомной бомбы или смертоносной эпидемии, но легко изготавливается из привычных нам материалов. Открытия хотя бы одной такой технологии может быть достаточно, чтобы дальнейшее существование человеческой цивилизации стало невозможным.
 Часть третья 
 Путь вперед 
 Глава 6 
 Рисковый ландшафт 
Если человечество намерено выжить и перейти на более высокий уровень, ему необходим новый тип мышления. Альберт Эйнштейн[463] 
Будущее человечества находится под угрозой, которая становится все серьезнее. В дополнение к природным рискам, существовавшим испокон веков, появились антропогенные, а на горизонте маячат новые опасности, и с каждым шагом мы оказываемся все ближе к краю пропасти.
Подробно рассмотрев каждый из рисков, мы наконец можем взглянуть на ситуацию шире и увидеть общую картину. Мы можем изучить весь ландшафт экзистенциального риска и понять, как риски соотносятся друг с другом, что у них общего и какие риски требуют нашего внимания в первую очередь.
 Количественная оценка рисков 
Как выглядит рисковый ландшафт? Какие риски формируют этот ландшафт, а какие – остаются лишь деталями? Теперь мы в состоянии ответить на эти вопросы.
Для этого необходимо провести количественную оценку рисков. Люди часто сомневаются в том, стоит ли оценивать катастрофические риски количественно, и предпочитают качественные характеристики, такие как “невероятный” и “крайне маловероятный”. Но в результате возникают серьезные проблемы во взаимодействии, поскольку понимать друг друга становится сложнее. Важнее всего, что такие фразы крайне неоднозначны и по-разному воспринимаются разными людьми. Например, “крайне маловероятным” одни считают риск с вероятностью один к четырем, а другие – один к пятидесяти[464]. Таким образом, работа, проведенная для точной оценки риска, немедленно идет насмарку. Кроме того, смысл этих фраз определяется тем, что стоит на кону: если риск “крайне маловероятен”, значит, он “достаточно низок, чтобы мы могли не принимать его в расчет” – и не привязан к нейтральной оценке степени вероятности[465]. Это приводит к проблемам при обсуждении рисков высокой важности, где даже малые вероятности могут иметь огромное значение. Наконец, без цифр не обойтись, если мы хотим обоснованно сравнивать вероятности разных рисков или классов рисков.