На краю пропасти. Экзистенциальный риск и будущее человечества

 510 
На мой взгляд, с серьезными размышлениями об идеальном будущем лучше всего справляется научная фантастика, и не в последнюю очередь это объясняется тем, что ей позволено рисовать миры, где уровень технологического развития значительно превышает текущий. В “твердой” научной фантастике описываются общества, амбиции и достижения которых ограничиваются лишь фундаментальными физическими законами. В “мягкой” научной фантастике рассматривается, что может пойти не так, если различные идеалы нашего времени будут доведены до крайности, и какие новые этические проблемы возникнут, если новые технологии откроют нам радикально новые пути для личного и общественного развития. Прекрасным примером, в котором объединяются оба поджанра, служит “Диаспора” (1997) Грега Игана, где почти все существа цифровые, что сильно меняет пространство возможной утопии.
Однако у таких рассуждений есть и минусы, поскольку они ограничены рамками художественных произведений. Из-за этого приходится соблюдать баланс между тем, чтобы исследовать миры, которые действительно могли бы быть утопиями, и делать их достаточно интересными для читателя, как правило допуская существование фундаментальных угроз благополучию человечества. И это значит, что внимание критиков направляется главным образом на стиль, раскрытие образов и тому подобные вещи, а конструктивные попытки авторов создать и детализировать свою картину будущего отходят на второй план.
 511 
Поскольку спрогнозировать итоги раздумья непросто, запустить процесс, вероятно, будет легче: нам поможет покров неведения. Если бы нам было более или менее ясно, к какому из вариантов будущего в конце концов подтолкнет нас долгое раздумье, у нас возник бы соблазн судить об этом в свете текущих представлений об этике. В таком случае те, чьи текущие виды на будущее далеки от того, каким оно станет в итоге, вероятно, захотели бы воспрепятствовать этим размышлениям. Однако, поскольку сейчас мы никак не можем сказать, к чему нас приведет этот процесс, мы все понимаем, что лучше выбрать будущее по дополнительном размышлении, вместо того чтобы просто вступать в противоборство, отстаивая свои текущие взгляды. Этот покров неведения, вероятно, сможет даже решить проблемы, возникающие из за того, что люди до абсурда уверены в своих взглядах. Ведь если представители каждого из лагерей полагают, что их позиция исключительно хорошо подкрепляется аргументами, они также будут считать, что именно их точка зрения возобладает по окончании тщательного размышления.
 512 
Если компромиссные варианты покажутся нам даже менее привлекательными, чем любой из “чистых” вариантов, с которых мы начинали, в конце концов можно просто сделать случайный выбор из оставшихся у нас чистых вариантов – например, присвоив им вероятности в зависимости от степени их поддержки.
Но я полагаю, что существуют и взаимовыгодные компромиссы. Например, теории морали можно разделить на те, в которых оценка ценности исходов повышается примерно в соответствии с увеличением объема расходуемых ресурсов, и те, где отдача резко падает. К первому типу относится классический утилитаризм, в соответствии с которым две галактики могут поддерживать вдвое больше счастья, чем одна, а следовательно, дают вдвое большую отдачу. Ко второму типу можно отнести практическую мораль, ведь интуитивно большинство людей не видит смысла в том, чтобы обеспечивать процветание за пределами планеты или галактики. Такие различия открывают путь к компромиссам, которые кажутся весьма выгодными обеим сторонам. Я называю этот феномен моральным компромиссом (Ord, 2015).
В частности, можно заключить “великий компромисс” между теориями морали, если сторонники теорий о падающей предельной полезности ресурсов решают, что делать с будущим нашей галактики, а сторонники теорий о высокой ценности дополнительных ресурсов решают, что делать с будущим всех остальных галактик во Вселенной (если только они не пускают ресурсы на вещи, которые активно не одобряют сторонники первых теорий). Конфликта удастся избежать, если каждая из групп увидит, что исход более чем на 99 % совпадает с оптимальным, а следовательно, выгода оказывается гораздо большей, чем если они вступят в борьбу за контроль над будущим или решат, к кому он перейдет, бросив жребий.
 
 513 
Возможно, для успешного долгого раздумья нужно будет расширить наши способности в результате одного из таких радикальных изменений. В таком случае мы окажемся в щекотливом положении, ведь нам придется сравнивать риск, сопряженный с внесением изменения, последствия которого непредсказуемы, с риском упустить при раздумье нечто важное, если наши способности останутся на прежнем уровне.
 514 
Для наглядности можно сравнить этот период с эпохой Возрождения. Большинство людей в Европе не принимало активного участия в возрождении культуры и накоплении знаний, и все же это грандиозный проект, которым прославилась Европа XIV–XVII веков. Различия в том, что долгое раздумье должно охватить весь мир, а принять в нем участие должно быть проще.
 515 
Schell (1982), p. 229.
 516 
Долгое раздумье может наложиться на последний этап реализации нашего потенциала, и они могут достаточно долго идти параллельно. Дело в том, что раздумья необходимы лишь перед совершением необратимых действий. Если обсуждение некоторых необратимых действий завершится раньше, их можно будет предпринимать, продолжая дискуссию об остальных шагах.
 517 
Порой я слышу из уст коллег, что важнее экзистенциального риска может быть вопрос о том, как относиться к бесконечной ценности (Bostrom, 2011a; Askell, 2018). Здесь стоит отметить две вещи: во первых, это вызов таким теориям, как утилитаризм, которые сложно применять в бесконечной Вселенной (а космологи полагают, что наша Вселенная именно такова), а во вторых, вопрос, можно ли создать нечто, обладающее бесконечной ценностью (что, вероятно, перевесило бы огромную, но конечную ценность защиты человечества).
Я не знаю, безумны эти вопросы или же глубоки. Как бы то ни было, их рассмотрение можно отложить до того момента, когда мы обеспечим экзистенциальную безопасность. Говоря о необходимости не допустить экзистенциальной катастрофы, мы не опираемся на такие теории, как утилитаризм, а если создать бесконечную ценность действительно можно, то экзистенциальная безопасность повысит наши шансы на это. Следовательно, даже рассмотрение таких вопросов, ответы на которые могут радикально изменить наш подход к оценке лучших вариантов будущего для человечества, предпочтительнее отложить на период долгого раздумья.
Некоторые этические вопросы о нашем долгосрочном будущем могут быть даже более насущными, чем задача обеспечения экзистенциальной безопасности, и потому их рассмотрение откладывать нельзя. Их важно найти и рассмотреть параллельно с обеспечением экзистенциальной безопасности.
 518 
Стивен Хокинг (Highfield, 2001): “Вряд ли человечество проживет еще тысячу лет, если не расселится по космосу. На одной планете с нами может случиться слишком много неприятностей. Но я оптимист. Мы доберемся до звезд”.
Айзек Азимов (1979, p. 362; перевод А. Девеля и Л. Девель): “И если мы сделаем этот выбор в двадцать первом столетии, мы можем распространиться в космосе и утратить свою уязвимость. Мы больше не будем зависеть от одной планеты или от одной звезды. И тогда человечество или его разумные потомки и их союзники смогут существовать и после прекращения существования Земли, после прекращения существования Солнца, после (кто знает?) прекращения существования нашей Вселенной”.
Майкл Гриффин, руководитель NASA (2008): “История жизни на Земле – это история вымираний, и экспансия человека в Солнечную систему, по сути, необходима для выживания вида”.