На краю пропасти. Экзистенциальный риск и будущее человечества
560
См. Bostrom (2002b).
561
Это различие проводит Бустрём (Bostrom, 2014). В своем обзоре я опирался на его работу в соответствующей сфере.
562
Точное время, за которое экспонента уменьшается вдвое, – это натуральный логарифм 2 (≈0,69), деленный на годовой риск, а средняя продолжительность выживания – просто единица, деленная на годовой риск.
Обратите, однако, внимание, что падающей экспонентой описывается лишь объективная вероятность выживания. Поскольку мы не знаем, за какое время вдвое уменьшится субъективная вероятность нашего выживания, она представляется как взвешенное среднее двух этих экспонент и, как правило, сама не является экспонентой. В частности, у нее обычно более толстый хвост. (Такой же эффект наблюдается, когда мы не уверены в ставке дисконтирования; см. с. 290–291.)
563
Могут быть и риски, которые не входят ни в одну из этих категорий.
564
Различие между рисками состояния и рисками переходного периода не четкое. В частности, когда речь идет о рисках меняющегося характера, оно может зависеть от временных рамок. Возьмем, к примеру, риск ядерной зимы. В одних временных рамках он представляется риском состояния – и это логично для периода с 1960 по 1990 год. Но если уменьшить масштаб, мы увидим серию переходов, которыми нужно было управлять. Если увеличить масштаб, включив в рамки весь период до текущего момента, покажется, что уровень риска сильно различается при двух разных режимах (во время и после холодной войны). Если увеличить масштаб, включив в рамки все время, на протяжении которого человечество остается уязвимым для ядерного оружия, этот риск в масштабе веков снова покажется риском состояния, а геополитические колебания в масштабах десятилетий потеряют значимость. Если же еще сильнее увеличить масштаб, чтобы лишь небольшая область риска ядерной войны оказалась зажатой между доядерной и постъядерной эпохами, этот риск снова лучше будет рассматривать в качестве риска переходного периода, который ставит вопрос о том, как человечеству осуществить переход к режиму, при котором ядерную энергию удастся обуздать.
Подобное наблюдается при анализе риска ОИИ. Как только ОИИ будет разработан, человечество станет уязвимо для чрезвычайных происшествий, связанных с ним, и злоупотреблений со стороны тех, кто имеет к нему доступ. Покончить с этим можно будет лишь путем активных действий. В этот период (который может оказаться коротким) риск, сопряженный с ОИИ, будет риском состояния, но при расширении временных рамок он станет риском переходного периода.
Несмотря на существование таких неоднозначных случаев, проводить это различие полезно. Даже в описанных ситуациях оно позволяет изучать изменчивую природу рисков.
565
Эту мысль первым высказал Бустрём (Bostrom, 2013, pp. 24–26).
566
Разумеется, исследователь всегда утверждает, что исследования стоит продолжать. Надеюсь, читатель сможет понять, почему продолжение исследований экзистенциального риска действительно принесет огромную пользу человечеству. Здесь исследования нужны не просто для ответа на произвольно выбранный научный вопрос. Они нужны, чтобы ответить на чрезвычайно важный вопрос (что делать, чтобы лучше всего защитить долгосрочный потенциал человечества?), который пока практически не исследовался.
567
Например, к моменту написания этой книги вышло всего два исследования воздействия полномасштабной ядерной войны на климат, проведенных после окончания холодной войны в 1991 году (Robock, Oman & Stenchikov, 2007; и Coupe et al., 2019), а исследований ее воздействия на сельское хозяйство не публиковалось с 1986 года (Harwell & Hutchinson, 1986).
568
Например, исследовательскую стипендию, которая дала мне время на написание этой книги, мне предоставил индивидуальный благотворитель.
569
Они также выделили крупный грант в поддержку оксфордского Института будущего человечества, где я работаю.
570
Особенно ценно их движимое искренней заботой о деле желание финансировать исследования, которые действительно приносят максимум пользы, поскольку если просто увеличивать финансирование исследований экзистенциального риска, то средства, вероятно, будут направляться главным образом в уже сложившиеся области (возможно, после удачного ребрендинга) и лишь малая их часть будет выделяться на поистине прорывную и смелую работу. Также можно ожидать, что общее финансирование будет направляться на исследование более понятных рисков (например, астероидов), а более серьезные, но менее изученные риски (например, сопряженные с продвинутым искусственным интеллектом) останутся без внимания. Кроме того, финансироваться может и работа с катастрофическими рисками, которые не входят в категорию экзистенциальных. Если ведущие грантодатели начнут выделять средства на исследование экзистенциального риска, им необходимо соблюдать осторожность, чтобы не нарушить порядок приоритетов в отрасли. См. также Bostrom (2013, p. 26).
571
Есть и другие исследовательские институты, например Институт будущего жизни (FLI) и Институт глобального катастрофического риска (GCRI).
572
Отличный пример – энвайронментализм. На заре своего существования движение в защиту окружающей среды было гораздо менее политически ангажированным и добилось немалых успехов. Ричард Никсон основал Агентство по охране окружающей среды США, а Рейган заявил: “Необходимость защиты окружающей среды диктуют не программы либералов и консерваторов, а здравый смысл”. На мой взгляд, движение добилось бы большего, если бы ему удалось сохранить свою неангажированность.
573
Взять хотя бы движение в защиту окружающей среды. Первые энвайронменталисты главным образом сталкивались с проблемами загрязнения, снижения биологического разнообразия, вымирания и дефицита ресурсов. Но они не называли себя ни “экстинкционистами”, ни “поллюционистами” [от англ. extinc-tion – “вымирание” и pollution – “загрязнение”. – Прим. перев.]. Они отождествляли себя не с проблемами, с которыми боролись, а с положительной ценностью, которую всячески старались сберечь.
574
На момент написания этой книги у всех на слуху DeepMind и OpenAI. Им нужны толковые исследователи в сфере безопасности ИИ и умелые программисты – особенно те, кто воспринимает экзистенциальный риск всерьез.
575
В число организаций, работающих над снижением экзистенциального риска, входят:
Институт будущего человечества (FHI);
Центр изучения экзистенциального риска (CSER);
Институт будущего жизни (FLI);
Институт глобального катастрофического риска (GRCI);
Инициатива по исследованию экзистенциального риска в Беркли (BERI);
Проект “Открытая филантропия” (OpenPhil);
Инициатива по исследованию ядерной угрозы (NTI);
Бюллетень ученых-атомщиков;
Фонд глобальных вызовов;
Группа правового регулирования экзистенциальных рисков (LGER);
Альянс “Накормим Землю в разгар бедствий” (ALLFED).
На сайте 80 000 Hours перечисляются профессии, выбрав которые можно внести в общее дело наибольший вклад, и публикуются объявления о вакансиях: http://80000hours.org/job-board.
Кроме того, там объясняется, какие профессии действительно помогают миру: http://80000hours.org/career-reviews.
576