Сингулярность

Проблема не в том, что Сингулярность представляет собой просто уход человечества с авансцены, а в том, что она противоречит нашим глубочайшим концепциям бытия. Я думаю, что более пристальное рассмотрение понятия «сильно сверхчеловеческого» может показать нам, почему это так.





«Сильно сверхчеловеческое» и лучшее, чего мы могли бы просить




Допустим, что мы можем скроить Сингулярность по своим меркам. Допустим, что мы можем воплотить самые причудливые свои надежды. Чего тогда мы будем просить: чтобы люди сами по себе стали своими наследниками, чтобы любая совершающаяся несправедливость была смягчена нашим знанием собственных корней? Для тех, кто останется неизмененным, целью будет хорошее обращение (может быть, даже придание оставшимся позади видимости повелителей богоподобных рабов). Это может быть золотой век, который при этом подразумевает прогресс (переход через барьер Стента). Бессмертие (или хотя бы долгожитие в течение того времени, пока мы не дадим вселенной погибнуть [9], [3]) тоже станет достижимым.

Но в этом самом светлом и самом добром мире пугающими становятся сами по себе философские проблемы. Ум, сохраняющий свою емкость, не может жить вечно: после нескольких тысяч лет он превращается из личности в закольцованную магнитную ленту (самую жуткую картину на эту тему я видел в [17]). Чтобы жить неопределенно долго, ум сам по себе должен расти… а когда он станет достаточно велик и оглянется назад… разве будет он чувствовать себя чем-то родственным тому, что было изначально? Конечно, это позднее существо будет всем тем, чем был когда-то оригинал, но и много чем еще. Таким образом, даже для индивидов наблюдение Кэрнс-Смита (или Линн Маргулис) о понятии постоянного роста, развитии новой жизни из старой должно оставаться верным.

Эта «проблема бессмертия» возникает и куда более прямыми способами. Для практичного рационализма последних веков фундаментом служит понятие «я» и самосознания. Но сейчас понятие самосознания находится под атакой со стороны разработчиков ИИ («самосознание и другие самообманы»). Усиление интеллекта подрывает важность «я» с иного направления. Постсингулярный мир будет включать в себя весьма высокоскоростные сети. Центральной чертой сильно сверхчеловеческих сущностей станет, вероятно, их способность общаться на различной широте полосы пропускания, в том числе на скоростях куда больших, чем нужно для речи или письменных сообщений. Что произойдет с фрагментами «я», когда их можно будет копировать и сливать, когда размер самосознания сможет расти или сокращаться в соответствии с решаемой задачей? А это ведь будут весьма существенные черты сильно сверхчеловеческого и Сингулярности. Думая об этом, начинаешь чувствовать, насколько по сути своей странной и совсем иной станет постчеловеческая эра – независимо от того, насколько разумной и благожелательной она задумывалась.

С одной стороны, такая перспектива отвечает многим из самых счастливых наших мечтаний: бескрайний простор, где мы можем поистине знать друг друга и понимать глубочайшие тайны вселенной. С другой стороны, оно весьма напоминает худший сценарий, который я представлял себе выше в этой работе.

Какая же точка зрения валидна? На самом деле я думаю, что новая эра просто будет слишком иной, чтобы уместиться в классических рамках добра и зла. Эти рамки основаны на идее об изолированных неизменных умах, соединенных слабыми низкоскоростными связями. А мир пост-Сингулярности отвечает более широкой традиции перемен и сотрудничества, которая зародилась, быть может, даже раньше биологической жизни. Все же я думаю, что какие-то понятия этики будут применимы и в той эпохе. Исследования в области УИ и широкополосных коммуникаций должны помочь нам в этом разобраться. Я уже вижу проблески понимания в золотом метаправиле Гуда и, быть может, в правилах для различения себя и окружающего мира на основе широкополосности или узкополосности связи. И так как ум и самосознание будут куда более лабильны, чем раньше, многое из того, что мы ценим (знание, память, мысль), не будет утеряно. Я думаю, Фримен Дайсон правильно это понимал, когда сказал [8]: «Бог – это то, чем становится разум, когда выходит за масштаб нашего восприятия».



(Я хотел бы выразить благодарность Джону Кэрролу из Университета штата Сан-Диего и Ховарду Дэвидсону из «Сан микросистемз» за обсуждение черновика этой статьи.)





Аннотированные источники [и кое-где просьбы библиографической помощи]




[1] Alfve´n, Hannes, под именем Olof Johanneson, The End of Man?, Award Books, 1969, ранее опубликовано как «The Tale of the Big Computer», Coward-McCann, переведено из книги © 1966 Albert Bonniers Forlag AB, английский перевод © 1966 by Victor Gollanz, Ltd.

[2] Anderson, Poul, «Kings Who Die», If, March 1962, p. 8–36. Перепечатано в Seven Conquests, Poul Anderson, MacMillan Co., 1969.

[3] Barrow, John D. and Frank J. Tipler, The Anthropic Cosmological Principle. Oxford University Press, 1986.

[4] Bear, Greg, «Blood Music», Analog Science Fiction-Science Fact. June, 1983. Развернуто в роман Blood Music. Morrow, 1985.

[5] Cairns-Smith, A. G., Seven Clues to the Origin of Life. Cambridge University Press, 1985.

[6] Conrad, Michael et al., «Towards an Artificial Brain», BioSystems, vol. 23, p. 175–218. 1989.

[7] Drexler, K. Eric, _\Engines of Creation, Anchor Press/Doubleday, 1986.

[8] Dyson, Freeman, Infinite in All Directions, Harper & Row, 1988.

[9] Dyson, Freeman, «Physics and Biology in an Open Universe», Review of Modern Physics, vol. 51, p. 447–460. 1979.

[10] Good, I. J., «Speculations Concerning the First Ultraintelligent Machine», in Advances in Computers, vol. 6, Franz L. Alt and Morris Rubinoff, eds, p. 31–88. 1965, Academic Press.

[11] Good, I. J., [Прошу помощи! Никак не могу найти источник золотого метаправила Гуда, хотя ясно помню, что слышал о нем где-то в 1960-х. С помощью сети я нашел указатели на некоторые связанные тексты: G. Harry Stine и Andrew Haley написали об этом метазаконе в том виде, в каком он мог бы относиться к внеземным существам: G. Harry Stine, «How to Get along with Extraterrestrials… or Your Neighbor», Analog Science Fact – Science Fiction. February, 1980, p. 39–47.]

[12] Herbert, Frank, Dune, Berkley Books, 1985. Однако этот роман печатался сериями в Analog Science Fiction-Science Fact в 1960-х.

[13] Kovacs, G. T. A. et al., «Regeneration Microelectrode Array for Peripheral Nerve Recording and Stimulation», IEEE Transactions on Biomedical Engineering, vol. 39, nr 9, p. 893–902.

[14] Margulis, Lynn and Dorion Sagan, Microcosmos, Four Billion Years of Evolution from Our Microbial Ancestors. Summit Books, 1986.

[15] Minsky, Marvin, Society of Mind. Simon and Schuster, 1985.

[16] Moravec, Hans, Mind Children. Harvard University Press, 1988.

[17] Niven, Larry, «The Ethics of Madness», If, April 1967, p. 82–108. Reprinted in Neutron Star. Larry Niven, Ballantine Books, 1968.

[18] Penrose, R., The Emperor’s New Mind, Oxford University Press, 1989.

[19] Platt, Charles, Частное сообщение.

[20] Rasmussen, S. et al., «Computational Connectionism within Neurons: a Model of Cytoskeletal Automata Subserving Neural Networks», in Emergent Computation. Stephanie Forrest, ed., p. 428–449. MIT Press, 1991.


[21] Searle, John R., «Minds, Brains, and Programs», in The Behavioral and Brain Sciences, vol. 3. Cambridge University Press, 1980. Это эссе перепечатано в The Mind’s I, edited by Douglas R. Hofstadter and Daniel C. Dennett. Basic Books, 1981. В перепечатке содержится превосходная рецензия на эту статью.

[22] Sims, Karl, «Interactive Evolution of Dynamical Systems», Thinking Machines Corporation, Technical Report Series (опубликовано в Toward a Practice of Autonomous Systems: Proceedings of the First European Conference on Artificial Life. Paris, MIT Press, December 1991.

[23] Stapledon, Olaf, The Starmaker. Berkley Books, 1961 (но из вещи, написанной предположительно до 1937 года).

[24] Stent, Gunther S., The Coming of the Golden Age: A View of the End of Progress. The Natural History Press, 1969.

[25] Swanwick Michael, Vacuum Flowers, печаталось сериями в Isaac Asimov’s Science Fiction Magazine, December(?) 1986 – February 1987. Переиздано Ace Books, 1988.

[26] Thearling, Kurt, «How We Will Build a Machine that Thinks», семинар в Thinking Machines Corporation. Личное сообщение.

[27] Ulam, S., Tribute to John von Neumann, Bulletin of the American Mathematical Society, vol. 64, nr 3, part 2, May, 1958, p. 1–49.

[28] Vinge, Vernor, «Bookworm, Run!», Analog, March 1966, p. 8–40. Перепечатано в True Names and Other Dangers. Vernor Vinge, Baen Books, 1987.

[29] Vinge, Vernor, «True Names», Binary Star Number 5. Dell, 1981. Перепечатано в True Names and Other Dangers. Vernor Vinge, Baen Books, 1987.

[30] Vinge, Vernor, First Word, Omni, January 1983, p. 10.





Что, если сингулярность не наступит?





«Слайды» к моему выступлению на семинаре «Мысли о перспективах» (Long-Term Thinking), состоявшемуся 15 февраля 2007 года, можно найти по адресу: https://edoras.sdsu.edu/~vinge/longnow/





Необходимое уточнение




Дав своему выступлению такое название, я, разумеется, должен дать определение технологической сингулярности и кратко разъяснить, что имею в виду под этим термином.

Кажется весьма вероятным, что с имеющейся у нас технологией в самом ближайшем будущем мы сможем создать существа, превосходящие человека по всем интеллектуальным и творческим параметрам – или самим стать ими. События, которые произойдут после этого момента, – назовем его Технологической Сингулярностью, – мы можем себе вообразить не лучше, чем плоский червь – оперу.

Предыдущая фраза по определению лишает практического смысла любое долгосрочное планирование в будущем сингулярности.

Однако может случиться, что сингулярность не наступит, и в таком случае любое планирование, выходящее за пределы ближайших пятидесяти лет, может приобрести значительную практическую важность. В любом случае хороший автор научной фантастики (или планировщик возможного сценария) должен рассматривать альтернативные исходы.

Следует добавить, что альтернативы, которые я намерен сегодня обсудить, предполагают, что способ путешествия быстрее света не изобретен!

Важное замечание для тех, кто набредет на это выступление вне контекста:-) Я по-прежнему считаю Сингулярность наиболее вероятным из некатастрофических исходов в нашем ближайшем будущем.



Существует множество правдоподобных катастрофических сценариев (см. Мартин Рис, Our Final Hour), но сегодня я попробую рассмотреть те виды будущего без сингулярности, где человечество все-таки сможет выжить.





Век несбывшихся мечтаний




Правдоподобным объяснением «ненаступления сингулярности» является то, что мы еще не научились «делать нужный софт» (или, если вы склонны выражаться мистически, «находить душу в железе»). Вот некоторые возможные симптомы:

• Создание программного обеспечения (software creation) по-прежнему остается отраслью программотехники (software engineering).

• Программные проекты, создаваемые для использования возрастающей мощи аппаратуры, заканчиваются все более и более оглушительным крахом. Например:

• Провалы проекта настолько глубоки, что никаким количеством денег их невозможно замаскировать, единственный вариант – решительно отказаться от проекта.

• Сбои в крупных, полностью автоматизированных проектах приводят к катаклизмам (недосмотр человека-диспетчера приводит к столкновению двух самолетов, а глюк в полностью автоматизированной системе может свести в одной точке пространства-времени десяток самолетов).