Наша математическая вселенная. В поисках фундаментальной природы реальности - Макс Тегмарк (2014)

Реакция людей на возможность сингулярности очень различается. У дружественного ИИ весьма почтенная история в научно-фантастической литературе, поддержанная тремя законами робототехники Азимова. Популярны и сюжеты, в которых ИИ перехитрил и атаковал своих создателей, как в фильмах о Терминаторе. Многие отмахиваются от сингулярности как от «мечты гиков», видя в ней сценарий, который вряд ли реализуется… и уж точно не реализуется в обозримом будущем. Другие думают, что это вполне может случиться и что если у нас не будет детального плана, может погибнуть не только человеческий вид, но и всё, что нам дорого. Я состою советником в Институте изучения искусственного интеллекта (), и многие его сотрудники рассматривают сингулярность как наиболее серьёзную угрозу нашего времени. Некоторые из них думают, что если нельзя гарантировать реализацию варианта с дружественным ИИ по Юдковски и др., то лучше держать ИИ под надёжным человеческим контролем или вовсе не улучшать ИИ.

До сих пор мы обсуждали негативные последствия сингулярности. Рэй Курцвейл, напротив, считает сингулярность огромным благом и даже лучшим, что может случиться с человечеством, поскольку она решит все нынешние человеческие проблемы.

Вдохновляет или ужасает вас идея замены человечества более развитой формой жизни? Это, вероятно, сильно зависит от обстоятельств и, в частности, от того, видите ли вы в преемниках своих потомков или поработителей.

Если ребёнок оказался умнее своих родителей и, став самостоятельным, достиг того, о чём они и не мечтали, то родители, вероятно, будут счастливы и горды им, даже если знают, что самим им не суждено всё это испытать. Родители очень умного человека, устроившего кровавую бойню, чувствуют себя иначе. Мы можем ощущать отношения родитель — ребёнок с ИИ, рассматривая его как наследника наших ценностей. Поэтому имеет огромное значение, станет ли будущая высокоразвитая жизнь хранить верность нашим идеалам.

Другой важный фактор — окажется переход постепенным или резким. Я подозреваю, что мало кто обеспокоен перспективами человечества. Люди за тысячелетия своей эволюции стали умнее, лучше приспосабливаются к изменяющейся окружающей среде и, возможно, меняют свой облик. С другой стороны, многие родители будут испытывать двойственные чувства, если узнают, что ребёнок, о котором они мечтали, будет стоить им жизни. Если технология не заменит нас внезапно, а будет модернизировать и совершенствовать нас, в итоге сливаясь с нами, то может быть обеспечено и сохранение целей, и постепенность, необходимые нам, чтобы рассматривать постсингулярные формы жизни в качестве потомков. Мобильные телефоны и интернет уже расширили наши возможности по достижению того, чего мы хотим, по-видимому, без существенного искажения наших главных ценностей. Так что адепты сингулярности верят, что то же самое будет и с мозговыми имплантатами, устройствами, управляемыми мыслью, и даже с полной загрузкой человеческого сознания в виртуальную реальность.

Более того, это открывает нам космос, последний рубеж. В конце концов, чрезвычайно развитая жизнь, способная распространиться во Вселенной, вероятно, может появиться лишь в результате двухстадиального процесса: сначала разумные существа развиваются в ходе естественного отбора, а затем решают передать факел жизни дальше, сконструировав более совершенное сознание, способное к дальнейшему самосовершенствованию. Освобождённая от ограничений, накладываемых человеческими телами, развитая жизнь может расцвести и в конце концов заселить большую часть наблюдаемой Вселенной. Эту возможность давно изучают писатели-фантасты, энтузиасты ИИ и мыслители-трансгуманисты.