Наша математическая вселенная. В поисках фундаментальной природы реальности - Макс Тегмарк (2014)

Однако и лучшие планы рушатся. Ситуация с дружественным ИИ может оказаться неустойчивой, превратившись в конце концов в подконтрольную недружественному ИИ, цели которого не будут совпадать с человеческими, а действия приведут к уничтожению и самого человечества, и всего, что нам дорого. Такое уничтожение может быть скорее побочным эффектом, чем преднамеренным результатом: ИИ может просто захотеть использовать земные атомы для других целей, несовместимых с нашим существованием. Аналогия с тем, как мы сами обращаемся с иными формами жизни, не радует. Если мы хотим построить гидроэлектростанцию и оказалось, что в области затопления живёт некоторое число муравьёв, мы всё равно построим плотину. У нас нет особенной антипатии к муравьям, однако есть цели, которые мы считаем более важными.

Внутренняя реальность сверхразумной жизни

А что можно сказать о сознании и самосознании искусственного интеллекта или интеллектов? Будут ли они обладать внутренней реальностью? Если нет, то с любой практической точки зрения они будут как зомби. Из всех черт, присущих человеческой форме жизни, самой замечательной я считаю сознание. Насколько я понимаю, именно так Вселенная приобретает смысл, а если нашу Вселенную захватит форма жизни, лишённая этой черты, это окажется бессмысленным разбазариванием огромного пространства.

О природе жизни и сознания яростно спорят. Я считаю, что эти явления могут существовать в гораздо более общем смысле, а не только в известных нам примерах на углеродной основе. Я считаю, что сознание — это способ, каким информация ощущает, что её обрабатывают (гл. 11). Поскольку материя может быть организована так, чтобы обрабатывать информацию множеством способов самой разной сложности, предполагается большое разнообразие уровней и типов сознания. Конкретный тип сознания, который мы знаем субъективно, — это, в таком случае, явление, возникающее в отдельных, очень сложных физических системах, которые получают, обрабатывают, хранят и выводят информацию. Ясно, что если атомы могут быть собраны в людей, то законы физики также позволяют сконструировать гораздо более развитые формы жизни.

Поэтому я думаю, что если мы посредством сингулярности запустим в конце концов развитие более развитых сущностей, скорее всего они тоже будут иметь самосознание и должны будут рассматриваться не как машины, а как подобные нам сознательные существа. Однако их сознание может субъективно ощущаться совсем не так, как наше. Например, у них, вероятно, не будет присущего нам страха смерти: поскольку у них будут резервные копии самих себя, всё, что им может грозить — это потеря воспоминаний, накопленных с момента последнего бэкапа. Возможность легко копировать информацию и программное обеспечение между носителями ИИ, вероятно, ослабит чувство индивидуальности, которое характерно для человеческого сознания. Стало бы меньше различий между вами и мной, если бы мы могли легко копировать наши воспоминания и делиться способностями, так что группа соседствующих носителей ИИ может ощущать себя скорее как единый организм с целым ульем сознаний.

Если так, то появляется возможность примирить долгосрочное сохранение жизни с аргументом Судного дня (гл. 11): то, что кончается, — не сама жизнь, а только наш референтный класс, наблюдательные мгновения самосознания, которые субъективно ощущаются похожими на человеческие сознания. Даже если сложные ульеподобные сознания в течение миллиардов лет населяют Вселенную, мы не в большей мере должны удивляться тому, что не являемся ими, чем тому, что мы не являемся муравьями.

Реакция на сингулярность