Пекло - Джим Чайковски (2019)

Мара с этим парнем сразу сошлась. Уже в машине они принялись обсуждать какие-то технические проблемы, быстро нашли общий язык и теперь улыбались друг другу, как лучшие друзья. Не ускользнула от Карли ни застенчивая улыбка Мары, ни то, как она поправляет свои черные волосы и бросает на Джейсона быстрые косые взгляды.

Все это вызывало странные чувства: то ли Карли стремилась защитить подругу, то ли попросту ревновала. Во всяком случае, ей хотелось, чтобы Джейсон оставил их в покое и вернулся к своей группе. А когда Мара, нагнувшись, как бы невзначай положила руку ему на колено, Карли едва не вскипела от злости.

Гневно смотрела она на руку Мары, вспоминая тепло и мягкость ее ладони. Мара же не замечала чувств подруги; ее взгляд был устремлен на симпатичного американца, и легкая улыбка играла на ее полных губах.

– Что ж, – сказала она, – я готова рискнуть. Расскажи о Василиске Роко.

– Это мысленный эксперимент, опубликованный на форуме Элиезера Юдковски, программиста из Калифорнийской исследовательской сети.

– Юдковски? – удивленно раскрыв глаза, повторила Мара.

– Ты его знаешь? – спросил Джейсон.

Мара повернулась к Карли.

– Помнишь, я рассказывала тебе об эксперименте «Искусственный интеллект в тюрьме»?

Та кивнула.

– Это когда какой-то парень притворился суперкомпьютером и начал уговаривать охранные программы выпустить его из цифровой тюрьмы?

– Вот именно, – Мара улыбнулась. – Тот человек, которому каждый раз удавалось обмануть «сторожей» и ускользнуть, и был Юдковски.

Карли нахмурилась.

– Хорошо, и что за мысленный эксперимент у него на форуме?

– Он постулирует, – начал объяснять Джейсон, – что искусственный суперинтеллект неизбежно будет создан, быстро эволюционирует и разовьется до богоподобного состояния, станет почти всемогущим. Одним из важнейших мотивов этого нового искусственного бога станет стремление к совершенству, к улучшению себя и всего, что его окружает.

Мара кивнула.

– Да, большинство экспертов считают, что именно это и произойдет, если мы не будем осторожны.

– Верно. Этот всемогущий интеллект и есть Василиск, монстр нашей истории, – продолжал Джейсон. – Все действия «искусственного бога» будут подчинены стремлению к совершенству, а значит, все и вся, что препятствует этому стремлению, он будет рассматривать как своих врагов. И главнейшими его врагами станут те, кто мешал ему появиться на свет.

– Даже мы? – подхватила Карли, вопреки своим чувствам, заинтригованная объяснением.

– Особенно мы. Хорошо зная людей, он будет понимать, что одна из основных наших мотиваций – страх, в том числе страх наказания. Поэтому, чтобы убедить человечество в будущем не покушаться на него и не вмешиваться в его работу, он заглянет в прошлое, найдет там тех, кто пытался остановить его появление, и подвергнет их самым жестоким мукам.

– Чтобы сделать их примером для остальных, – подхватила Мара.

– А что, если в будущем эти люди уже умрут?

– Не важно. Василиска это не остановит. Он же всемогущий бог – что ему помешает воскресить преступников из прошлого? Он создаст твою точную копию, настолько точную, что она начнет считать себя тобой, – и станет безжалостно мучить ее целую вечность.

– Создаст цифровой ад, – побледнев, проговорила Мара.

– И учтите, Василиск, стремящийся к совершенству, будет судить людей очень сурово! И, возможно, захочет наказать не только тех, кто активно мешал ему появиться на свет. Быть может, он решит, что такого же наказания заслуживают и те, кто не помогал.

– Покарает за грех бездействия? – поморщившись, уточнила Мара.

– Выходит, либо мы сейчас же переходим на его сторону, – заключила Карли, – либо мы обречены.

– В этом мораль истории. И теперь, когда вы всё знаете, – увы, у вас больше нет оправданий для бездействия. На суде вы не сможете отговориться невежеством.

– Значит, ты нас сейчас приговорил, – закончила Карли.