Как работает мозг - Стивен Пинкер (1997)

Впрочем, так же нелегко запрограммировать и более высокие и добрые побуждения. Как заставить робота подчиняться предписанию Азимова никогда не допускать бездействием, чтобы человеку был нанесен вред? Действие написанного в 1965 году романа Майкла Фрейна «Оловянные солдатики» разворачивается в робототехнической лаборатории, где работники отдела этики – Мак-Интош, Голдвассер и Синсон – проверяют своих роботов на альтруизм. Они восприняли слишком буквально гипотетическую моральную дилемму, приводимую в пример во всех учебниках по нравственной философии: два человека оказались в спасательной шлюпке, рассчитанной на одного, и оба погибнут, если один из них не прыгнет за борт. Мак-Интош и его сотрудники помещают каждого робота на плот вместе с еще одним пассажиром, опускают плот в резервуар и наблюдают за развитием событий.

Первая модель, «Самаритянин-1», прыгала за борт с величайшей охотой, но прыгала ради спасения любого предмета, оказавшегося рядом с ней на плоту, от чугунной болванки до мешка мокрых водорослей. После многонедельных жарких препирательств Мак-Интош согласился, что недескриминированная реакция – явление нежелательное, забросил «Самаритянина-1» и сконструировал «Самаритянина-2», который жертвовал собою ради организма хотя бы уж не менее сложного, чем он сам.

Плот замер, медленно раскручиваясь в нескольких метрах над водой.

– Пошел! – крикнул Мак-Интош.

Плот ударился о воду с отрывистым всплеском, похожим на выстрел. Синсон и «Самаритянин» не дрогнули. Постепенно плот выровнялся, его начали захлестывать небольшие волны. Вдруг «Самаритянин» подался вперед и ухватил Синсона за голову. Четырьмя экономными движениями он измерил габариты Синсонова черепа, затем помедлил, вычисляя. Наконец, после заключительного щелчка, автомат боком скатился с края плота и без колебаний затонул на дне резервуара[3].

Однако по мере того, как роботы модели «Самаритянин-2» начинают вести себя как описываемый в книгах по философии моральный агент, становится все менее и менее очевидным, что они вообще обладают моралью. Мак-Интош так объясняет, почему он не привязывает канат к готовому пожертвовать собой роботу, чтобы его было легче достать со дна: «Он не должен знать, что его спасут. Иначе решимости жертвовать собой грош цена Поэтому время от времени я кого-нибудь не выуживаю, оставляю на дне. Надо же показать остальным, что я не расположен шутки шутить. Двоих уже списал на этой неделе». Попытки разобраться, как запрограммировать робота быть хорошим, показывают не только, какой сложный для этого требуется механизм, но и как сложно вообще определить само понятие добродетели.

А как же мотив, который заботит людей больше всего остального? Поп-культура 1960-х подарила нам образ мягкосердечных компьютеров, которых привлекает отнюдь не тщеславие и жажда власти, как видно из шутливой песни Аллана Шермана «Автоматы» (Automation), исполнявшейся на мотив Fascination:

Автоматы во всем виноваты, о да,

На любом производстве без них никуда.

Там, глядишь, «Ай-би-эм», ну, а здесь – «Юнивак»;

Механизм безупречен: тик-так, тик-так.

Был и я интеллектом машин восхищен,

Но тебя заменил автомат в 10 тонн…

Нас компьютер, родная, с тобой разлучил,

Это он мое сердце разбил…

Да, родная моя, автомат В увольненьи моем виноват.

Но откуда же было мне знать,

Что когда Пять-Ноль-Три начал резво мигать,

Он со мною пытался играть!

Я подумал, что это в программе ошибка:

Он же мне на колени уселся с улыбкой!

Но когда он сказал мне «люблю» и обнял,

Вот тогда я на «выкл» и нажал… [4]