Наша математическая вселенная. В поисках фундаментальной природы реальности - Макс Тегмарк (2014)

И после этого жизнь на Земле навсегда изменится. Тот (или то), кто будет контролировать эту технологию, быстро станет самым богатым и могущественным, обыгрывая все финансовые рынки и превосходя в изобретениях и патентах всех учёных-людей. Создавая радикально лучшее аппаратное и программное обеспечение для компьютеров, такие машины могли бы быстро наращивать свою мощность и численность. Вскоре были бы изобретены технологии, выходящие за рамки нашего нынешнего воображения, включая любое оружие, которое покажется необходимым. А дальше настал бы черёд политического, военного и социального управления миром. С учётом того, насколько серьёзное влияние оказывают сегодня книги, СМИ и интернет, я полагаю, что машины смогли бы превзойти в публицистике миллиарды самых талантливых людей, покорив наши сердца и умы без всякого подкупа или завоевания.

Кто контролирует сингулярность?

Если наступит сингулярность, как она повлияет на человеческую цивилизацию? Конечно, мы не можем знать это наверняка, но, думаю, это зависит от того, кто или что будет её первоначально контролировать (рис. 13.4). Если технология будет первоначально разработана учёными или другими людьми, которые сделают её общедоступной, то, я думаю, возникшая ситуация «всё для всех даром» будет крайне нестабильной и приведёт к тому, что после короткого периода конкуренции управление сосредоточится в едином центре. Если этим центром будет эгоистичный человек или корпорация, нацеленная на получение прибыли, то, думаю, такой владелец вскоре возьмёт под контроль государственное управление, став правителем в масштабах всего мира. Альтруистичный человек может повести себя так же. В этом случае управляемый человеком искусственный интеллект (ИИ) был бы, по сути, подобен порабощённому богу, который по своим способностям далеко превосходит людей, но делает то, что приказывают хозяева. ИИ был бы настолько же совершеннее современных компьютеров, насколько люди совершеннее муравьёв.

Вполне вероятно, что удержать ИИ в подчинённом состоянии окажется невозможным. Носители ИИ будут коммуницировать с нами и смогут нас изучить нас в достаточной мере, чтобы придумать, как уговорить нас сделать что-нибудь на первый взгляд безобидное — что, однако, позволит им вырваться из-под опеки и, распространяясь стремительно, как инфекция, взять над нами верх. Я сильно сомневаюсь, что мы сможем избежать поражения, учитывая, как тяжело нам даётся уничтожение даже сравнительно простых компьютерных вирусов.

Чтобы предупредить «побег» или лучше служить человеческим интересам, владелец может предпочесть добровольно передать власть тому, что исследователь ИИ Элиезер Юдковски назвал «дружественным ИИ», который независимо от уровня своего развития стремится приносить человечеству пользу, а не вред. Если так, то дружественные носители ИИ станут действовать как доброжелательные божества или смотритель зоопарка, следя, чтобы люди были накормлены, находились в безопасности и достигали самореализации, оставаясь при этом под твёрдым контролем. Если вся человеческая работа будет выполняться машинами под управлением дружественного ИИ, человечество может продолжать существовать более или менее счастливо — при условии, что необходимые продукты будут доставаться нам практически даром. Напротив, в сценарии, где сингулярностью управляет эгоистичный человек или коммерческая корпорация, вероятным результатом станет невиданная диспропорция в доходах, поскольку история учит нас, что большинство людей предпочитает накапливать богатство, а не делиться с другими.

Рис. 13.4. Если наступит сингулярность, всё будет зависеть от того, кто ею управляет.