Распространение неведения отражается в росте величины, которая называется «взаимная информация». У каждого бита после операции есть собственный бит энтропии, но у двух битов, взятых вместе, тоже есть только один бит энтропии. Взаимная информация равняется сумме энтропий, взятых по отдельности, минус энтропия двух битов, взятых вместе. Другими словами, у двух битов есть ровно один бит взаимной информации. Какую бы информацию они ни содержали, они содержат ее вместе.

Неведение атомов

«Заразный» характер информации относится и к сталкивающимся атомам, и к битам в вычислении. Идею о том, что энтропия отдельных атомов газа имеет тенденцию увеличиваться, впервые выдвинул Людвиг Больцман в 1880-х гг. Больцман определил величину, которую назвал «H», как степень, до которой мы знаем положение и скорость любого данного атома газа.

Величина «H» Больцмана фактически является энтропией отдельного атома, умноженного на минус один. Больцман показал, что, когда положения и скорости атомов не коррелирует, то есть независимы друг от друга, столкновения между ними уменьшают «H» и увеличивают энтропию отдельных атомов. Последующие столкновения, утверждал он, продолжат увеличивать эту энтропию. Он пришел к выводу, что его H-теорема является обоснованием второго начала термодинамики и доказывает математически, что энтропия должна увеличиваться.

Проблема H-теоремы Больцмана состоит в том, что она, строго говоря, не является истинной для атомов газа. Больцман был прав в том, что столкновения между первоначально некоррелирующими атомами увеличивают энтропии отдельных атомов. Эти энтропии увеличиваются из-за «заразного» характера информации. Когда сталкиваются два атома, любая неопределенность по поводу положения и скорости первого атома имеет тенденцию «заражать» второй атом, делая его положение и скорость более неопределенными и тем самым увеличивая его энтропию. Такое увеличение энтропии второго атома похоже на увеличение энтропии второго бита, описанного выше, когда этот бит был подвергнут операцией «условное не», где неизвестный бит выступал в роли управляющего.

Ошибка H-теоремы связана с последующими столкновениями атомов. Если два атома столкнулись и обменялись информацией, последующие столкновения могут уменьшить энтропию отдельных атомов. Чтобы понять, как взаимодействие между двумя атомами, которые сталкивались раньше, может уменьшить их энтропию, вернитесь к паре битов, которую мы обсуждали выше. При первом применении операции «условное не» энтропия управляющего бита заразила второй бит, увеличив его энтропию на один бит. Но если операцию «условное не» применить снова, второй бит восстанавливает свое первоначальное, известное состояние, уменьшая свою энтропию на один бит.

В принципе, похожую обратную операцию, результатом которой будет аналогичное уменьшение энтропии, можно придумать и для атомов. Когда Больцман представил свою H-теорему как доказательство второго начала термодинамики, его коллега Йозеф Лошмидт указал, что H-теорема не может быть всегда истинной, ведь обращением скоростей атомов можно «взять назад» их столкновение и уменьшить их энтропии. (Гипотетическое существо, которое могло бы изменить скорости атомов на противоположные, называют демоном Лошмидта. В те времена у всех были свои демоны.) Услышав этот (правильный) аргумент, Больцман был вынужден прибегнуть к сарказму: «Валяйте, обратите их».