Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность - Филип Тетлок, Дэн Гарднер (2015)

Я не сомневался в уме и репутации членов команды: в конце концов, многие из них получали внушительные научные награды и занимали высокие государственные посты, когда я еще ходил в младшие классы. Но одних только ума и репутации недостаточно. Элита национальной безопасности в тот момент смахивала на выдающихся врачей донаучной эры. Те тоже так и сочились умом и репутацией. Однако иллюзии, порожденные перспективой «за кончиком носа», могут обмануть кого угодно, даже самых лучших и выдающихся — и, наверное, именно самых лучших и выдающихся.

Оценивание оценок

Это заставило меня задуматься об экспертных прогнозах как таковых. Однажды за обедом в 1988 году мой тогдашний университетский коллега Даниэль Канеман поделился пригодной к тестированию идеей, которая в итоге оказалась провидческой. Он высказал версию, что ум и знания могут улучшить качество прогнозирования, но это преимущество быстро нивелируется. Люди, вооруженные научными степенями и десятилетиями опыта, могут оказаться лишь чуть точнее в своих прогнозах, чем внимательные читатели New York Times. Конечно, Канеман всего лишь предполагал, а даже у Канемана предположения — это только предположения. Точность прогнозов политических экспертов никто никогда не подвергал серьезной проверке — и чем больше я размышлял над этой задачей, тем лучше понимал почему.

Возьмем хотя бы проблему времени. Очевидно, что предсказания с размытыми временными рамками — это абсурд. Но прогнозисты постоянно их делают, как в том письме Бену Бернанке. Дело тут обычно не в нечестности — просто подразумевается некое общее понимание, какие временные рамки, пусть и грубо очерченные, имеются в виду. Именно поэтому прогнозы без указания времени не кажутся абсурдными. Но время проходит, воспоминания тускнеют, и подразумеваемые временны́е границы перестают быть очевидными. В результате часто возникает утомительная дискуссия об «истинном» значении прогноза. Ожидалось ли событие в этом году или в следующем? В этом десятилетии или следующем? Без временных ограничений такие споры невозможно разрешить к всеобщему удовлетворению, особенно когда на кону чья-то репутация.

Одна только проблема превращает многие каждодневные прогнозы в непригодные для проверки. Еще одна проблема: предсказания часто опираются на то, что их ключевые термины всем понятны и без четких определений (как «весомое место на рынке» у Стива Балмера). Такие расплывчатые формулировки — скорее правило, чем исключение, и они тоже переводят прогнозы в категорию непригодных для проверки.

Но это еще не самые большие препятствия на пути к оценке прогнозов; со степенью их вероятности возникает куда больше проблем.

Некоторые предсказания проверить легко: в них однозначно утверждается, что какое-то событие случится или не случится, как в прогнозе Джонатана Шелла: или мы избавимся от ядерного оружия, или «апокалипсис… произойдет». В итоге ни одна супердержава не уничтожила свой ядерный арсенал, но и ядерной войны не случилось — ни в том году, когда появилась книга Шелла, ни до сих пор. Поэтому, если читать прогноз Шелла буквально, прогнозист окажется очевидно не прав.

Но что, если бы Шелл сказал, что ядерная война случится «с большой вероятностью»? Тогда прогноз был бы не столь очевиден: Шелл мог чрезмерно преувеличить риск, но мог и оказаться совершенно прав — просто человечеству повезло выжить в самой отчаянной в истории нашей планеты игре в русскую рулетку. Тогда был бы только один способ проверить его предсказание: воспроизвести жизнь цивилизации заново сотни раз, и, если в большей части этих «перезапусков» она окончится в груде радиоактивных обломков, значит, Шелл был прав. Но этого мы сделать не можем.