Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность - Филип Тетлок, Дэн Гарднер (2015)

Но то, что система оценивания требует некоторых поправок, вовсе не значит, что она не вносит больших улучшений. Вспомните рейтинги кредитования, которые так часто подвергаются критике. Десятилетия назад, когда их не существовало, кредитный специалист принимал решение практически произвольно — и ваша судьба зависела от того, не напомнили ли вы ему кого-нибудь неприятного, или хорошо ли он спал ночью, или нет ли у него стереотипов об «инертных черных» или «ветреных женщинах». Возможно, кредитные истории далеки от идеала, но все-таки они представляют собой значительный прогресс. Также и я, хоть и не могу говорить, что моя система оценивания идеальна, все равно утверждаю, что она лучше, чем та, что используется для оценки прогнозиста в наши дни: по его титулам, уверенности, умению рассказать интересную историю, количеству проданных книг, появлений на CNN и времени, проведенному в Давосе.

Но даже самый скептически настроенный профессор гуманитарных наук, я полагаю, признает эти аргументы. Проблема лежит глубже — и возвращает нас к высказыванию относительно исчисляемого, которое не всегда считается.

Вопрос, который считается

Весной 2013 года я встретился с Полом Саффо, футуристом и сценарным консультантом из Силиконовой долины. В этот период на Корейском полуострове зрел очередной тревожный кризис, поэтому, описывая Саффо идею турнира прогнозистов, я упомянул заданный IARPA вопрос: попытается ли Северная Корея запустить многоступенчатую ракету в период между 7 января и 1 сентября 2013 года? Саффо счел вопрос тривиальным. Он сказал, что несколько полковников в Пентагоне могли бы им заинтересоваться, но вряд ли бы его задало большинство людей. «Более фундаментальный вопрос — „Чем все это обернется?“. И он куда сложнее». Затем Саффо предложил собственный ответ, длинный и гладко переходящий со страны на страну, с лидера на лидера, — яркое представление, знакомое каждому, кто посещал научно-исследовательские конференции или смотрел выступления экспертов по телевидению. Но был ли Саффо прав? Я даже сегодня не знаю. То, что он сказал, было слишком расплывчато, чтобы судить, — типичная форма для ответов на большие, важные вопросы из серии «чем все это обернется?».

Таким образом, мы сталкиваемся с дилеммой. То, что имеет значение, — большой вопрос, но ответ на него нельзя оценить. Маленький вопрос не имеет значения, но ответ на него можно оценить, поэтому турнир IARPA его задал. Вы могли бы сказать: мы с таким упорством пытались выглядеть учеными, что посчитали то, что не считается.

Это несправедливо. Вопросы на турнире оценивались экспертами на предмет сложности и соответствия текущим проблемам, которые решают разведывательные аналитики. Справедливо утверждать, что эти вопросы сфокусированы даже лучше больших вопросов, на которые мы все с удовольствием получили бы ответ — вроде вопроса: «Чем все это обернется?» Неужели нужно выбирать между большими и важными вопросами, которые нельзя оценить, и маленькими и не столь важными, которые оценить можно? Удовлетворения это вряд ли принесет. Но есть выход.