Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность - Филип Тетлок, Дэн Гарднер (2015)

Кент эти политические барьеры не смог преодолеть, но с годами доводы, которые он приводил в пользу применения цифр, только укреплялись: одно исследование за другим показывало, что словам, касающимся вероятностей, таким как «может быть», «возможно», «вероятно», люди придают очень разное значение. И все равно разведывательное сообщество сопротивлялось. Только после провала с предполагаемым оружием массового поражения Саддама Хусейна и последовавших за ним крупных реформ выражение степени вероятности в числах стало более приемлемо. Когда аналитики ЦРУ сообщили президенту Обаме: они на 70 или 90 % уверены, что загадочный человек, прячущийся в пакистанском убежище, — Усама бен Ладен, — это был маленький посмертный триумф Шермана Кента. В некоторых областях числа и вовсе стали стандартом: так, в прогнозах погоды «небольшая вероятность ливней» уступила место «тридцатипроцентной вероятности ливней». Но увы, язык неопределенности до сих пор настолько распространен, особенно в СМИ, что мы редко замечаем его бессодержательность, просто не обращаем на это внимания.

«Думаю, долговой кризис в Европе не решен и может быть очень близок к критической отметке, — сказал гарвардский экономический историк и популярный комментатор Ниал Фергюсон в январе 2012 года. — Дефолт Греции может быть вопросом ближайших дней». Был ли он прав? Популярное понимание слова «дефолт» включает в себя полный отказ от выплаты долга, а в Греции этого не произошло в течение ни последующих дней, ни месяцев, ни лет. Однако есть также техническое определение дефолта, и именно он случлся в Греции вскоре после интервью с Фергюсоном. Какое именно определение имел в виду Фергюсон? Непонятно. Поэтому, хотя у нас есть основания полагать, что он был прав, мы не можем быть в этом уверены.

Но давайте представим себе, что в Греции не произошло вообще никакого дефолта. Смогли бы мы сказать, что Фергюсон был не прав? Нет. Он ведь только сказал, что дефолт «может» произойти, а «может» — пустое слово. Оно говорит только о возможности чего-то, без уточнения степени ее вероятности. «Может» произойти практически все что угодно. Я могу с уверенностью предсказать, что на Землю завтра могут напасть инопланетяне. А если не нападут? Это не будет означать, что я не прав. Каждое «может» снабжено сноской, в которой мелким шрифтом приписано «или не может». Однако интервьюер не заметил мелкий шрифт в прогнозе Фергюсона и не попросил его уточнить, что именно он имел в виду[55].

При серьезном отношении к оценкам и улучшениям такие прогнозы никуда не годятся. В прогнозах нужно указывать четко определенные термины и временны́е рамки. Они должны использовать числа. И еще один необходимый момент: прогнозов должно быть много.

Мы не можем заново проиграть историю, поэтому не можем оценить одно вероятностное предсказание; ситуация меняется, когда мы располагаем множеством вероятностных прогнозов. Если метеоролог говорит, что завтра пойдет дождь с вероятностью 70 %, этот прогноз оценить невозможно. Но если он предсказывает погоду на завтра, послезавтра, послепослезавтра — и так в течение месяцев, — все прогнозы можно свести в таблицу и определить кривую показателей. Если прогнозирование идеально, дождь будет идти в 70 % случаев, когда предсказывается вероятность 70 %, что он пойдет; в 30 % случаев, когда объявляется вероятность 30 %, и т. д. Это называется калибровка. Она может быть изображена в виде простого графика. Идеальную калибровку выражает диагональная линия на графике.

Идеальная калибровка

Если кривая метеоролога сильно выходит вверх за эту линию, значит, у него недостаток уверенности: то, что она предсказывает с 20 %-ной уверенностью, происходит в 50 % случаев (см. следующую страницу). Если кривая сильно опускается за линию вниз, значит, у метеоролога переизбыток уверенности: то, что он предсказывает с 80 %-ной уверенностью, происходит в 50 % случаев.