Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность - Филип Тетлок, Дэн Гарднер (2015)

Летом 2010 года два официальных представителя IARPA, Джейсон Мэтни и Стив Рибер, навестили Беркли. Мы с Барбарой Меллерс встретились с ними в отеле с видом на Сан-Франциско — настоящей приманкой для туристов. Новости, которыми они поделились, были такими же прекрасными, как открывавшаяся из окна панорама. Они планировали претворить в жизнь главную рекомендацию заключения Государственного совета по исследованиям — а я-то с уверенностью предсказал, что эта рекомендация благополучно покроется пылью. IARPA решила спонсировать масштабный турнир, чтобы выяснить, кто сможет изобрести лучшие методы для производства прогнозов, подобных тем, которые разведывательные аналитики делают каждый день. Сбежит ли президент Туниса в уютное изгнание в течение ближайшего месяца? Унесет ли начавшаяся эпидемия птичьего гриппа жизни более десяти человек в ближайшие шесть месяцев? Упадет ли евро ниже отметки 1,20 доллара в течение года?

IARPA искала вопросы в обитаемой зоне сложности — не такие простые, чтобы на них мог ответить любой внимательный читатель New York Times, но и не до такой степени сложные, что на них не мог ответить ни один человек на планете. IARPA считала, что в обитаемой зоне можно будет найти новых талантливых прогнозистов и протестировать новые методы культивирования талантов. Будущий турнир не должен был походить на проведенное мною ранее исследование EPJ: самые большие временные рамки в нем предполагались меньше самых маленьких в моем. IAPRA не хотело тратить время и заставлять людей делать то, что, как мы теперь знаем, просто невозможно. Человеческое зрение никогда не сможет распознать нижнюю строчку таблицы Снеллена со стометрового расстояния. И как бы вы ни упражняли глазные мышцы, вы этого не измените. Как показало EPJ и другие исследования, человеческая система мышления никогда не сможет предсказать поворотные моменты в жизни людей и государств на несколько лет вперед, и никакие героические поиски суперпрогнозистов этого не изменят.

План IARPA заключался в том, чтобы с помощью турниров стимулировать лучших исследователей делать точные вероятностные оценки для вопросов из обитаемой зоны[70]. Команды исследователей будут соревноваться друг с другом и с независимой контрольной группой. Команды должны обойти общий прогноз («мудрость толпы») контрольной группы, причем с отрывом, который мы все тогда сочли устрашающим. IARPA хотело, чтобы за первый год команды превзошли этот стандарт на 20 %, а к четвертому году отрыв уже должен был достичь 50 %.

Но это было только частью плана. Внутри каждой команды исследователи могли проводить эксперименты в стиле Арчи Кокрана, чтобы определить, что́ на самом деле работает против внутренних контрольных групп. Например, исследователи думают, что базовый тренинг поможет улучшить точность прогнозистов. Но если они проведут тренинг всем прогнозистам, что это докажет? Если их точность возрастет, это может быть благодаря тому, что тренинг сработал. Или вопросы стали легче. Или прогнозистам просто повезло. Если же точность снизится, это может быть из-за того, что тренинг возымел обратный эффект, или, возможно, точность без тренинга снизилась бы еще сильнее. Не было бы ни одного способа это выяснить. Узнаете проблему? Та самая, с которой сталкивались врачи в течение всей истории медицины. Арчи Кокран увидел решение: прекратить притворяться, что ты что-то знаешь, и начать эксперименты. Тренинг можно было провести с одной случайно выбранной группой прогнозистов и не проводить с другой. Все остальные факторы не должны меняться. Затем сравниваются результаты. Если прогнозисты, прошедшие тренинг, стали более точными, чем не прошедшие, значит, он сработал.