Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность - Филип Тетлок, Дэн Гарднер (2015)

А теперь давайте вспомним, что суперпрогнозисты — любители, которые предсказывают глобальные события в свободное время, располагая только той информацией, которую сами смогут накопать. И в то же время они каким-то образом умудрились поднять планку настолько высоко, что даже профессионалам стало сложно ее перепрыгнуть, не говоря уже о том, чтобы сделать это с отрывом, который оправдывал бы их офисы, зарплаты и пенсии. Конечно, было бы замечательно провести прямое сравнение суперпрогнозистов и разведывательных аналитиков, но такая информация будет строго охраняться. Однако в ноябре 2013 года редактор Washington Post Дэвид Игнатиус сообщил, что «участник проекта» сказал ему, что суперпрогнозисты «показали результат в среднем на 30 % лучший, чем аналитики разведывательного сообщества, которые могут читать перехваченную и прочую засекреченную информацию»[73].

IARPA знало, что такое может случиться, когда устроило турнир, именно поэтому его решение так необычно. Тестирование, очевидно, может быть в интересах организации, но организация состоит из людей с собственными интересами, из которых самый явный — это сохранение и упрочение комфортного статус-кво. Как знаменитые и прославленные эксперты категорически не желают рисковать репутациями в ходе публичной проверки точности их предсказаний, точно так же и ключевые игроки внутри организаций вряд ли захотят попробовать свои силы в турнирах прогнозирования, если это будет означать, что их суждения подвергнутся проверке. Боб, сидящий в кресле генерального директора, не захочет знать, что какой-то экспедитор по имени Дэйв лучше прогнозирует состояние рынка, чем он сам, — не говоря уже о том, чтобы это узнали другие. Однако же IARPA пошло именно на такой шаг: поставило миссию разведывательного сообщества выше интересов конкретных членов этого сообщества. Во всяком случае, тех, которые не хотели раскачивать бюрократическую лодку.

Сопротивление тяготению — но как долго?

Цель аргументов, которые здесь приведены, — убедить читателя. Но я надеюсь, что вы не убеждены по поводу этих суперпрогнозистов. Пока еще. Представьте, что я попросил каждого из моих 2800 добровольцев предсказать, как упадет монетка, которую собираюсь подбросить: орлом или решкой. Они предсказывают. Я бросаю монетку и записываю, кто был прав. Повторяю процедуру 104 раза (количество прогнозов, сделанных за первый год турнира). Результаты будут выглядеть как классическая гауссова кривая:

«Орел или решка»

Абсолютное большинство моих прогнозистов верно предсказали, как упадет монета, примерно в 50 % случаев — их можно найти в середине кривой. Но некоторые выдали другие результаты. Кто-то в основном ошибался (левая часть кривой), кто-то в основном угадывал верно (правая часть кривой). Что эти экстремальные результаты говорят нам о мастерстве людей, которые их получили? Если вы не верите в экстрасенсорику, то ничего. Тут нет никакого мастерства. Человек, правильно предсказывающий, как упадет монетка, не демонстрирует способность к прогнозированию падения монетки — не важно, сколько раз он это сделает, один или сто. Это все — чистая удача. Конечно, нужно много удачи, чтобы правильно угадать 70 % из 104 подбрасываний, и если в вашей игре участвовал только один угадывающий, это было бы крайне маловероятно. Но с 2800 участниками маловероятное становится вполне вероятным.

Это не сложные материи. Но неправильно интерпретировать случайность очень легко. У нас нет для нее интуитивного чувства. Случайность невидима с ракурса «за кончиком носа». Мы можем ее увидеть, только если посмотрим со стороны.