Почему - Саманта Клейнберг (2017)

Помимо проблем с подтасовкой и ненамеренными ошибками (к примеру, опечатка в электронной таблице[307] или загрязнение лабораторных образцов), воспроизведение истинного взаимоотношения не так однозначно, как кажется. В случае с исследованием сердечной недостаточности условия репродукции результатов были соблюдены, однако потребовалась масса базовых знаний по значению переменной. Когда диагнозы диабета соединили в единый структурированный формат с временем их постановки, обнаружилась связь с болезнью сердца. Во второй выборке причиной оказался препарат инсулина. Дело в том, что лекарства были одним из нескольких сохраненных атрибутов, поэтому как их временной паттерн, так и факт присутствия/отсутствия оказались более определенными параметрами. В медицинских исследованиях с использованием больничных карт проблематично было даже выяснить достаточно определенно, кто и в каком состоянии находился.

Но в разных местах не всегда можно собрать одинаковые данные.

Скажем, воспроизведение не удалось. Значит ли это, что первый вывод оказался ложноположительным или просто он менее генерализован, чем ожидалось? Может, вывод не должен репродуцироваться на базе конкретной выборки. Например, в силу того, что исследования выявили культурные различия в причинном осмыслении, некий фактор может реально влиять на него в одном месте, но аналогичный результат нельзя воспроизвести в другом. Это не означает, что какой-то из экспериментов неверен; скорее конкретный вывод может быть специфически привязан к первичной выборке участников или некоему ее атрибуту, который не всегда известен. В этом случае ценной будет сама попытка репликации: она покажет, когда вывод применим, а когда нет.

Может также оказаться, что отношение было истинным на момент его обнаружения, но ко времени позднейших тестов система изменилась, так как стала известна каузальная зависимость. В финансовой сфере, например, подобная взаимосвязь влияет на поведение во время торгов[308].

Итак, взаимосвязь может быть истинной на момент исследования, но не реплицироваться, потому что теряет истинность с течением времени или из-за того, что используется для изменения поведения (подробнее об этом в главе 9). Действие телерекламы за или против политического кандидата также может ослабевать, потому что люди теряют восприимчивость к сообщению, а оппоненты начинают ответную кампанию. И все-таки если эксперимент выходит за рамки специфической выборки и определенного временного периода, стараясь обобщить поведение, то неудача воспроизведения результатов опровергает его выводы.

Конечно, часто неудача с репродукцией результатов может означать, что выявленные взаимосвязи оказались ложными. Возможно, дело в искажениях применяемой методики из-за ошибок в анализе, или исследование проводилось предвзято. Многие факторы, воздействующие на внешнюю валидность, влияют и на воспроизводимость. Вспомним эксперимент с дохлым лососем из главы 3, когда ложное заключение стало следствием большого числа тестов. Проблема была решена скорректированным количеством сравнений. Но, если полученные результаты не более чем помехи, попытки валидации с новым лососем (или двумя) должны выявить разные активные области.

Механизмы действия