Почему - Саманта Клейнберг (2017)

Единичная проверка каждого воздействия не обеспечивает строгих результатов, поэтому в целом необходимо несколько итераций. Правда, определить порядок вмешательств довольно сложно. Может показаться, что стоит просто повторить последовательность А-B и получить больше данных, например А-B-А-B. Хотя теперь у нас удвоенные сведения по каждому вмешательству, B всегда следует после А. Если показатель результата со временем медленно улучшается, то, даже если воздействия эквивалентны, B всегда будет в выигрыше, поскольку оценивается позже А. При слепом эксперименте это простое чередование может привести к тому, что человек просто угадает, какое воздействие применялось.

Теоретически возможно выбирать наугад между двумя воздействиями для каждого временного интервала, но эта стратегия не без недостатков. Нельзя гарантировать, что каждое воздействие будет применяться одинаковое количество раз или что они равномерно распределятся, так что может образоваться последовательность, когда за всеми А будут следовать все B. Помимо смещения результатов, эксперимент окажется уязвим, если его остановить преждевременно, до того как будет реализована последовательность B. Вместо этого можно рандомизировать каждую пару, тогда выбор первого вмешательства будет означать, что B будет следующим. Это по-прежнему может сгенерировать знакопеременную последовательность, когда любая опция будет заключаться в том, чтобы сбалансировать каждую пару А-B последующей B-А. В итоге для первой пары выбирается А-B или B-А, а пара, которую не выбрали, будет следующей. Итак, одна возможная последовательность – это B-A-A-B-A-B-B-A. Возвращаясь к разговору о нестационарности (глава 4), скажем: идея в том, чтобы попытаться снизить воздействие временных трендов, а также результатов последовательности вмешательств.

Скажем, мы принимаем решение о последовательности тестирования двух видов лечения, при этом эффект первого со временем нарастает. Тогда, по сути, B может получить преимущество из-за эффектов А. В стандартном ВКЭ каждый участник получает только одно лечение, поэтому не надо беспокоиться о кумулятивных эффектах множественных влияний или о взаимодействии лекарств. В последовательном эксперименте, однако, не только имеет значение порядок (например, при тестировании двух интерфейсов предпочтение всегда получит второй), но могут иметь место длительные следствия каждого из вмешательств (например, больший опыт работы с системой улучшит показатели). В примере с садом, если воздействие удобрения А происходит медленно, но, начавшись, приобретает устойчивый характер, может быть перекрытие между интервалом активности А и временем применения и измерения B.

Одно из возможных решений – добавить «отмывочный период»[299] между окончанием А и началом B. Его цель – чтобы ко времени начала второго лечения все эффекты первого исчезли. Однако положительные следствия приема лекарства могут быстро спадать, в то время как побочные результаты будут иметь более длительный характер.

Есть еще ограничение: отмывочный период предполагает некоторый промежуток без всякого вмешательства, а отсутствие лечения даже короткое время может оказаться нежелательным (к примеру, если мы тестируем средства от боли). К тому же определение длительности отмывки требует базовых знаний о характере действия вмешательства.

Другой подход – применять терапию непрерывно, но не принимать в расчет некоторую часть данных в начале каждого вмешательства.

Эксперимент такого типа неприменим во многих ситуациях, поскольку целевой объект не должен быстро изменяться. Исследования одного пациента не имеют смысла при острых состояниях, например при гриппе, но успешно проводятся при хронических, таких как артрит[300]. Аналогично последовательный эксперимент с одноразовыми событиями (например, с выборами), когда многие вещи постоянно изменяются за недели до таких событий, также не будет иметь смысла. Хороший выбор – это ситуации более-менее стационарные.