План анализа: состав и фиксация
Анализ, придуманный после просмотра данных, почти всегда находит «значимый» результат. План анализа пишут заранее, чтобы отделить проверку гипотез от поиска интересного.
Ниже — что в нём должно быть и как фиксировать изменения.
Зачем нужен план
План задаёт вопросы, на которые исследование отвечает, и методы, которыми это делается. Он защищает от подгонки выводов под данные.
Проверяющий и читатель видят, что результаты получены по заранее определённым правилам.
План также помогает договориться внутри команды: когда методы описаны, споры о трактовке результатов возникают реже.
Гипотезы и исходы
Перечисляют основные и второстепенные исходы, для каждого — способ измерения и момент оценки. Основных исходов обычно один-два.
Если исходов много, укажите, какие считаются подтверждающими, а какие — описательными.
Для каждого исхода полезно указать окно оценки: какой период считается относящимся к исследованию. Без этого спорные случаи решают по-разному.
Методы
Для каждого исхода указывают метод анализа и его параметры: модель, поправки, способ сравнения групп. Формулировки должны быть достаточно конкретными, чтобы анализ можно было повторить.
«Стандартные методы» — не описание.
Если метод требует допущений, опишите, как их проверяют. Это показывает, что выбор не случаен.
Пропуски и выбросы
Заранее решают, как учитывать пропуски и что делать с аномальными значениями. Правила фиксируют до анализа, а не после того, как найден неудобный случай.
Отдельно описывают, какие данные исключаются из анализа и почему.
Заранее решите, какие пропуски считаются допустимыми, а какие требуют исключения участника. Правила должны быть применимы без обсуждения каждого случая.
Подгруппы
Подгруппы перечисляют заранее и ограничивают их число. Анализ подгрупп, придуманный после просмотра, почти всегда даёт ложные находки.
Если подгруппы не планировались, результаты по ним описывают как предположение.
Для каждой подгруппы укажите, зачем её анализируют. Подгруппа без обоснования почти всегда приводит к случайной находке.
Множественные сравнения
При нескольких исходах или подгруппах обсуждают поправку на множественность либо прямо указывают, что анализ описательный.
Решение фиксируют, иначе читатель не поймёт, как трактовать значения.
Если поправка не применяется, объясните почему: например, анализ описательный и не предполагает проверки гипотез.
Порядок анализа
Описывают последовательность: подготовка данных, проверка качества, основные расчёты, дополнительные. Порядок важен для воспроизведения. Версии и обновления удобно вести так же, как историю апгрейда памяти и SSD: видно, что и когда менялось.
Каждый шаг должен оставлять след: скрипт, файл, запись в журнале.
Опишите, какие проверки качества выполняются до расчётов. Это защищает от анализа данных с известными дефектами.
Для каждого шага полезно указывать входные и выходные файлы: так видно, где могла возникнуть ошибка, если числа не сойдутся. Это особенно помогает, когда анализ выполняют несколько человек по очереди.
Если анализ повторяют после исправления данных, старый набор файлов сохраняют, а не перезаписывают. Иначе невозможно понять, какая версия породила опубликованные числа.
Изменения плана
Любое изменение оформляют отдельно: что меняется, почему, когда и как это влияет на выводы. Изменения не переписывают задним числом.
Список изменений прикладывают к отчёту.
Изменения стоит обсуждать до расчётов: тогда решение опирается на аргументы, а не на уже увиденные числа.
Связь с протоколом
План анализа уточняет протокол, но не противоречит ему. Расхождения объясняют и документируют.
Если протокол не содержит деталей, план заполняет пробел.
Если протокол содержит только общие формулировки, план анализа — единственное место, где методы описаны точно.
План анализа удобно писать рядом с протоколом, чтобы формулировки исходов совпадали дословно. Расхождение в определении исхода — частая причина споров при проверке.
Когда протокол меняется, план пересматривают в тот же срок. Иначе документы начинают описывать разные исследования.
Кто готовит
Обычно тот, кто будет анализировать данные, вместе с исследователем. Черновик обсуждают до блокировки базы.
Утверждение фиксируют письменно.
Полезно, чтобы план прочитал человек, не участвовавший в сборе данных. Он замечает неясности, которые авторам кажутся очевидными.
Хранение
План и все его версии хранят вместе с документацией исследования. Версия, действовавшая на момент анализа, должна быть доступна.
Это важно при повторной проверке через год.
Указывайте версию плана в отчёте и в публикации. Это простой способ показать, какой документ использовался.
Пример: исход, добавленный позже
После просмотра данных команда замечает интересную закономерность и добавляет исход в план. Формально это уже не подтверждающий анализ.
Правильный шаг — описать находку как исследовательскую гипотезу для будущих работ, а не как результат исследования.
Такая формулировка сохраняет честность выводов и не требует переписывать план.
Если находка выглядит важной, её описывают отдельно, с указанием, что проверка не планировалась. Такой текст полезен как основание для следующего исследования, но не как подтверждение гипотезы.
Чек-лист
- Основные и второстепенные исходы перечислены.
- Для каждого исхода указан метод.
- Описаны правила работы с пропусками.
- Подгруппы ограничены и обоснованы.
- Обсуждена множественность сравнений.
- Зафиксирован порядок шагов.
- Изменения оформляются отдельно.
- Версии плана сохранены.
Частые вопросы
Нужен ли план для небольшого исследования?
Да. Он может занимать одну страницу, но должен существовать до анализа.
Можно ли менять план?
Можно, с фиксацией причины и влияния на выводы.
Кто утверждает план?
Исследователь. Иногда требуется согласование со спонсором.
Как план связан с публикацией?
В статье кратко описывают, что анализ соответствовал плану, а изменения перечисляют.