Изменения плана анализа: порядок
Изменения в плане анализа — нормальная часть работы. Проблемы начинаются, когда их не фиксируют, и читатель видит только итоговую версию.
Ниже — как оформлять изменения так, чтобы выводы оставались прозрачными.
Почему изменения неизбежны
Данные оказываются неполными, метод не подходит к распределению, обнаруживается ошибка в описании исхода. Всё это требует уточнений.
Вопрос не в том, менять ли план, а в том, как это показать.
Изменение — признак того, что команда проверяет данные и методы, а не механически следует шаблону.
Полезно заранее договориться, кто имеет право инициировать изменение. Когда это право есть у всех, решения принимаются быстрее и реже остаются незафиксированными.
Изменения, о которых знает только автор анализа, — самый частый источник расхождений между отчётом и публикацией.
Что считается изменением
Изменением считают любое расхождение с утверждённой версией: новый метод, другой исход, иная обработка пропусков, добавленная подгруппа.
Уточнение формулировки без влияния на расчёты тоже фиксируют, но помечают как редакционное.
Ведите список заранее разрешённых уточнений, чтобы не фиксировать каждую правку формулировки отдельно.
Удобно завести шаблон записи: номер, дата, раздел плана, суть, причина, влияние, согласующий. Заполнение занимает пару минут и снимает большинство вопросов позже.
Фиксация до анализа
Изменение описывают до того, как посчитаны результаты. Запись содержит дату, причину и предполагаемое влияние.
Если изменение сделано после расчётов, это указывают прямо.
Запись об изменении удобно делать в тот же день: позже причина забывается, и остаётся только «так получилось».
Если изменение обсуждалось устно, его всё равно переносят в журнал. Устные договорённости забываются, а расхождение во времени между разговором и записью ставит под сомнение порядок работы.
Формулировка
Пишут кратко: что было, что стало, почему. Пример: «первичный метод заменён на непараметрический из-за распределения, отличного от нормального».
Оценочные слова вроде «пришлось» не нужны, достаточно факта.
Указывайте, кто предложил изменение и кто согласовал. Это снимает вопросы о том, почему решение принято именно так.
Влияние на выводы
Отмечают, меняет ли изменение трактовку основного результата. Если да, это обсуждают отдельно и отражают в отчёте.
Скрытое влияние обнаруживается при повторном анализе и стоит доверия ко всей работе.
Если влияние неясно, опишите оба варианта трактовки. Читатель сам увидит границы неопределённости.
В отчёте достаточно одного предложения на каждое существенное изменение. Подробный разбор нужен только там, где меняется трактовка основного результата.
Согласование
Изменения согласуют с теми, кто отвечает за исследование. Для крупных изменений может требоваться одобрение спонсора или комитета.
Согласование фиксируют письменно, даже если оно заняло один звонок.
Для мелких изменений достаточно письменного подтверждения исследователя. Крупные требуют более формального согласования.
Если согласующий недоступен, изменение фиксируют с пометкой «ожидает согласования» и не применяют до ответа. Тихая правка без ответа — худший вариант.
Журнал изменений
Все изменения ведут в одном списке с номерами и датами. По нему видно, в какой версии выполнялся анализ. Фиксация изменений похожа на цифровой паспорт устройства: короткая запись, по которой потом восстанавливается вся история.
Журнал прикладывают к итоговому отчёту.
Нумеруйте записи подряд и указывайте версию плана, к которой относится изменение.
Журнал удобно держать в той же папке, что и план анализа, и ссылаться на него в отчёте по исследованию.
Отражение в публикации
В статье кратко указывают, что план менялся, и перечисляют существенные изменения. Подробности можно вынести в дополнительный файл.
Читатель должен понимать, какие результаты подтверждающие, а какие — исследовательские.
Достаточно одного абзаца и ссылки на дополнительный файл с перечнем изменений.
Связь с протоколом
Если изменение затрагивает протокол, его оформляют как поправку. План анализа и протокол не должны расходиться.
Расхождение фиксируют и объясняют.
Если изменение касается процедуры, сначала оформляют поправку, затем обновляют план анализа.
Обучение команды
Команда должна знать, что изменение плана — не признание ошибки, а часть процесса. Тогда изменения фиксируют вовремя.
Скрытые правки появляются там, где за них наказывают.
Разберите один пример изменения на встрече: что было, как оформили, как это повлияло на отчёт.
Новых участников знакомят с журналом в первый день: они видят, что прозрачность здесь норма, а не исключение.
Пример: замена метода
Планировался параметрический тест, но распределение оказалось сильно смещённым. Метод заменяют на непараметрический, фиксируя дату и причину.
Результат остаётся тем же по направлению, но меняется точность оценки. В отчёте указывают оба варианта и объясняют выбор.
Читатель видит прозрачную историю, а не два разных числа без объяснений.
Сохраните оба варианта расчёта: это показывает, что вывод не зависит от выбора метода, либо объясняет разницу.
В журнале такая запись занимает три строки: дата, причина, влияние на точность оценки. Этого достаточно для проверяющего и для читателя публикации.
Чек-лист
- Изменение зафиксировано до расчётов.
- Указаны дата и причина.
- Описано влияние на выводы.
- Согласование оформлено письменно.
- Ведётся журнал изменений.
- Существенные изменения отражены в публикации.
- Согласованность с протоколом проверена.
- Команда понимает порядок фиксации.
Частые вопросы
Нужно ли фиксировать мелкие уточнения?
Да, но их можно помечать как редакционные, если они не влияют на расчёты.
Что делать, если изменение сделано после анализа?
Указать это прямо и объяснить, как оно повлияло на трактовку.
Кто утверждает изменения?
Исследователь, а при значительных изменениях — спонсор или комитет.
Где хранить журнал?
Вместе с документацией исследования и версиями плана.