Повторное воспроизведение анализа: порядок
Повторное воспроизведение анализа — проверка того, что результат получается из данных, а не из памяти автора. Это самый надёжный способ найти ошибку до публикации.
Ниже — как организовать такую проверку.
Зачем повторять анализ
Ошибки в фильтрах, в объединении таблиц и в пересчёте переменных не видны в итоговых числах. Повторение с нуля выявляет их до того, как они попадут в публикацию.
Кроме того, повторение показывает, достаточно ли полное описание.
Повторение полезно и как обучение: новый человек быстрее осваивает данные, когда проходит весь путь от выгрузки до таблицы. Ошибки, найденные им, обычно связаны с неявными допущениями, о которых авторы не задумывались.
Кроме поиска ошибок, повторение даёт уверенность в цифрах, которые попадут в публикацию. Автор, знающий, что расчёты воспроизведены независимо, спокойнее отвечает на замечания рецензентов.
Кто повторяет
Повторяет человек, не участвовавший в первом анализе. Ему нельзя подсказывать: все вопросы фиксируют и потом разбирают.
Иногда повторение выполняют в другой программе — это дополнительная проверка.
Если в команде нет свободного человека, повторение выполняет автор, но через несколько дней и строго по описанию, без обращения к своим черновикам. Это слабее независимой проверки, но лучше, чем её отсутствие.
Что нужно подготовить
До начала повторения нужны: данные в известной версии, описание шагов, скрипты или инструкции, контрольные числа.
Если чего-то не хватает, это уже результат проверки.
Все материалы передают одним пакетом: данные, описание, скрипты, контрольные числа. Если файлы разбросаны по разным папкам и переписке, повторение затягивается и часто начинается с восстановления порядка.
Порядок действий
Сначала повторяют подготовку данных и сравнивают число записей на каждом шаге. Затем воспроизводят основные расчёты и сверяют контрольные числа.
Только после этого переходят к дополнительным анализам.
Шаги повторяют строго по описанию, даже если очевидно, что можно сделать проще. Отклонение от описания лишает проверку смысла: тогда сравниваются два разных анализа, а не один и тот же.
Сверка результатов
Числа сравнивают с точностью, которая имеет смысл: доли — до десятых, оценки — до того знака, который приводится в таблицах. Сравнение версий расчёта похоже на сопоставление поколений Apple Silicon: важно, что именно изменилось.
Расхождение в третьем знаке после запятой обычно несущественно, расхождение в числе участников — существенно.
Полезно заранее договориться, какие расхождения считаются допустимыми. Это избавляет от спора после проверки и делает вывод однозначным: либо результаты совпали в согласованных пределах, либо нет.
Что делать с расхождениями
Расхождение описывают: на каком шаге возникло, чем объясняется, как исправлено. Если причина в описании, его уточняют сразу.
Исправления вносят в исходный анализ, а не только в повторный.
Если причина расхождения не найдена, это фиксируют как открытый вопрос и не публикуют результат до выяснения. Открытый вопрос в документах лучше, чем необъяснимое число в статье.
Правку в исходный анализ вносит автор, а не проверяющий: у него есть контекст и доступ к окончательной версии данных. Проверяющий затем повторяет шаг заново, чтобы убедиться, что расхождение устранено.
Документирование
Результат повторения фиксируют коротко: дата, кто выполнял, что совпало, что нет, какие правки внесены.
Документ прикладывают к материалам исследования.
Документ о повторении занимает полстраницы и хранится вместе с описанием анализа. При следующей проверке он показывает, что работа уже выполнялась и какие вопросы тогда закрыли.
Повторение после правок
Если данные или скрипты менялись, повторение выполняют заново. Старые результаты сохраняют, чтобы видеть историю.
Иначе невозможно понять, какая версия дала опубликованные числа.
Ограничения
Повторение в той же среде проверяет логику, но не переносимость. Повторение в другой среде дополнительно проверяет зависимости и версии.
Для публикации обычно достаточно первого, для передачи работы — желательно второе.
Повторение не гарантирует отсутствие ошибок в самом плане анализа. Оно подтверждает лишь то, что расчёты соответствуют описанию, поэтому его дополняют содержательной проверкой методов.
Содержательная проверка методов требует участия того, кто разбирается в предметной области: воспроизведение подтверждает арифметику, но не правильность выбора исхода или метода сравнения.
Регулярность
Повторение выполняют перед ключевыми вехами: блокировкой базы, подготовкой отчёта, сдачей статьи. Это дешевле, чем исправлять ошибку после публикации.
Иногда достаточно повторить только основной анализ.
Повторение перед каждой вехой может показаться избыточным, но именно на вехах цена ошибки максимальна. Достаточно повторять основной результат и те расчёты, которые попали в ключевые таблицы.
Пример: разное число участников
При повторении выясняется, что в первый раз в анализ попали записи с датой вне окна наблюдения. Причина — фильтр по дате применялся после объединения таблиц и терялся.
После исправления число участников совпало, а описание дополнили явным правилом.
Чек-лист
- Данные переданы с указанием версии.
- Есть описание шагов и контрольные числа.
- Повторяет человек, не участвовавший в анализе.
- Сверены промежуточные и итоговые числа.
- Расхождения объяснены и исправлены.
- Результат зафиксирован письменно.
- Повторение выполнено после правок.
- Описание уточнено по итогам.
Частые вопросы
Обязательно ли повторять весь анализ?
Обычно да, для основного результата. Дополнительные расчёты можно проверить выборочно.
Нужна ли та же программа?
Желательно, но проверка в другой программе даёт больше информации.
Сколько времени это занимает?
Меньше, чем кажется: при хорошем описании основные расчёты повторяются за несколько часов.
Кто отвечает за результат?
Автор анализа: он исправляет найденное и обновляет описание.