Анализ чувствительности результатов

Анализ чувствительности отвечает на простой вопрос: изменится ли вывод, если поменять разумное допущение. Это дешёвая проверка, которая защищает и автора, и читателя. Её планируют заранее, а не добавляют после замечания рецензента. Ниже — как её провести и описать.

Зачем анализ чувствительности

Любой анализ опирается на допущения: как обработаны пропуски, какие переменные включены, какой метод выбран. Проверка устойчивости показывает, держится ли вывод при разумных изменениях. Без неё результат выглядит прочнее, чем есть.

Какие допущения проверять

Обработку пропусков и выбросов, набор переменных, выбор метода, границы выборки, способ расчёта оценок. Выберите два-три ключевых. Не проверяйте всё подряд: это размывает внимание.

Как выбрать сценарии

Основной вариант и один-два разумных альтернативных. Альтернативы должны быть обоснованы, а не подобраны под желаемый результат. Опишите логику выбора. Зафиксируйте до запуска.

Что считать изменением вывода

Заранее решите, какое расхождение важно: направление эффекта, величина, попадание в интервал. Не меняйте критерий после просмотра. Иначе проверка теряет смысл.

Как оформить

Короткая таблица: сценарий, оценка, интервал, комментарий. Или один абзац с числами. Не прячьте в приложение главное. Читатель должен увидеть устойчивость сразу.

Как описывать результат

Пишите прямо: вывод не изменился или изменился при таком-то допущении. Не используйте формулировку «данные позволяют предположить» вместо чисел. Конкретика убедительнее.

Если вывод неустойчив

Сообщите об этом. Обсудите, какое допущение критично. Предложите, как проверить дальше. Не скрывайте. Неустойчивый результат — тоже научный результат.

Связь с размером выборки

На малой выборке анализ чувствительности особенно важен: одно наблюдение может менять оценку. Опишите это. Не делайте категоричных выводов.

Как не превратить в подгонку

Не перебирайте десятки вариантов, чтобы найти удобный. Ограничьте набор заранее. Опубликуйте все сценарии. Это защищает от обвинений в избирательности.

Как связать с планом

Укажите анализ чувствительности в плане исследования или предрегистрации. Опишите сценарии. Это повышает доверие к работе и упрощает рецензирование.

Как хранить

Сохраните код или файлы сценариев, настройки и результаты. Укажите версию данных. Это позволит повторить проверку. Без артефактов заявление о устойчивости не проверить.

Типичные ошибки

Проверять только удобные сценарии, менять критерий после результата, не описывать метод, скрывать неустойчивость. Каждая ошибка снижает ценность работы.

Как объяснить читателю

Одно предложение о смысле проверки: насколько вывод зависит от допущений. Без формул. Затем числа. Такой порядок понятен и специалисту, и практику.

Проверка

Попросите коллегу запустить один сценарий по вашему описанию. Сравните результат. Расхождение укажет на пробел в описании или ошибку.

Когда достаточно

Если вывод устойчив при двух-трёх разумных изменениях, этого обычно достаточно для статьи. Не превращайте проверку в отдельное исследование.

Как выбрать метод

Начните с того, что вы понимаете и можете объяснить. Сложный метод без понимания даёт ложную уверенность. Обсудите со статистиком. Запишите, почему выбран именно он.

Как описать в ограничениях

Укажите, какие допущения проверены, а какие нет. Не утверждайте полную устойчивость. Одно-два предложения достаточно. Это честнее общих фраз о надёжности.

Как связать с интерпретацией

Если вывод зависит от допущения, снизьте категоричность формулировок. Замените «доказывает» на «согласуется с». Проверьте, что текст соответствует результатам.

Как обучить соавторов

Разберите один пример на встрече. Покажите таблицу сценариев. Объясните критерий. Это снижает споры на этапе правок. Зафиксируйте решение в протоколе.

Как поступить при замечании рецензента

Проведите указанный сценарий. Добавьте результат в текст, даже если он неудобен. Поблагодарите за замечание. Это повышает доверие к работе.

Как связать с данными

Убедитесь, что сценарии используют один и тот же набор данных. Если меняется выборка, укажите. Сравнение должно быть корректным. Проверьте число наблюдений.

Как оформить приложение

Полная таблица сценариев, настройки и короткое описание. Не дублируйте основной текст. Дайте ссылку из статьи. Проверьте, что приложение читается отдельно.

Как оценить трудозатраты

Один-два сценария обычно занимают несколько часов, если код готов. Планируйте заранее. Не оставляйте на последнюю неделю перед сдачей. Это часть анализа, а не дополнение.

Как поступить с малыми подгруппами

Если подгруппа маленькая, исключение одного наблюдения меняет оценку. Отметьте это. Не делайте выводов о подгруппе. Объедините категории, если это осмысленно.

Как связать с отчётом

Добавьте сценарии в материалы проекта. Укажите версию. Это позволяет проверить работу позже. Без артефактов проверка невозможна.

Чек-лист

Допущения перечислены.
Сценарии заданы заранее.
Критерий изменения вывода зафиксирован.
Все сценарии показаны.
Результат описан числами.
Неустойчивость не скрыта.
Артефакты сохранены.

Частые вопросы

Сколько сценариев?

Обычно основной и один-два альтернативных.

Что делать при неустойчивости?

Сообщить и обсудить, какое допущение критично.

Что важнее всего?

Заранее заданный критерий изменения вывода.

Пример

Вывод о различии групп держался на обработке пропусков. При альтернативном способе разница стала меньше интервала. Авторы добавили абзац об ограничении и не стали утверждать превосходство.

Итог

Анализ чувствительности показывает, насколько вывод зависит от допущений. Честный результат лучше красивого.