Размер эффекта и p-value: что показывать в статье

p-value отвечает на один вопрос: насколько несовместимы данные с предположением об отсутствии эффекта. Он ничего не говорит о величине эффекта, его практической значимости или вероятности того, что гипотеза верна.

Именно поэтому журналы всё чаще требуют указывать размер эффекта и доверительные интервалы.

Что означает p-value

Формально p-value — вероятность получить результат не менее экстремальный, чем наблюдаемый, если нулевая гипотеза верна. Это вероятность данных при гипотезе, а не вероятность гипотезы при данных.

Отсюда практическое следствие: маленькое p-value может соответствовать ничтожному эффекту, если выборка большая. И наоборот, важный эффект на малой выборке даст p больше 0,05.

Почему одного p-value недостаточно

ASA в заявлении 2016 года перечислила шесть принципов, среди которых: p-value не измеряет величину эффекта и не говорит о важности результата; без контекста и полного отчёта он не является достаточным основанием для выводов.

Nature в 2019 году опубликовал обращение с призывом не делить результаты на «значимые» и «незначимые» по порогу 0,05. Порог остаётся конвенцией, но не свойством природы.

Меры размера эффекта

Для разницы средних используют d Коэна: отношение разности средних к объединённому стандартному отклонению. Ориентиры Коэна — 0,2 как малый, 0,5 как средний, 0,8 как большой эффект; это условные ориентиры, а не универсальная шкала.

Для связи двух количественных признаков — коэффициент корреляции r. Для долей и исходов — отношение шансов, относительный риск и разность рисков. Для дисперсионного анализа — эта-квадрат и частная эта-квадрат.

У каждого показателя своя интерпретация: отношение шансов 2,0 означает удвоение шансов, а не удвоение вероятности. Путаница между шансами и вероятностью — частая ошибка в выводах.

Доверительные интервалы

Интервал даёт диапазон значений, совместимых с данными, и одновременно показывает точность оценки. Узкий интервал означает высокую точность, широкий — неуверенность.

Практический приём: сравнивайте не «есть эффект или нет», а весь интервал с порогом практической значимости. Если интервал включает и ноль, и важные значения, вывод должен звучать как неопределённость, а не как доказательство.

Как это выглядит в тексте

Плохо: «Разница была статистически значимой (p < 0,05)».

Лучше: «Средняя разница составила 2,4 балла (95 % ДИ 1,1–3,7), d = 0,45; разница меньше порога, который мы считали практически значимым».

Второй вариант позволяет читателю самому оценить результат, не полагаясь на слово «значимо».

Связь с дизайном и мощностью

Размер эффекта, который вы способны обнаружить, зависит от объёма выборки. Расчёт мощности делают до сбора данных, исходя из минимального практически важного эффекта.

Если работа не обнаружила эффект, это не доказывает его отсутствия: интервал может быть широким и включать важные значения. Формулировка «данных недостаточно для вывода» точнее, чем «эффекта нет».

Множественные сравнения и выборочная отчётность

Чем больше показателей проверено, тем выше шанс случайной находки. Указывайте все первичные исходы и поправки на множественность.

Не публикуйте только те результаты, которые оказались значимыми. Выборочная отчётность искажает литературу сильнее, чем слабый дизайн отдельного исследования.

Частые ошибки

трактовка p как вероятности истинности гипотезы;
вывод «эффекта нет» при p > 0,05;
отсутствие интервала;
смешение шансов и вероятностей;
размер эффекта без указания, как он посчитан; -несколько исходов без поправки на множественность.

Как выбрать меру эффекта

Мера должна соответствовать вопросу и шкале. Для сравнения двух групп это разность средних или стандартизованная разница; для связи — корреляция; для бинарного исхода — отношение рисков или шансов.

Если результаты предполагается объединять в метаанализе, проверьте, какие меры используют в вашей области. Единообразие важнее личных предпочтений.

Как интерпретировать малый эффект

Малый эффект может быть важен, если он проявляется у большого числа людей или накапливается со временем. Интерпретация всегда контекстная: d = 0,2 в психологии и в физике означает разное.

Опирайтесь на минимальный практически значимый эффект, а не на универсальные ярлыки «малый/большой».

Как показать неопределённость на графике

Доверительные интервалы на рисунке читаются быстрее таблицы. Тонкие усы без пояснения, что именно они показывают, часто путают: укажите в подписи, это стандартная ошибка, стандартное отклонение или интервал.

Для средних значений интервал уже, чем разброс отдельных наблюдений. Смешение этих двух вещей на одном графике создаёт ложное впечатление однородности.

Чек-лист

Указан размер эффекта и его тип.
Приведён доверительный интервал.
p-value не используется как мера величины.
Порог практической значимости задан заранее.
Все первичные исходы перечислены.
Поправка на множественность указана.

Частые вопросы

Обязательно ли указывать размер эффекта?

Для количественных исследований — практически всегда. Он позволяет сравнивать результаты между работами.

Можно ли публиковать результат с p = 0,06?

Да, если он корректно описан. Интерпретация должна учитывать неопределённость, а не отбрасывать результат.

Что делать, если интервал очень широкий?

Обсудите ограничение и, если возможно, объедините данные с другими исследованиями. Широкий интервал сам по себе — результат.

Нужен ли расчёт мощности заранее?

Для планирования эксперимента — да. Для наблюдательных данных он менее информативен, но обсудить точность всё равно нужно.