Анализ подгрупп: правила и частые ошибки

Анализ подгрупп: правила и частые ошибки

Анализ подгрупп отвечает на вопрос, различается ли эффект в отдельных группах участников. Он полезен, но легко порождает ложные находки, если выполняется без плана.

Ниже — как ограничить число подгрупп и как описывать результаты.

Зачем нужны подгруппы

Подгруппы помогают понять, для кого результат более выражен, и подсказывают направления дальнейших исследований. Выделение подгрупп сродни подбору ноутбука под учебные задачи: группа задаёт свои требования.

Они не заменяют основной анализ и не доказывают эффект в отдельной группе.

Подгруппы полезны, когда исследование достаточно крупное. В небольшой работе их обычно не планируют вовсе: данных хватает только на общий результат, а дробление делает выводы случайными.

Подгруппы задаются заранее

Перечень подгрупп фиксируют в плане анализа до расчётов. Обычно это важнейшие характеристики: возрастная группа, тяжесть состояния, центр.

Подгруппа, выбранная после просмотра данных, — исследовательская находка.

Если перечень подгрупп рождается в процессе анализа, велик соблазн оставить только те, где различие выглядит убедительным. Именно так появляются результаты, которые не воспроизводятся в следующем исследовании, поэтому исходный перечень хранят вместе с планом.

Сколько подгрупп допустимо

Чем больше подгрупп, тем выше вероятность случайной «значимой» разницы. Практично ограничиться тремя-пятью заранее обоснованными.

Остальные сравнения описывают как описательные.

Ориентир простой: если для каждой подгруппы нельзя заранее написать, зачем она нужна, её не включают. Обоснование должно опираться на механизм или предыдущие данные, а не на любопытство.

Размер групп

В подгруппе должно быть достаточно участников, чтобы оценка была устойчивой. Малая группа даёт широкий разброс, и различия в ней почти ничего не значат.

Число участников в каждой подгруппе указывают в таблице.

Полезно заранее записать минимальный размер подгруппы, ниже которого анализ не выполняется. Такое правило избавляет от спора о каждом отдельном случае и делает отчёт предсказуемым.

Взаимодействие

Корректный вопрос звучит так: различается ли эффект между подгруппами. Для этого оценивают взаимодействие, а не сравнивают значения внутри каждой группы по отдельности.

Разница между «значимо» и «не значимо» внутри групп не доказывает различие между ними.

Оценка взаимодействия отвечает на вопрос о различии эффектов, но требует больше данных. При небольшом числе наблюдений она малочувствительна, и отсутствие различия не доказывает, что эффект одинаков во всех группах.

Если отчёт содержит только значения внутри подгрупп, читатель неизбежно сравнит их между собой, даже когда авторы этого не хотели. Поэтому оценку взаимодействия приводят всегда, когда подгруппы обсуждаются в тексте.

Множественные сравнения

При нескольких подгруппах вероятность случайной находки растёт. Если поправка не применяется, это указывают и трактуют результаты осторожно.

Практика простая: заранее решить, какие сравнения основные.

После расчётов полезно пересчитать, сколько сравнений сделано. Это число часто оказывается больше, чем предполагали авторы, и объясняет, почему одна из находок выглядит значимой.

Формулировки

Результаты по подгруппам описывают как предположение, если они не были основными. Слова «эффект выше у женщин» без проверки взаимодействия вводят в заблуждение.

Лучше: «различие между подгруппами не было статистически убедительным».

Осторожная формулировка не делает текст менее интересным. Наоборот, она показывает, что автор понимает разницу между наблюдением и доказательством, и повышает доверие к остальным выводам.

Если различие в подгруппе оказалось заметным, его описывают вместе с размером группы и интервалом. Одно число без контекста легко прочитать как более сильное утверждение, чем оно есть.

Отображение

Результаты удобно показывать на одном рисунке: подгруппа, число участников, оценка и интервал. Так читатель видит и величину, и неопределённость.

Таблица с p-значениями без оценок менее информативна.

На рисунке полезно показывать общий результат первой строкой: читатель сразу видит, с чем сравниваются подгруппы, и реже делает вывод, что подгруппа противоречит основному анализу.

Ограничения

Подгруппы отвечают на узкий вопрос и не отменяют общий результат. Даже убедительное различие в подгруппе требует подтверждения в отдельном исследовании.

Об этом пишут прямо, а не между строк.

Если подгруппа мала, её результат стоит упомянуть в тексте, но не выносить в заголовок и не выделять на рисунке. Иначе внимание читателя смещается к наименее надёжной части анализа.

В обсуждении стоит сказать, какие подгруппы стоит проверить в следующем исследовании и какого размера выборка для этого нужна. Это делает находку полезной, не выдавая её за доказательство.

Перед сдачей текста полезно перечитать раздел о подгруппах отдельно от остальной статьи: так легче заметить утверждения, которые звучат сильнее, чем позволяют данные.

Пример: возрастные группы

Планировались две возрастные группы. После анализа оказалось, что в младшей группе оценка выше, но интервалы широко перекрываются.

Корректный вывод: данных недостаточно, чтобы утверждать различие. Находка может стать гипотезой для следующей работы.

Дополнительно полезно указать, сколько участников было в каждой группе и какие интервалы получены. Широкие интервалы сразу объясняют, почему вывод остаётся неопределённым.

Чек-лист

• Подгруппы перечислены в плане анализа.
• Число подгрупп ограничено.
• Указано число участников в каждой.
• Оценено взаимодействие, а не только различия внутри групп.
• Обсуждена множественность сравнений.
• Формулировки осторожные.
• Результаты показаны с интервалами.
• Ограничения названы.

Частые вопросы

Можно ли добавить подгруппу после анализа?

Можно, но результат описывают как исследовательский.

Сколько подгрупп включать?

Столько, сколько обосновано заранее. Обычно три-пять.

Нужны ли поправки на множественность?

Зависит от плана. Если поправок нет, это указывают.

Что означает отсутствие взаимодействия?

Что данные не показывают различия эффекта между подгруппами.