Как выбрать статистический критерий: дерево решений

Выбор критерия — не вопрос вкуса. Он определяется типом данных, числом групп и тем, связаны ли наблюдения между собой. Ошибка на этом шаге делает бессмысленными все последующие расчёты: p-value считается, но отвечает не на тот вопрос.

Ниже — порядок, который проходит большинство прикладных задач.

Шаг 1: определите тип данных

Количественные данные — это измерения, где имеет смысл среднее и разность: время реакции, баллы, концентрация. Порядковые — ранги и шкалы Лайкерта, где важна только упорядоченность. Категориальные — группы и исходы: да/нет, тип реакции.

От типа данных зависит почти всё. Средние сравнивают для количественных признаков, доли и частоты — для категориальных.

Шаг 2: посчитайте группы и связанность

Две независимые группы — это разные люди в каждой. Две связанные — одни и те же до и после, либо подобранные пары.

Три группы и больше требуют дисперсионного анализа или его непараметрического аналога. Попарные сравнения без поправки на множественность повышают риск ложноположительного результата.

Шаг 3: проверьте допущения

Для параметрических критериев важны три вещи: нормальность остатков, однородность дисперсий и независимость наблюдений.

Нормальность проверяют графиком и критерием (Шапиро–Уилк), но на больших выборках критерий ловит ничтожные отклонения, а на малых имеет низкую мощность. Поэтому решает не p-value теста, а форма распределения и устойчивость вывода.

Однородность дисперсий оценивают критерием Левена. Если она нарушена, используют поправку Уэлча, которая не требует равенства дисперсий.

Шаг 4: выберите критерий

Рабочая схема для количественных данных:

две независимые группы, допущения выполнены — t-критерий Стьюдента;
две независимые группы, допущения нарушены — критерий Манна–Уитни;
две связанные группы — парный t-критерий или критерий Уилкоксона;
три и более независимых групп — однофакторный ANOVA или критерий Краскела–Уоллиса;
три и более связанных измерения — ANOVA с повторными измерениями или критерий Фридмана.

Для категориальных данных: таблицы сопряжённости — критерий хи-квадрат Пирсона; при малых ожидаемых частотах (меньше пяти в клетке) — точный критерий Фишера.

Шаг 5: проверьте дизайн

Критерий должен соответствовать тому, как собирались данные. Если измерения вложены (студенты внутри групп, пациенты внутри клиник), обычный ANOVA даёт смещённые оценки: нужны модели со смешанными эффектами.

Если группы подбирались по признаку (возраст, пол), это тоже влияет на выбор: иногда уместен ковариационный анализ.

Что делать, когда данные не подходят

Не «подгоняйте» данные под критерий. Варианты: применить непараметрический аналог, использовать устойчивые методы (бутстреп), переформулировать вопрос или честно описать ограничение.

Перебор критериев до получения значимого результата — распространённая ошибка. Если вы проверили несколько вариантов, укажите это в методах и скорректируйте выводы.

Множественные сравнения

Чем больше гипотез проверяется в одном наборе, тем выше вероятность случайного «значимого» результата. Поправки (Бонферрони, Холма, Бенджамини–Хохберга) контролируют эту вероятность.

Поправка Бонферрони консервативна при большом числе тестов; метод Холма даёт больше мощности при том же контроле. Выбор зависит от задачи и числа сравнений.

Как описать выбор в статье

В методах укажите: критерий, тип альтернативы, уровень значимости, способ проверки допущений и программу. Этого достаточно, чтобы читатель мог повторить анализ.

Если допущения нарушены и вы всё же использовали параметрический критерий, объясните почему. Молчание здесь выглядит как недосмотр.

Частые ошибки

сравнение трёх групп попарными t-тестами без поправки;
проверка нормальности только критерием на малой выборке;
использование Манна–Уитни для сравнения средних;
игнорирование связанности наблюдений;
хи-квадрат при ожидаемых частотах меньше пяти;
перебор критериев до значимого p-value.

Односторонняя или двусторонняя альтернатива

Двусторонний вариант проверяет различие в любую сторону, односторонний — только в заранее заданную. Односторонний тест мощнее, но требует обоснования направления до сбора данных.

Выбирать направление после просмотра результатов нельзя: это меняет смысл p-value. Если гипотеза сформулирована как «не хуже», а не «лучше», чаще подходит не односторонний тест, а отдельная процедура не меньшей эффективности.

Как не подгонять анализ

Смотрите данные до выбора критерия: распределения и выбросы. Это нормальная практика разведочного анализа, если она не превращается в поиск удобного теста.

Зафиксируйте план анализа до сбора, особенно в клинических и поведенческих исследованиях. При отклонении от плана объясните причину в методах.

Чек-лист

Тип данных определён.
Число и связанность групп зафиксированы.
Допущения проверены графиком и критерием.
Критерий соответствует дизайну.
Множественные сравнения учтены.
В методах указаны критерий, поправка и программа.

Частые вопросы

Обязательно ли проверять нормальность?

Для параметрических критериев — да, хотя бы графически. При больших выборках отклонения менее критичны из-за центральной предельной теоремы, но выбросы всё равно влияют.

Что делать при малой выборке?

Малые выборки плохо проверяют допущения. Непараметрические критерии и точные тесты часто надёжнее, но мощность у них ниже.

Можно ли использовать t-критерий при неравных дисперсиях?

Да, с поправкой Уэлча. Она не требует равенства дисперсий и обычно предпочтительнее классического варианта.

Нужно ли указывать, что данные не нормальны?

Да, в методах и ограничениях. Читатель должен понимать, на каких основаниях выбран критерий.