Малые выборки в учебных отчётах: почему проценты обманывают

В группе из двадцати человек один студент — это пять процентов, два — уже десять. Разница в несколько человек выглядит как серьёзное изменение, хотя речь о случайных колебаниях. Проценты без знаменателя скрывают масштаб. Ниже — как считать и писать о малых выборках.

Почему проценты обманывают

В группе из двадцати человек один студент — это пять процентов. Два студента — уже десять. При такой базе разница в несколько человек выглядит как серьёзное изменение, хотя речь о случайных колебаниях. Проценты без знаменателя скрывают масштаб.

Всегда показывайте базу

Пишите не «сдали 75 процентов», а «сдали 18 из 24». Читатель сразу видит масштаб и может сам оценить, насколько результат устойчив. Это одна строка, которая снимает половину неверных интерпретаций.

Насколько мала выборка

Если в ячейке меньше десяти наблюдений, проценты лучше не использовать в решениях. При десяти-двадцати — используйте с осторожностью и не сравнивайте разницу в один-два человека. Для сравнения групп нужны десятки наблюдений, а не единицы.

Абсолютные числа против долей

Для одной группы удобны абсолютные числа: «не сдали шесть человек». Для сравнения групп разного размера — доли. Смешивать нельзя: абсолютное число в маленькой группе выглядит безобидно, а доля — тревожно.

Доверительные интервалы

Для простых случаев достаточно помнить: чем меньше выборка, тем шире разброс. Если разница между двумя группами меньше, чем случайные колебания в каждой, вывод о превосходстве не обоснован. Специальные формулы полезны, но не обязательны для повседневных решений.

Сравнение с прошлым семестром

Прошлый набор мог быть другим по составу, подготовке и условиям. Даже при одинаковой программе разница в десять процентов может быть случайной. Сравнивайте вместе с контекстом и не делайте выводов по одному переходу.

Опросы

Если на опрос ответили восемь человек из тридцати, результат описывает этих восьми, а не курс. Укажите число ответивших и способ приглашения. Не экстраполируйте на всех без оговорки.

Пропуски в данных

Пять неявок из двадцати — это двадцать пять процентов, но не «провал», если неявки связаны с болезнью или работой. Сначала выясните причину, потом считайте доли. Иначе цифра описывает обстоятельства, а не обучение.

Малые подгруппы

Разбиение на подгруппы уменьшает базу. Делить двадцать четыре человека на четыре категории — значит получить по шесть в каждой и потерять устойчивость. Не дробите без необходимости.

Как писать вывод

Формулируйте с оговоркой: «в этой группе из 19 человек не сдали четверо; для устойчивого вывода нужен следующий набор». Это честнее, чем «успеваемость снизилась на 21 процент».

Что делать дальше

При малой выборке собирайте данные дольше или объединяйте наборы. Смотрите на качественные признаки: какие именно ошибки повторяются. Три разобранные работы могут дать больше, чем процент по группе из десяти.

Типичные ошибки

Проценты без знаменателя, сравнение разницы в один человек, перенос выводов опроса на всех, дробление на подгруппы, игнорирование причин пропусков. Каждая ошибка ведёт к неверным решениям.

Проверка

Задайте вопрос: сколько наблюдений стоит за числом. Если меньше десяти, относитесь к числу как к примеру, а не к измеренному результату. Это простое правило предотвращает большинство поспешных выводов.

Итог

Малые выборки требуют абсолютных чисел, оговорок и осторожности в сравнениях. Проценты без базы почти всегда вводят в заблуждение.

Как считать разницу

Сравнивая два показателя, смотрите не на проценты, а на число людей: «трое против пятерых» понятнее, чем «12 против 20». Если разница меньше двух человек, считайте её колебанием и не принимайте решений.

Сводные по нескольким наборам

Объединяйте данные за два-три семестра, если программа не менялась. Это увеличивает базу и делает выводы устойчивее. Отмечайте, что условия могли отличаться, и не скрывайте это.

Когда данных достаточно

Для решения об отдельном задании достаточно разобрать несколько работ вручную. Для вывода о курсе нужны наборы за несколько периодов. Разные вопросы требуют разного объёма данных.

Формулировки в отчётах

Пишите «из 18 студентов», «в этой группе», «предварительно». Осторожные формулировки не ослабляют отчёт, а делают его пригодным для решений. Категоричные выводы на малой базе почти всегда ошибочны.

Ошибка усреднения

Среднее по маленьким группам неустойчиво: один сильный или один отсутствующий студент сдвигает результат. Показывайте медиану или диапазон рядом со средним. Это даёт более честную картину.

Что делать при сомнении

Соберите ещё данные или обсудите отдельные случаи. Не подгоняйте объяснение под цифру. Если данных недостаточно, так и напишите — это нормальный результат анализа.

Чек-лист

Рядом с каждой долей указана база.
При менее десяти наблюдений проценты не используются в решениях.
Разница в один-два человека считается колебанием.
Указано число ответивших на опрос.
Подгруппы не дробятся без необходимости.
Формулировки содержат оговорку о размере выборки.
Вывод проверен на втором наборе данных.

Частые вопросы

Показывать ли проценты?

Можно, но всегда с абсолютными числами.

Сколько наблюдений мало?

Меньше десяти — только как пример.

Что важнее всего?

Знаменатель рядом с каждой долей.

Пример

Преподаватель сообщил о падении успеваемости на 20 процентов. Речь шла о двух студентах из десяти, один из которых болел. После уточнения вывод изменился с «курс стал хуже» на «нужно разобраться с двумя случаями».

Итог

На малых выборках проценты показывают вместе с абсолютными числами и не делают по ним выводов о курсе.