Пропуски в данных: как обрабатывать и описывать

Пропуски есть почти в любом наборе данных, собранном с людьми. Вопрос не в том, как их «убрать», а в том, почему они появились и что это значит для выводов. Решение об обработке принимают до анализа, а не после того, как результат не понравился. Ниже — рабочий порядок.

Зачем разбираться с пропусками

Пропуск — это не мелочь: он может сместить оценку и изменить вывод. Прежде чем удалять строки или подставлять среднее, нужно понять, почему данных нет. От этого зависит, что можно утверждать в статье.

Типы пропусков

Полностью случайные, случайные при известных условиях и связанные с самим значением. Первый тип реже искажает выводы, третий — чаще всего. Отнесите каждый пропуск к типу, насколько это возможно по данным.

Как искать причину

Проверьте журналы ввода, пропущенные вопросы анкеты, отказы, технические сбои, выход из исследования. Поговорите с теми, кто собирал данные. Причина часто очевидна и не требует сложных методов.

Первичная проверка

Посчитайте долю пропусков по каждому показателю и по группам. Сравните группы по доступным признакам. Если пропуски сосредоточены в одной группе, это сигнал. Сделайте таблицу, а не общее впечатление.

Когда удалять

Удаление целых наблюдений оправдано, если пропусков мало и они не связаны с изучаемым признаком. Опишите, сколько удалили и почему. Не удаляйте молча и не скрывайте это в приложении.

Когда заполнять

Заполнение допустимо, когда есть обоснованная модель или правило. Среднее по всей выборке — грубый вариант, он сужает разброс. Опишите метод и проверьте, как он влияет на результат.

Множественное заполнение

Создают несколько вариантов данных и объединяют оценки. Требует аккуратности и описания. Если не уверены, посоветуйтесь со статистиком. Не используйте метод, который не можете объяснить.

Отметка «нет данных»

Отделяйте отсутствие ответа от ответа «нет». В анкетах это разные вещи. Закодируйте разными значениями. Иначе анализ будет неверным. Проверьте на небольшой выборке.

Пропуски в датах

Проверьте формат, часовой пояс, пустые поля. Часто «пропуск» — это ошибка записи. Сверьте с исходниками. Исправляйте по документу, а не по догадке.

Как описать в статье

Укажите число и долю пропусков по каждому показателю, метод обработки и его влияние на выводы. Одного предложения обычно достаточно. Не прячьте сведения в сноске.

Как показать влияние

Повторите основной анализ с разными способами обработки. Если вывод не меняется, скажите об этом. Если меняется — обсудите ограничение. Это усиливает доверие.

Типичные ошибки

Удалять всё с пропусками, заполнять средним без описания, смешивать «нет» и «не ответил», не указывать долю пропусков. Каждая ошибка искажает картину.

Что делать до сбора

Продумайте, какие поля обязательны. Ограничьте число вопросов. Проверьте форму. Обучите тех, кто вводит данные. Профилактика дешевле анализа.

Как хранить

Сохраните исходные данные без изменений и отдельный файл с обработкой. Ведите журнал шагов. Не редактируйте исходник. Это позволяет вернуться и проверить.

Проверка

Попросите коллегу повторить обработку по вашему описанию. Если результат не совпал, значит, описание неполное. Дополните. Это простой тест воспроизводимости.

Как оценить долю

Посчитайте пропуски по каждому показателю и общую долю строк с хотя бы одним пропуском. Отметьте, где их больше всего. Это показывает, какие переменные ненадёжны. Такой расчёт занимает минуты и сразу проясняет картину.

Как проверить механизм

Сравните группы с пропусками и без них по доступным признакам. Если различия есть, пропуск связан с данными. Опишите проверку. Не утверждайте, что пропуски случайны, без оснований.

Что делать с анкетой

Проверьте порядок вопросов, обязательность полей, длину формы. Часто пропуски возникают из-за усталости. Сократите блоки. Добавьте возможность вернуться. Проверьте на пилотаже.

Как работать с продольными данными

Отмечайте выбывших. Сравните их с оставшимися. Опишите долю выбывших и причины. Не игнорируйте систематический отсев: он меняет выборку.

Как оформить таблицу пропусков

Показатель, число пропусков, доля, комментарий. Добавьте итоговую строку. Проверьте, что таблица читается с экранным диктором. Не ограничивайтесь цветовой заливкой.

Как советоваться со статистиком

Приходите с описанием сбора и долей пропусков. Уточните, какой метод подходит. Не просите «сделать красиво». Обсудите ограничения. Зафиксируйте решение.

Как связать с этикой

Пропуски могут означать отказ отвечать. Не пытайтесь восстановить данные, которые человек не хотел сообщать. Уважайте отказ. Опишите ограничение.

Чек-лист

Доля пропусков посчитана.
Причины проверены.
Тип пропуска описан.
Метод обработки обоснован.
Влияние на выводы проверено.
Описание в статье есть.
Исходные данные сохранены.

Частые вопросы

Можно ли просто удалить?

Иногда да, если пропусков мало и они случайны.

Что писать в статье?

Долю пропусков, метод и влияние на выводы.

Что важнее всего?

Понять причину пропуска.

Пример

В анкете о нагрузке студентов треть пунктов о сне осталась без ответов. Анализ по удалённым строкам дал заниженную оценку продолжительности сна. После проверки выяснилось, что вопросы шли после длинного блока и часть респондентов закрывала форму. Ограничение описали, а форму переработали.

Итог

Пропуски требуют объяснения, а не механической чистки. Причина, метод и влияние на выводы должны быть в статье.