Выбросы в данных: как найти и проверить

Выброс — значение, которое резко отличается от остальных. Сам по себе он не ошибка: он может быть настоящим результатом или следствием сбоя.

Задача не в том, чтобы удалить выбросы, а в том, чтобы проверить каждый и зафиксировать решение.

Что считать выбросом

Границу задают заранее: по диапазону, допустимому для метода измерения, по статистическому правилу или по разнице с остальными наблюдениями.

Без заранее заданного правила каждый спорный случай решают заново, и решения становятся несогласованными.

Порог полезно записать в плане анализа вместе со способом проверки. Тогда при разборе конкретного случая не возникает спора о том, считать ли значение выбросом, и меньше вероятность подогнать правило под удобный результат.

Физическая проверка

Первое, что делают с подозрительным значением, — проверяют, возможно ли оно вообще. Температура тела 58 градусов или вес 4 килограмма почти наверняка означают ошибку ввода или единиц. Плановый осмотр оборудования, как и обслуживание системы охлаждения, дешевле срочного ремонта.

Проверка простая и отсекает большинство проблем.

Список правдоподобных интервалов полезно завести один раз и использовать в нескольких исследованиях. Он экономит время и делает проверку единообразной, а обновляют его по мере появления новых методов измерения.

Сверка с первичной документацией

Значение из системы сравнивают с записью в первичном документе. Расхождение означает ошибку переноса, а совпадение — что значение внесено верно, даже если выглядит странно.

Решение фиксируют: исправлено, подтверждено, требует уточнения.

Сверку выполняют по копии записи, а не по памяти участника: первичный документ — основной источник, и ссылка на него должна быть в журнале. Если документ недоступен, это фиксируют отдельно.

Единицы и формат

Часть выбросов появляется из-за путаницы единиц: миллиграммы вместо граммов, доли вместо процентов. Такие ошибки находят при проверке диапазонов.

Проверка формы на этапе ввода предотвращает большинство из них.

Проверку единиц удобно совмещать с проверкой диапазона: для каждого показателя задают правдоподобный интервал, и всё, что вне его, попадает в список на просмотр. Это дешевле, чем искать причину расхождения после анализа.

Статистические правила

Правило вроде «значения за пределами трёх стандартных отклонений» удобно для поиска, но не для удаления. Оно лишь указывает, что запись стоит посмотреть.

На малых выборках такие правила работают плохо.

Статистическое правило не заменяет проверку источника. Оно лишь сортирует записи по вероятности ошибки, и решение всё равно принимают после сверки с документом и с учётом того, возможен ли такой результат физически.

Решение

Возможны варианты: значение подтверждено как верное, исправлено, помечено как недостоверное, исключено из анализа. Каждое решение обосновывают.

Молча удалять значения нельзя: это скрывает информацию от читателя и проверяющего.

Помеченное как недостоверное значение обычно оставляют в данных, но исключают из расчётов с указанием причины. Так сохраняется история, и при повторной проверке видно, что запись была, а не исчезла бесследно.

Влияние на анализ

Даже одно значение может сильно изменить среднее. Поэтому проверяют, как меняется результат при включении и исключении подтверждённого выброса.

Если вывод зависит от одного наблюдения, это важно указать.

Полезно посчитать результат трижды: со всеми данными, без подтверждённых ошибок и без всех выбросов. Три числа рядом показывают, насколько вывод зависит от спорных записей.

Описание в отчёте

В отчёте указывают, сколько значений проверено, сколько подтверждено, исправлено и исключено. Подробности выносят в приложение.

Читателю важно знать, что работа проведена, а не только её результат.

Число проверенных значений полезно приводить рядом с числом исключённых: первое показывает объём работы, второе — её результат. Вместе они дают читателю представление о качестве данных.

Журнал решений

Журнал содержит дату, значение, источник, решение и исполнителя. Он позволяет восстановить историю при повторной проверке.

Журнал полезен и для обучения: видно типичные причины ошибок.

Журнал ведут в одном месте, а не в переписке. Через несколько месяцев именно он позволяет ответить на вопрос, почему конкретное значение не попало в итоговую таблицу.

Устойчивые методы

Если выбросы возможны по природе данных, выбирают методы, менее чувствительные к крайним значениям. Это решение принимают до анализа, а не после.

Метод описывают в плане анализа.

Если данных немного, устойчивый метод может оказаться единственным способом получить стабильную оценку. Тогда его выбор обосновывают заранее, а не после того, как обычный метод дал неудобный результат.

Пример: вес в килограммах и граммах

В наборе встречается вес 72000 при типичных значениях около 72. Причина — ввод в граммах вместо килограммов в одной из форм.

Проверка диапазона выявляет все такие записи разом, а не по одной.

После исправления полезно проверить, не осталось ли похожих записей в других формах: одна и та же ошибка часто повторяется систематически, если форма не ограничивает диапазон значений.

Чек-лист

Правило выявления задано заранее.
Проверена физическая возможность значения.
Значение сверено с первичным документом.
Проверены единицы измерения.
Решение по каждому выбросу зафиксировано.
Оценено влияние на результат.
Решения описаны в отчёте.
Ведётся журнал решений.

Частые вопросы

Нужно ли удалять выбросы?

Нет, удаляют только подтверждённо ошибочные значения, с фиксацией.

Что делать, если значение верное, но странное?

Оставить и указать в отчёте, что оно проверено.

Кто принимает решение?

Тот, кто отвечает за данные, вместе с исследователем.

Как показать работу в статье?

Одним абзацем и, при необходимости, ссылкой на приложение.