Контроль качества при вводе данных
Ошибки ввода незаметны, пока не начнёшь считать. Тогда выясняется, что часть дат записана в другом формате, единицы смешаны, а несколько строк дублируются. Контроль на входе стоит дешевле, чем разбор на выходе. Ниже — как его организовать.
Зачем контроль ввода
Ошибка, попавшая в таблицу, редко остаётся одна: она тянет за собой неверные средние, графики и выводы. Проверять ввод дешевле, чем чистить данные перед публикацией.
Правила ввода
Единицы, формат даты, допустимые значения, обязательные поля. Опишите их письменно. Дайте пример заполненной строки. Приложите памятку на одну страницу.
Проверки в форме
Диапазоны, обязательные поля, выпадающие списки, предупреждения о подозрительных значениях. Не блокируйте всё подряд: чрезмерные ограничения приводят к обходам.
Дубли
Проверяйте повторяющиеся записи по ключу. Уточните, что считать дублем. Решите, как объединять. Не удаляйте без проверки: иногда это разные случаи.
Ошибки формата
Даты, разделители, лишние пробелы, смешанные единицы. Приводите к одному виду сразу. Сохраняйте исходник отдельно. Опишите преобразование.
Журнал изменений
Кто, когда, что и почему исправил. Ведите с первого дня. Не редактируйте таблицу без записи. Это основа доверия к данным.
Кто проверяет
Второй человек выборочно сверяет записи с документами. Достаточно несколько процентов строк. Отметьте ошибки и обсудите с исполнителями.
Как обучать
Короткая практика на примерах. Покажите типичные ошибки. Дайте памятку. Проверьте первые записи. Назначьте контакт для вопросов.
Типичные ошибки
Нет правил, нет журнала, дубли не проверяются, единицы смешаны, проверка только в конце проекта. Каждая ошибка возвращается при анализе.
Как описать в статье
Кратко: правила ввода, доля проверенных записей, число исправлений. Не перегружайте текст деталями, но покажите, что контроль был.
Хранение
Исходные файлы не меняются. Правки — в отдельном файле с журналом. Укажите версию. Делайте резервные копии. Ограничьте доступ.
Как связать с разметкой
Если данные размечают вручную, правила ввода и разметки должны совпадать. Проверьте на общем примере. Иначе возникнут расхождения.
Ответственность
Назначьте человека, отвечающего за качество данных. Дайте ему право остановить работу при системной ошибке. Это не формальность.
Проверка
Возьмите десять строк и сверьте с первичными документами. Отметьте расхождения. Если их много, проверьте всю партию. Не ограничивайтесь случайной выборкой при явных проблемах.
Что делать при системной ошибке
Остановите ввод. Выясните причину. Исправьте процедуру. Оцените, какие записи затронуты. Опишите в отчёте. Не маскируйте проблему.
Как выбрать ключ
Для дублей нужен ключ: номер, дата и время, сочетание полей. Уточните, что уникально в вашем случае. Проверьте на примерах. Ошибка в ключе делает проверку бесполезной.
Как работать с ручным вводом
Ограничьте объём за сессию. Проверяйте первые записи. Дайте шаблон. Используйте выпадающие списки там, где возможно. Меньше свободы — меньше ошибок.
Как учитывать часовые пояса
Зафиксируйте пояс и формат. Укажите, как записывать события около полуночи. Проверьте несколько записей. Смешение поясов даёт сдвиг на несколько часов и ломает анализ.
Как поступить с отсутствующими значениями
Отдельный код для «нет данных», а не пустая ячейка или ноль. Объясните исполнителям разницу. Проверьте, что код не встречается в реальных значениях.
Как проверять текст
Для свободных полей задайте правила: длина, запрет личных данных, единый язык. Проверяйте выборочно. Не полагайтесь на то, что все напишут одинаково.
Как связать с формой
Проверьте форму на телефоне и с клавиатуры. Убедитесь, что сообщения об ошибках понятны. Тестируйте до запуска сбора. Исправления после начала дороже.
Как действовать при большом потоке
Введите проверку первых записей дня и итоговую сверку количества. Назначьте ответственного. Не откладывайте контроль на конец проекта.
Как объяснить исполнителям
Покажите, зачем нужны правила. Приведите пример ошибки и её последствий. Дайте возможность задать вопрос. Люди соблюдают правила, которые понимают.
Как оформить отчёт о качестве
Число записей, доля проверенных, число исправлений, типовые ошибки. Коротко. Приложите к материалам проекта. Это подтверждает, что контроль был.
Как поступить с внешними источниками
Проверьте формат и единицы при получении. Сверьте контрольные суммы или количество строк. Зафиксируйте, кто передал и когда. Не доверяйте файлу без проверки.
Как поступить с бумажными формами
Заведите правило: кто и когда переносит данные. Отмечайте перенесённые бланки. Проверяйте выборочно. Храните оригиналы, пока не завершена сверка.
Как связать с обучением
Новые исполнители проходят практику на десяти записях с разбором. Без этого правила остаются на бумаге, а ошибки повторяются изо дня в день.
Чек-лист
- Правила ввода описаны.
- Проверки в форме есть.
- Дубли проверяются.
- Единицы единые.
- Журнал изменений ведётся.
- Выборочная сверка сделана.
- Ответственный назначен.
Частые вопросы
Нужны ли журналы?
Да, без них правки невозможно проверить.
Кто проверяет?
Второй человек выборочно, по первичным документам.
Что важнее всего?
Правила ввода и обучение исполнителей.
Пример
В таблице посещаемости обнаружились четыре записи одного студента за один день. Оказалось, что ввод дублировался при повторной загрузке. После проверки по ключу и журнала изменений дубли перестали попадать в анализ.
Итог
Качество данных закладывается при вводе: правила, проверки, обучение и журнал изменений.