Отчёт о качестве данных: какие показатели включать
Отчёт о качестве данных нужен не для отчётности, а для управления. Он показывает, где процесс даёт сбой, пока это ещё можно исправить.
Ниже — минимальный набор показателей и правила их чтения.
Зачем нужен отчёт
Без цифр обсуждение качества превращается в обмен впечатлениями. Отчёт даёт общую картину для команды и спонсора.
Он же показывает динамику: становится лучше или хуже.
Отчёт помогает и при смене команды: новый координатор видит, какие показатели в норме, а где нужны усилия.
Полнота
Доля заполненных обязательных полей по формам и визитам. Пропуски считают по причинам: не выполнено, нет данных, отказ.
Разные причины требуют разных действий, поэтому общий процент мало что говорит.
Считайте полноту отдельно по формам: разные формы заполняют разные люди, и общий процент скрывает различия.
Пропуски, связанные с отказом участника, полезно показывать отдельно: они не характеризуют качество работы площадки.
Своевременность
Время между процедурой и внесением записи. Задержка повышает риск ошибок и затрудняет сверку.
Показатель считают по медиане, а не по среднему: единичные долгие случаи искажают картину.
Если задержки сосредоточены в конце месяца, причина обычно в нагрузке. Это повод пересмотреть график, а не требовать аккуратности.
Если записи вносят в день визита, показатель близок к нулю и перестаёт быть информативным. Тогда смотрят долю записей, внесённых позже суток.
Запросы
Число открытых и закрытых запросов, средний срок закрытия, доля повторных. Рост повторных запросов указывает на проблему в понимании полей.
Эти показатели стоит смотреть вместе: много закрытых запросов при большом числе повторных — не хороший результат.
Показывайте число запросов на сто записей: так показатель сопоставим между периодами с разным объёмом.
Если запросов нет совсем, проверьте, включены ли автоматические проверки. Полное отсутствие запросов чаще означает не качество, а отсутствие контроля.
Расхождения при сверке
Доля записей, где данные не совпали с первичной документацией, и распределение по типам полей. Это самый прямой показатель достоверности.
Если расхождения сосредоточены в одном поле, причина обычно в форме или инструкции.
Для каждого типа полей полезна отдельная строка: даты, числа, категории. Причины расхождений у них разные.
Кодирование
Доля закодированных событий и результаты проверки согласованности. Незакодированные события — прямой риск для анализа безопасности.
Показатель полезно сопровождать числом спорных случаев.
Если кодирование ведёт внешняя сторона, добавьте показатель сроков: задержки кодирования сдвигают анализ.
Число событий без термина стоит держать на виду: это самый простой признак незавершённой работы с данными.
Версии и изменения
Число изменений правил ввода и версий словаря за период. Частые изменения без объяснения указывают на нестабильный процесс.
Это не плохо само по себе, но требует комментария.
Формат отчёта
Короткая таблица показателей с прошлым периодом для сравнения. Длинные текстовые описания читают реже, чем таблицу.
К каждому отклонению — одно предложение о причине и планируемом действии.
Одна страница с таблицей и тремя выводами работает лучше десяти страниц с графиками.
Для каждого показателя указывайте направление: рост — плохо или хорошо. Без этого таблицу читают неверно.
Сохраняйте отчёты за прошлые периоды. Сравнение с прошлым годом объясняет сезонные колебания и снимает лишние вопросы.
Регулярные проверки устроены так же, как обслуживание системы охлаждения: по графику, а не по тревоге.
Регулярность
Отчёт готовят раз в месяц или квартал, в зависимости от объёма. Чаще — на старте исследования, когда правила ещё настраиваются.
Перед визитом проверяющего готовят сводку за весь период.
Привяжите подготовку отчёта к ежемесячной встрече команды. Иначе он остаётся файлом в папке.
На старте исследования отчёт полезно готовить раз в две недели: правила ещё меняются, и ошибки видны быстрее.
Кто читает
Команда площадки, исследователь, спонсор. Разные читатели смотрят разные разделы, поэтому структура должна быть одинаковой.
Обсуждение отчёта важнее его составления.
Для спонсора полезна сводка по ключевым показателям, для команды — детализация по формам.
Обсуждение отчёта занимает двадцать минут и почти всегда выявляет хотя бы одну причину, незаметную в цифрах.
Пример: рост доли пропусков
В отчёте видно, что доля пропусков выросла с двух до семи процентов за месяц. Разбор показывает, что изменилась форма: два поля стали необязательными по ошибке настройки.
Настройку исправляют, а в отчёт добавляют комментарий. Через месяц показатель возвращается к прежнему уровню.
Без отчёта проблема обнаружилась бы при анализе, когда исправлять уже поздно.
После устранения причины проверьте, что показатель вернулся к прежнему уровню. Иначе проблема могла быть не только в настройке.
Чек-лист
- Показатели определены заранее.
- Полнота считается по причинам пропусков.
- Своевременность считается по медиане.
- Учтены открытые и повторные запросы.
- Есть показатель расхождений при сверке.
- Отслеживается кодирование.
- Указаны изменения правил.
- Отчёт обсуждается командой.
Частые вопросы
Сколько показателей нужно?
Пять-семь. Большее число не читают и не обсуждают.
Нужен ли отчёт для небольшого исследования?
Да, в сокращённом виде. Основные риски те же.
Кто готовит отчёт?
Координатор или тот, кто ведёт базу данных. Утверждает исследователь.
Что делать при ухудшении показателя?
Разобрать причину и зафиксировать действие. Сам по себе рост цифры — не проблема, проблема — отсутствие реакции.