Экспорт данных для анализа: формат и проверка
Выгрузка кажется технической мелочью, пока аналитик не обнаруживает, что даты записались как текст, а пропуски превратились в нули.
Ниже — как подготовить экспорт, которому можно доверять.
Зачем проверять выгрузку
Экспорт — это копия, а не оригинал. Ошибки возникают при преобразовании форматов, кодировок и разделителей.
Проверка занимает час и избавляет от пересчёта всех результатов.
Ошибка формата не всегда заметна сразу: расчёт может получиться, но с искажением. Поэтому проверяют не только открытие файла, но и несколько значений.
Согласование формата
Формат обсуждают с аналитиком заранее: таблица, CSV, наборы данных по стандарту. Уточняют разделитель, кодировку и формат дат.
Если формат меняется, предупреждают обе стороны.
Полезно один раз сохранить шаблон выгрузки и использовать его повторно. Тогда формат не меняется от раза к разу без необходимости.
Уточните заранее, нужны ли заголовки столбцов на русском или латиницей. Смешение алфавитов в именах полей создаёт проблемы при обработке скриптами.
Идентификаторы
В выгрузке сохраняют идентификаторы участников в том виде, который согласован. Для передачи наружу используют обезличенные коды.
Соответствие кодов и имён хранят отдельно и не включают в файл.
Если анализ проводится внутри площадки, укажите в записке, какие коды соответствуют каким участникам и где хранится таблица соответствия.
Пропуски
Пропуски кодируют одинаково: пустая ячейка, специальный код или отдельное значение. Главное — единообразие и описание в сопроводительной записке.
Если пропуск превращается в ноль, статистика искажается незаметно.
В описании полей укажите, чем отличается пустое значение от нуля. Это самая частая причина ошибочных выводов.
Даты и числа
Даты выгружают в одном формате, числа — с точкой в качестве разделителя. Десятичная запятая чаще всего ломает импорт.
Единицы измерения указывают в описании полей.
Проверьте, как система ведёт себя с часовыми поясами. Для дат визитов это редко важно, для времени процедур — критично.
Проверка полноты
Сравните число строк и записей с исходной системой. Расхождение означает, что часть данных не выгрузилась.
Проверьте и число полей: иногда колонки теряются при выборе шаблона.
Сверку делайте по числу уникальных идентификаторов, а не только по строкам: в выгрузке могут появиться дубли.
Проверка значений
Выборочно сверьте несколько записей с системой. Особое внимание — крайним значениям и пустым полям.
Полезно посмотреть распределение: резкие скачки указывают на ошибку формата.
Откройте несколько записей с крайними значениями: минимальными, максимальными и пустыми. Именно там чаще всего видны ошибки формата.
Сравните число пустых ячеек с отчётом о полноте. Расхождение означает, что пропуски потерялись или заменились значением.
Сопроводительная записка
К файлу прикладывают описание: дата выгрузки, версия базы, состав полей, правила кодирования пропусков и контакты ответственного.
Без записки получатель тратит время на догадки.
Указывайте в записке, какие поля являются производными, то есть рассчитаны, а не внесены вручную.
Версии выгрузок
Каждой выгрузке присваивают номер и дату. Повторная выгрузка не заменяет прежнюю без пояснения, что изменилось.
Аналитик должен знать, какую версию он использует.
Ведите журнал выгрузок: дата, версия базы, получатель, назначение. Через месяц это единственный способ понять, какой файл у кого.
При повторной выгрузке укажите, какие записи изменились. Это экономит аналитику время на повторную обработку.
Безопасность
Файлы передают по согласованным каналам, с ограничением доступа. Копии хранят в защищённом месте и удаляют по истечении срока.
Не стоит пересылать данные в личных сообщениях.
Проверьте, что в файле нет лишних листов или скрытых столбцов. Такие детали часто остаются от предыдущих выгрузок.
Если файл передаётся несколько раз, каждый раз проверяйте состав полей: иногда в него попадают новые столбцы с персональными данными.
Передача файлов с ноутбука требует тех же мер, что описаны в материале ноутбуки для командировок: защищённые каналы и минимум копий.
Обучение
Тот, кто делает выгрузку, должен понимать, как её будет использовать аналитик. Полчаса разговора экономят дни переделок.
Полезно один раз пройти весь путь вместе.
Новый сотрудник должен один раз сделать выгрузку под наблюдением: так ошибки видны до того, как файл уйдёт аналитику.
Пример: даты как текст
Аналитик получает файл, где даты записаны в формате, который таблица читает как текст. Расчёт интервалов оказывается невозможным.
Выгрузку переделывают с единым форматом и добавляют проверку: первые строки открывают и смотрят глазами.
Простое правило «проверь первые десять строк» предотвращает большинство подобных случаев.
После исправления формата проверьте, что расчёты на новых данных совпадают с ожидаемыми на контрольной выборке.
Чек-лист
- Формат согласован с аналитиком.
- Идентификаторы обезличены по правилам.
- Пропуски закодированы единообразно.
- Даты и числа в одном формате.
- Число строк сверено с системой.
- Выборочно проверены значения.
- Есть сопроводительная записка.
- Указаны версия и дата выгрузки.
Частые вопросы
Можно ли выгружать напрямую из системы?
Можно, если формат согласован. Но проверка первых строк всё равно нужна.
Нужна ли обезличка для внутреннего анализа?
Зависит от правил. Внутри команды часто достаточно кодов, без имён.
Что делать при расхождении числа строк?
Не передавать файл, пока не выяснена причина. Чаще всего дело в фильтре или потере колонок.
Кто отвечает за выгрузку?
Тот, кто ведёт базу данных, или координатор по его инструкции.