Проверка выгрузки таблицы перед анализом

Файл мог обрезаться при передаче, потерять строки при фильтре или получить лишние столбцы. Ошибки редко видны сразу: таблица открывается, числа выглядят правдоподобно. Проверка занимает минуты и предотвращает недели работы с искажёнными данными. Ниже — минимальный набор проверок.

Зачем проверять выгрузку

Число строк

Сравните с ожидаемым: числом записей в системе или предыдущей выгрузкой. Разница в единицы может быть нормальной, разница в разы — почти всегда ошибка фильтра или обрезанный файл.

Число столбцов

Сверьте с описанием или шаблоном. Лишние столбцы обычно означают, что изменилась версия отчёта. Отсутствующие — что фильтр или настройка скрыла часть данных.

Заголовки

Проверьте, что первая строка содержит ожидаемые имена. Ошибка в имени ломает формулы молча: столбец существует, но расчёт его не находит. Переименовывайте осознанно и фиксируйте изменения.

Типы данных

Числа должны быть числами, даты — датами. Посмотрите, как программа определила типы. Столбец с числами, сохранённый как текст, не считается в сводных и не сортируется правильно.

Контрольные суммы

Сложите числовое поле и сравните с тем же показателем в системе. Расхождение указывает на потерю или дубли. Для текстовых полей проверьте число пустых и уникальных значений.

Пропуски

Посмотрите, в каких столбцах есть пустые значения и сколько их. Массовые пропуски в одном поле означают либо ошибку выгрузки, либо особенность данных. И то и другое нужно понять до анализа.

Дубли

Проверьте уникальность ключа. Дубли возникают из-за повторных попыток, объединённых таблиц или ошибки соединения. Определите, какие записи дублируются, прежде чем удалять.

Диапазоны

Посмотрите минимум и максимум числовых полей. Отрицательный возраст или дата из будущего сразу видны в диапазоне, но не в среднем. Это быстрый способ найти ошибки ввода.

Первые и последние строки

Откройте начало и конец файла. Обрезанный файл виден по последней строке: она может быть неполной. Начало покажет, не попала ли служебная строка отчёта.

Сверка с источником

Возьмите несколько записей и сравните их с системой вручную. Три-пять записей достаточно, чтобы понять, совпадают ли поля и формат. Это самая надёжная проверка.

Журнал проверки

Запишите, что и когда проверяли, какие расхождения нашли. Через месяц вы не вспомните, почему в файле меньше строк. Короткая заметка сохраняет контекст.

Типичные ошибки

Пропускать проверку из-за доверия к источнику, считать строки «на глаз», игнорировать типы, не проверять уникальность ключа, не фиксировать результат. Каждая ошибка дорого стоит.

Итог

Выгрузку проверяют по числу строк и столбцов, типам, контрольным суммам и сверке нескольких записей с источником.

Почему проверка нужна даже знакомому источнику

Система могла обновиться, настройки отчёта — сохраниться с прошлого раза, а фильтр — остаться включённым. Знакомый источник не гарантирует тех же данных. Пять минут проверки дешевле, чем переделка анализа.

Как оформить чек-лист проверки

Запишите последовательность: строки, столбцы, заголовки, типы, суммы, дубли, примеры. Храните рядом с шаблоном обработки. Тогда проверка не зависит от памяти и выполняется одинаково разными людьми.

Что делать при расхождении

Не правьте данные и не подгоняйте ожидания. Зафиксируйте расхождение, найдите причину и только потом продолжайте. Если причину найти не удалось, отметьте это в описании и не используйте поле в выводах.

Кто проверяет

Проверку выполняет тот, кто будет анализировать. Передача «чистого» файла без проверки получателем — источник ошибок. Ответственность делится: отправитель гарантирует структуру, получатель — соответствие задаче.

Хранение результата проверки

Короткая заметка: дата, файл, число строк и столбцов, контрольная сумма, найденные особенности. Она пригодится при следующей выгрузке и при вопросах коллег. Не храните заметку отдельно от набора.

Автоматизация

Если выгрузки повторяются, оформите проверку скриптом: он посчитает строки, суммы и пустые значения быстрее человека. Но первые несколько раз пройдите вручную, чтобы понимать, что именно проверяется.

Что не проверяет автоматика

Смысл данных: правильность единиц, соответствие описанию, отсутствие лишних категорий. Это остаётся за человеком. Сочетайте машинную проверку структуры и ручную проверку смысла.

Когда проверку можно сократить

Для повторяющейся выгрузки с одинаковой структурой достаточно проверить строки, суммы и несколько записей. Полный набор проверок нужен при смене источника, формата или настроек отчёта. Так экономится время без потери надёжности.

Чек-лист

Число строк совпадает с ожидаемым.
Число и имена столбцов соответствуют шаблону.
Типы чисел и дат проверены после импорта.
Контрольная сумма числового поля сверена с источником.
Уникальность ключа и дубли проверены.
Три-пять записей сверены с системой вручную.
Результат проверки записан с датой и версией файла.

Частые вопросы

С чего начать?

С числа строк и столбцов.

Нужны ли контрольные суммы?

Да, это самый быстрый способ поймать потерю.

Что важнее всего?

Сверить несколько записей с источником вручную.

Пример

В выгрузке оказалось на треть меньше строк. Причина — фильтр по статусу, который остался с прошлого раза. Проверка числа строк выявила это за минуту, до начала анализа.

Итог

Выгрузку проверяют по структуре, типам, суммам и выборочной сверке с источником.