Тестирование кода анализа данных

Код анализа тоже ошибается: неверный фильтр, перепутанные группы, потерянные строки. Простые проверки ловят большую часть таких ошибок до публикации. Тесты не требуют сложной инфраструктуры: достаточно нескольких примеров и понятного порядка запуска. Ниже — что и как проверять.

Зачем тестировать код

Что проверять в первую очередь

Фильтры и число строк, размеры групп, единицы измерения, обработку пропусков, итоговые числа. Эти пять проверок закрывают большинство типовых ошибок в анализе.

Эталонный пример

Возьмите маленькую таблицу с известным результатом. Посчитайте ожидаемое число вручную. Сравните с выводом кода. Проверьте граничные случаи: пустые значения, одно наблюдение, отсутствующая группа.

Как проверить фильтры

Сравните число строк до и после фильтра. Выведите список исключённых категорий. Убедитесь, что не потерялись нужные записи. Ошибка в фильтре — самая частая причина неверных результатов.

Как проверить группы

Сверьте размеры групп с исходными данными. Убедитесь, что нет пересечений и что каждое наблюдение отнесено ровно к одной группе. Постройте таблицу соответствия и сохраните её.

Как проверить единицы

Убедитесь, что проценты не сложены с долями, минуты с часами, килограммы с граммами. Добавьте проверку допустимых диапазонов. Это ловит ошибки пересчёта, которые не видны в формулах.

Как проверить итоговые числа

Сравните сумму частей с целым. Проверьте средние на правдоподобие. Убедитесь, что пропуски не превратились в нули. Распечатайте ключевые числа и сверьте с ожидаемыми.

Как оформить тесты

Отдельный файл с короткими проверками и понятными названиями. Запуск одной командой. Сообщение об ошибке должно указывать, что не совпало. Храните рядом с кодом.

Как действовать при обновлении данных

Перезапустите тесты после каждого обновления набора. Если проверка падает, выясните причину до продолжения работы. Не отключайте её ради удобства.

Как проверить случайность

Если в анализе есть случайные процедуры, зафиксируйте зерно генератора. Иначе повторный запуск даст другое число. Укажите это в описании и проверьте повторяемость.

Внешние файлы

Проверьте, что пути и названия совпадают. Тест на отсутствующий файл должен давать понятную ошибку. Не полагайтесь на порядок файлов в папке.

Как учить коллегу

Попросите запустить тесты по вашей инструкции. Если не получилось, упростите шаги. Добавьте примеры. Это проверит и код, и документацию запуска.

Что тестировать не нужно

Сторонние библиотеки и стандартные функции. Не тратьте время на проверку того, что уже проверено. Сосредоточьтесь на своей логике и своих данных.

Как связать с ревью

На ревью проверьте, что тесты запускаются и покрывают ключевые шаги. Отсутствие эталонного примера — повод добавить его до публикации.

Типичные ошибки

Проверять только вывод графика, не сверять число строк, запускать тесты вручную по памяти, не фиксировать случайность, отключать проверки при сбое. Каждая ошибка возвращается.

Как начать

Выберите один этап — загрузку данных. Добавьте три проверки: число строк, число столбцов, диапазон ключевого показателя. Это занимает полчаса и окупается сразу.

Как хранить ожидаемые значения

Запишите ожидаемые числа в файл рядом с тестом. Обновляйте осознанно и с комментарием. Не меняйте ожидание, чтобы тест прошёл.

Как поступить при расхождении

Не подгоняйте тест под результат. Выясните, что изменилось: данные, код или ожидание. Зафиксируйте причину. Только после этого обновляйте проверку.

Как тестировать отчёты

Проверьте, что таблицы содержат нужные столбцы, числа совпадают с расчётом, а подписи не перепутаны. Ошибки в подписях встречаются чаще, чем в формулах.

Как проверить графики

Сверьте число точек и диапазон осей с данными. Убедитесь, что фильтры применены те же, что в таблицах. Сохраните настройки построения.

Как автоматизировать

Достаточно одной команды, запускающей все проверки. Не усложняйте. Регулярный запуск важнее изощрённой системы.

Как описать в статье

Обычно достаточно фразы, что расчёты проверены на эталонном примере. Не перегружайте текст деталями. Артефакты приложите к материалам проекта.

Проверка

Через месяц запустите тесты на тех же данных. Если проверки проходят, а числа совпадают, код стабилен. Если нет, выясните причину до новых расчётов.

Итог

Тесты анализа — это несколько известных примеров и проверка итоговых чисел. Они дешевле исправления опубликованной ошибки.

Как поступить с большими наборами

Проверяйте на подвыборке с известным результатом, а полный прогон сверяйте по контрольным числам: числу строк, сумме, числу уникальных идентификаторов. Это быстрее полной перепроверки.

Чек-лист

Эталонный пример есть.
Фильтры проверены.
Группы не пересекаются.
Единицы совпадают.
Тесты запускаются одной командой.
Ошибки понятны.
Тесты хранятся с кодом.

Частые вопросы

Нужны ли сложные инструменты?

Нет, начните с простых проверок.

Что проверять в первую очередь?

Фильтры, группы, единицы и итоговые числа.

Что важнее всего?

Эталонный пример с известным ответом.

Пример

В скрипте подсчёта среднего балла фильтр исключал не только пересдачи, но и всех студентов с задолженностью. Тест на маленькой таблице с известным ответом показал расхождение. Ошибку нашли до отправки статьи.