Передача данных в архив: пакет и опись
Передача данных в архив завершает работу с исследованием. Если пакет собран небрежно, через несколько лет данные найдут, но не смогут прочитать.
Ниже — как собрать и передать архивный пакет.
Что входит в пакет
Данные в согласованных форматах, документация (протокол, план анализа, словарь), журналы, описание файлов и контакты ответственных. Полнота важнее количества.
Каждый файл в пакете должен иметь назначение.
Отдельно прикладывают перечень известных ограничений данных: пропуски в отдельных периодах, изменённые правила ввода, исключённые участники. Читатель архива должен знать о них до того, как начнёт анализ, а не после того, как получит странные числа.
Описание известных ограничений удобно делать коротким списком с датами: когда обнаружили, что именно, как это влияет на анализ. Список дополняют по мере появления новых сведений, не дожидаясь передачи.
Форматы
Выбирают форматы, которые не требуют редкого программного обеспечения. Для таблиц подходят открытые форматы, для документов — распространённые.
Проприетарные форматы допустимы, если приложено описание и, при возможности, копия в открытом виде.
Если формат устарел, прикладывают его описание и, при возможности, копию в более простом виде. Это недорогая страховка: программы меняются, а текстовые и табличные форматы остаются читаемыми десятилетиями.
Крупные таблицы иногда стоит разбить по годам или по разделам: один огромный файл неудобно открывать и легко повредить при передаче. Небольшие связанные таблицы читаются и проверяются проще.
Опись
Опись перечисляет файлы с кратким описанием, размером и контрольными суммами. По описи проверяют целостность после передачи. Опись архива работает как цифровой паспорт устройства: короткий документ, по которому восстанавливается история.
Опись — главный документ пакета: без неё архив превращается в набор папок.
Опись удобно делать в таблице: имя файла, раздел, описание, размер, контрольная сумма. Такая таблица одновременно служит и планом сборки, и средством проверки, и документом приёмки.
Структура
Файлы раскладывают по разделам: данные, документация, журналы, описание. Имена делают предсказуемыми, без лишних сокращений.
Одинаковые по смыслу файлы не дублируют в разных папках.
Папки нумеруют по порядку разделов, чтобы архив открывался в предсказанной последовательности. Мелочь, но она помогает человеку, который впервые видит пакет, не гадать, с чего начать.
Описание данных
Отдельный документ объясняет, что означает каждый файл и каждая переменная: тип, единицы, допустимые значения, коды пропусков. Это то, что чаще всего теряется.
Без описания данные через год становятся нечитаемыми.
Если в исследовании использовались коды из внешнего словаря, к описанию прикладывают версию словаря или ссылку на неё. Иначе расшифровка кодов через несколько лет станет отдельным проектом.
Проверка целостности
Перед передачей считают контрольные суммы и проверяют, что файлы открываются. После передачи суммы сверяют с описью.
Расхождение означает повреждение или неполную передачу.
Контрольные суммы считают для всех файлов, включая документы. Повреждение описания так же опасно, как повреждение данных: без него таблицы теряют смысл.
Передача
Способ передачи согласуют заранее: защищённый канал, носитель или внутреннее хранилище. Фиксируют дату, отправителя и получателя.
Подтверждение получения хранят вместе с описью.
Если передача идёт по частям, каждую часть оформляют отдельной описью. Так при потере одного канала понятно, что именно нужно повторить, и не приходится передавать весь пакет заново.
Доступ
Права на архив ограничивают. Если данные содержат сведения об участниках, доступ выдаётся только тем, кому он нужен по работе.
Список имеющих доступ пересматривают.
Права на архив включают и право на выгрузку: иногда достаточно ограничить копирование, оставив просмотр. Такое разделение прав проще администрировать, чем полный запрет доступа.
Сроки хранения
Срок определяют по правилам организации и по условиям исследования. Его фиксируют в описании пакета, чтобы через годы было понятно, когда можно уничтожать данные.
Уничтожение оформляют отдельно.
Полезно указать не только срок, но и основание: правило организации, требование исследования или соглашение со спонсором. Основание позволяет пересмотреть срок, если правила изменятся.
Чтение через годы
Проверка простая: попробуйте открыть пакет так, как это сделал бы человек без контекста. Если для чтения нужны пояснения автора, описание неполное.
Полезно приложить короткую инструкцию по открытию.
Инструкция по открытию занимает полстраницы: какие программы нужны, в каком порядке открывать файлы, что делать, если таблица отображается некорректно. Эти полстраницы нередко оказываются самыми ценными в пакете.
Пример: таблица без описания
В архиве есть файл с данными, но нет словаря. Столбцы названы сокращениями, единицы неизвестны, коды пропусков не расшифрованы.
Формально данные сохранены, фактически — потеряны. Описание стоило бы часа работы при передаче.
Проверить пакет можно простым тестом: попросите коллегу найти значение конкретного показателя для конкретного участника, пользуясь только описанием. Если он справился за несколько минут, описание достаточное.
Чек-лист
- Пакет содержит данные, документацию и журналы.
- Форматы открываются без редких программ.
- Опись с контрольными суммами готова.
- Структура папок предсказуема.
- Есть описание переменных и кодов.
- Целостность проверена до и после передачи.
- Доступ ограничен и пересмотрен.
- Срок хранения указан.
Частые вопросы
Нужно ли архивировать промежуточные файлы?
Обычно достаточно итоговых данных и описания анализа; промежуточные сохраняют, если на них ссылается отчёт.
Кто отвечает за архив?
Тот, кто отвечает за данные, вместе с организацией, принимающей архив.
Что делать с паролями?
Пароли не хранят в пакете; доступ выдаётся через систему организации.
Как проверить архив через год?
Открыть опись, найти файлы, сверить суммы и прочитать описание.