Архивирование больших данных: разбиение и проверка

Один огромный архив неудобно передавать: он не проходит по лимитам, обрывается при загрузке и целиком теряется при повреждении. Разбиение на части позволяет передавать по частям и находить повреждённый фрагмент. Ниже — как организовать архив.

Зачем разбивать архив

Размер части

Выбирайте так, чтобы часть проходила по лимитам сервиса и была удобна для передачи. Слишком мелкие части создают много файлов и усложняют сборку. Обычно достаточно частей, которые передаются за несколько минут.

Суммы для частей

Для каждой части посчитайте контрольную сумму и запишите в список. Отдельно укажите сумму целого архива после сборки. Это позволяет проверить и части, и результат.

Описание

В корне архива — файл с описанием: что внутри, как собрать, какие суммы, в каком порядке соединять части. Без описания получатель не поймёт, что с этим делать, особенно если части названы автоматически.

Порядок сборки

Части должны соединяться в правильном порядке. Укажите его в имени файла и в описании. Ошибка порядка даёт нечитаемый архив, хотя все суммы частей сойдутся. Проверьте сборку на тестовом наборе.

Проверка распаковки

После сборки распакуйте архив в отдельную папку и откройте несколько файлов. Сверьте число файлов и суммы. Только после этого удаляйте исходные данные, если они больше не нужны.

Хранение частей

Храните части вместе или в одном хранилище с описанием. Разбросанные по разным местам части быстро теряются. Если части большие, ведите список: где лежит каждая.

Сжатие

Сжатие уменьшает объём, но требует времени. Для уже сжатых данных выигрыш невелик. Проверьте, что архиватор не портит файлы: некоторые форматы при сжатии меняют содержимое, и суммы не совпадут.

Шифрование

Если данные конфиденциальны, используйте шифрование архива. Пароль передавайте отдельным каналом. Не храните пароль в том же письме, что и архив: это сводит защиту к нулю.

Долгое хранение

Для архива используйте формат, который откроется через годы. Открытые форматы надёжнее проприетарных. Проверяйте архив раз в год и обновляйте носитель.

Типичные ошибки

Один огромный архив, отсутствие сумм, части без описания, неверный порядок сборки, пароль рядом с архивом, отсутствие проверки распаковки. Каждая ошибка приводит к потере времени или данных.

Итог

Большие данные архивируют частями с описанием и суммами, а после сборки проверяют распаковку и число файлов.

Что делать с описанием внутри архива

Описание должно открываться без специальных программ: обычный текстовый файл. Укажите в нём состав, порядок сборки, контрольные суммы, дату и автора. Если архив шифруется, описание можно оставить снаружи, чтобы получатель понимал, что внутри, не вводя пароль. Это особенно полезно при долгом хранении, когда автора уже нет рядом.

Как выбрать формат архива

Обычный архивный формат читается большинством систем и не требует лицензии. Специализированные форматы могут сжимать лучше, но привязывают к программе. Для долгого хранения важнее совместимость, чем несколько процентов экономии. Проверьте, что архив открывается на другой машине, прежде чем считать его готовым.

Проверка перед удалением источника

После сборки и успешной распаковки сравните число файлов и суммы с исходными. Удаляйте источник только тогда, когда копия проверена и лежит в двух местах. Спешка на этом шаге — самая частая причина необратимой потери: архив вроде бы есть, но он неполный или не открывается.

Как избежать путаницы версий

Включайте в имя архива дату и версию, а в описание — что изменилось относительно предыдущей. Не создавайте файлы с приставками «новый» и «итоговый»: через месяц никто не поймёт, какой из них актуальный. Одна версия, одно имя, одна запись в журнале — этого достаточно, чтобы не перепутать наборы при передаче.

Что делать при нехватке места для архива

Не удаляйте исходные данные, чтобы освободить место. Сначала перенесите архив на другой носитель и проверьте его, затем удаляйте. Если места нет нигде, архив ещё не готов: упаковка без проверки и без второй копии не считается завершённой, и торопиться с удалением оригинала нельзя.

Что делать, если архив нужен через много лет

Запишите в описание, каким инструментом пользовались и какие версии нужны для распаковки. Через десять лет архиватор может измениться. Открытый формат и текстовое описание переживают смену программ лучше, чем специализированный контейнер. Проверьте архив раз в год и при необходимости перепакуйте в актуальный формат, сохранив старую копию.

Чек-лист

Архив разбит на части по лимитам передачи.
Для каждой части посчитана контрольная сумма.
Порядок сборки указан в имени и описании.
Описание лежит в архиве или рядом с ним.
После сборки архив распакован и проверен.
Источник удалён только после проверки.
Пароль передан отдельным каналом, если архив шифрован.

Частые вопросы

Зачем разбивать?

Из-за лимитов, обрывов и поиска повреждений.

Что приложить?

Описание и контрольные суммы частей.

Что важнее всего?

Проверить сборку и распаковку.

Пример

Архив набора не проходил по лимиту сервиса. После разбиения на части с суммами и описанием передача заняла один вечер, а повреждённая часть была заменена без повторной пересылки всего набора.

Итог

Архив больших данных собирают из частей с описанием и суммами и проверяют после распаковки.