Версии корпуса: как менять состав
Корпус меняется: добавляются тексты, исправляются ошибки, уточняются метаданные. Без версий невозможно понять, на каких данных сделан вывод. Ниже — номер, состав, журнал и ссылки.
Зачем версии
Корпус меняется: добавляются тексты, исправляются ошибки, уточняются метаданные. Без версий невозможно понять, на каких данных сделан вывод. Статья, опубликованная год назад, должна ссылаться на конкретную версию.
Что считать версией
Любое изменение состава или обработки. Мелкая правка метаданных тоже версия, если она влияет на выборки. Изменения только в описании не всегда требуют новой версии, но фиксируются.
Номер версии
Последовательный номер плюс дата. Номер проще сравнивать, дата понятнее человеку. Оба указываются в описании и в публикациях.
Что входит в версию
Набор документов, метаданные, правила очистки, схема разметки, список исключённых дубликатов. Всё это влияет на результат анализа.
Журнал изменений
Короткая запись: что добавлено, что удалено, что исправлено и почему. Пять строк на версию достаточно. Без журнала версии отличаются только номером.
Совместимость
Если изменилась схема метаданных, старые скрипты могут сломаться. Изменения схемы отмечаются отдельно. Совместимость важнее удобства текущей правки.
Замена и удаление
Удаление документов фиксируется: какие идентификаторы исключены и почему. Иначе анализ на новой версии даст другие числа без объяснения.
Ссылки на версию
В публикациях указывайте версию и дату. Если корпус доступен по ссылке, ссылка должна вести на конкретную версию, а не на «последнюю». Иначе результат не воспроизводится.
Хранение версий
Старые версии сохраняются, если на них есть ссылки. Хранение всех версий дорого, поэтому правило удаления старых версий фиксируется заранее.
Контрольные суммы
Для архива версии считаются суммы. Это позволяет убедиться, что версия не изменилась после публикации. Суммы публикуются вместе с описанием.
Проверка перед публикацией
Перед выпуском версии проверьте: число документов, заполненность полей, отсутствие дубликатов. Результат проверки прикладывается к журналу.
Типичные ошибки
Нет журнала, ссылки на «последнюю версию», удаление без фиксации, изменение схемы без отметки, старые версии без контрольных сумм.
Итог
Версия корпуса — это номер, дата, состав, правила и журнал изменений, доступные вместе с данными.
Кто выпускает версию
Ответственный за корпус, а не каждый участник. Иначе версии появляются без журнала и проверки. Право выпуска фиксируется в описании проекта, а изменения предлагаются через общий список.
Проверка воспроизводимости
Перед выпуском повторите один типовой анализ на новой версии и сравните с прежним результатом. Если числа изменились, объясните почему. Это лучшая проверка того, что журнал изменений полон, а состав описан.
Связь с публикациями
В статье указывайте версию корпуса, дату и параметры анализа. Читатель должен иметь возможность повторить расчёт. Ссылка на общий сайт без версии такой возможности не даёт, даже если данные не менялись.
Долгосрочное хранение
Версии, на которые есть ссылки в публикациях, хранятся постоянно. Остальные можно архивировать. Правило хранения фиксируется заранее, чтобы не решать этот вопрос при нехватке места.
Итог по дисциплине
Версия — это не формальность, а условие проверяемости. Без неё корпусная работа превращается в пересказ чисел, которые невозможно воспроизвести.
Минимальная дисциплина
Даже небольшой корпус выигрывает от простой практики: папка версии с датой, файл описания, журнал из пяти строк. Этого достаточно, чтобы через год понять, что менялось. Сложные системы версионирования полезны, но начинать стоит с дисциплины, а не с инструмента.
Связь с метаданными
При изменении схемы метаданных укажите версию схемы в описании версии корпуса. Иначе непонятно, какие поля существовали на момент анализа. Две версии схемы в одном проекте — нормальная ситуация, если она задокументирована и не смешивается в отчётах.
Что делать с ошибками
Найденная ошибка в тексте или метаданных исправляется в новой версии. Старая версия сохраняется, если на неё есть ссылки. В журнале указывается, что именно исправлено. Публикация исправления без новой версии делает данные нестабильными: два читателя получат разные результаты по одной ссылке.
Итог по практике
Ведите номера версий с датой, журнал изменений и контрольные суммы. Это минимальный набор, который делает корпусную работу проверяемой и пригодной для повторного использования.
Итог по ссылкам
Ссылка на конкретную версию с датой — единственный способ обеспечить воспроизводимость. Ссылка на общий сайт такой гарантии не даёт.
Хранение описаний
Описание версии хранится вместе с данными, а не в отдельной переписке. Файл описания входит в архив версии и проверяется при передаче корпуса другому человеку.
Чек-лист
- Версия имеет номер и дату.
- Состав и правила входят в версию.
- Журнал изменений ведётся.
- Изменения схемы отмечены.
- Удалённые документы перечислены.
- Ссылки ведут на конкретную версию.
- Контрольные суммы сохранены.
Частые вопросы
Что считать версией?
Любое изменение состава или обработки.
Что писать в журнале?
Что добавлено, удалено или исправлено и почему.
На что должна вести ссылка?
На конкретную версию, а не на «последнюю».
Пример
Статью сдали со ссылкой на корпус без версии, и через полгода числа не воспроизвелись. После введения номеров версий и журнала проверка заняла минуты.
Итог
Версия корпуса — это номер, дата, состав, правила и журнал изменений вместе с данными.