Метаданные корпуса: что фиксировать по документам
Метаданные описывают документ: кто, когда, где, на каком языке, в каком жанре. Без них корпус — набор текстов, к которому нельзя применить фильтр. Ниже — минимальный набор и проверка.
Зачем метаданные
Метаданные описывают документ: кто, когда, где, на каком языке, в каком жанре. Без них корпус — просто набор текстов, к которому нельзя применить фильтр. Метаданные превращают набор в исследовательский инструмент.
Минимальный набор
Идентификатор, источник, дата, язык, жанр, автор при наличии, объём. Этого достаточно для большинства задач. Поля фиксируются до сбора, а не после, иначе часть данных будет утеряна.
Идентификатор
Уникальный номер документа, не зависящий от имени файла и места хранения. Он используется в ссылках и таблицах. Изменение идентификатора ломает связки между файлами и описанием.
Источник
Адрес публикации и дата обращения, для печатных — выходные данные. Источник должен позволять проверить текст. Если доступ закрыт, это указывается, а копия хранится по правилам организации.
Дата
Дата создания текста и дата публикации могут различаться. Обе полезны, если известны. Для анализа по периодам нужна одна согласованная дата, иначе выборки будут смешиваться.
Язык
Код языка по стандартным обозначениям. Для смешанных текстов допускается несколько значений или пометка о доле иноязычного. Язык влияет на инструменты обработки и на сравнение подкорпусов.
Жанр
Разметка по жанрам должна опираться на схему: статья, репортаж, инструкция, комментарий. Свободные подписи приводят к вариантам «статья» и «статьи». Схема жанров утверждается один раз.
Автор
Имя в том виде, как оно указано в источнике, плюс нормализованная форма для поиска. Анонимные тексты помечаются. Связь с другими текстами автора строится по нормализованному полю.
Объём
Число слов или символов, способ подсчёта. Для сравнения текстов важен единый способ. Указывайте, входят ли в подсчёт заголовки и подписи.
Права
Условия использования текста и допустимость публикации. Поле обязательно: без него нельзя понять, можно ли делиться корпусом. Отсутствие сведений не означает свободного использования.
Форма хранения
Таблица с заголовками, кодировка UTF-8, по строке на документ. Для больших корпусов — таблица плюс папка с текстами. Экспорт проверяется на потерю полей.
Словари значений
Для повторяющихся полей задаются списки: жанры, языки, типы источников. Списки хранятся в описании корпуса. Новые значения добавляются осознанно, а не по ходу заполнения.
Проверка заполнения
Регулярный отчёт: доля заполненных обязательных полей, число документов без даты, дубликаты идентификаторов. Без проверки метаданные быстро расходясь с реальностью.
Связь с текстами
Имя файла строится от идентификатора. Это позволяет автоматически сопоставить запись и текст. При переименовании проверяется, что связь не нарушена.
Версии
Изменения метаданных фиксируются с датой. Если поле менялось массово, сохраняется предыдущая версия таблицы. Иначе нельзя понять, какие выводы сделаны на старых данных.
Типичные ошибки
Свободный ввод жанров, отсутствие даты обращения, разные способы подсчёта объёма, нет прав, идентификаторы из имён файлов.
Итог
Метаданные работают, когда поля заданы заранее, значения типизированы, а заполнение проверяется регулярно.
Проверка на старте
Заполните двадцать записей и попробуйте ответить на типичные вопросы: сколько текстов за период, какие жанры представлены, кто автор. Если ответ требует ручного просмотра, схема неполная. Пилот на двадцати записях дешевле, чем переделка тысяч записей и повторный сбор данных.
Связь с правами
Поле прав влияет на то, что можно публиковать. Если права неясны, текст помечается как ограниченный и не включается в открытую версию корпуса. Такое разделение позволяет использовать материал в исследовании, не нарушая условий. Правило фиксируется до сбора, а не после.
Нормализация имён
Один автор может быть записан по-разному: с инициалами, полностью, в другом порядке. Нормализованное поле решает проблему поиска. Правило нормализации записывается: как приводятся инициалы, как обрабатываются псевдонимы. Без правила появляются дубликаты авторов и искажается статистика.
Проверка перед публикацией
Перед публикацией корпуса просмотрите выборку записей и убедитесь, что поля заполнены и не содержат служебных пометок. Проверьте, что скрытые поля действительно скрыты. Публикация метаданных — отдельный этап с собственной проверкой, а не побочный результат заполнения.
Сроки обновления
Метаданные устаревают, если корпус пополняется без их обновления. Назначьте проверку после каждой партии, чтобы новые записи не оставались с пустыми полями. Пять минут проверки после партии дешевле, чем разбор сотен записей задним числом, когда часть сведений уже утрачена и восстанавливать их приходится по внешним источникам.
Чек-лист
- Поля заданы до сбора.
- Идентификаторы уникальны и не зависят от пути.
- Даты создания и публикации различимы.
- Жанры и языки закодированы по спискам.
- Поле прав заполнено для каждого документа.
- Заполнение проверяется регулярно.
- Изменения метаданных версионируются.
Частые вопросы
Сколько полей минимум?
Семь: от идентификатора до объёма.
Зачем нужна схема жанров?
Чтобы не появлялись варианты «статья» и «статьи».
Что проверять регулярно?
Заполненность полей и дубликаты идентификаторов.
Пример
Жанры заполняли свободным текстом, и фильтр по статьям находил две трети корпуса. После введения списка жанров выборка стала полной и повторяемой.
Итог
Метаданные работают, когда поля заданы заранее, значения типизированы, а заполнение проверяется.