Сбор корпуса из веб-страниц: сохранение и очистка
Готовые корпуса не всегда отвечают на вопрос: нет нужного жанра, периода или автора. Свой корпус позволяет проверить гипотезу на конкретном материале, но требует дисциплины. Ниже — что сохранять и как проверять.
Зачем собирать свой корпус
Готовые корпуса не всегда отвечают на вопрос: нет нужного жанра, периода или автора. Свой корпус позволяет проверить гипотезу на конкретном материале. Но сбор требует дисциплины: иначе получится набор случайных страниц без источников.
Источник и правовой режим
Перед сбором проверьте условия использования сайтов и требования организации. Не всё, что открыто в браузере, можно копировать и хранить. Правила фиксируются в описании корпуса до начала работы.
Что сохранять
Текст, адрес страницы, дата обращения, заголовок, язык, при необходимости — автор и дата публикации. Адрес и дата обращения обязательны: без них текст нельзя проверить. Сохранение только текста обесценивает корпус.
Формат хранения
Один документ — один файл в текстовом формате, кодировка UTF-8. Имена файлов латиницей, с номером и кратким обозначением. Готовые наборы удобно хранить в таблице с полем текста, но файлы надёжнее для длинного материала.
Кодировка
UTF-8 по умолчанию. Если исходная страница в другой кодировке, перекодируйте и зафиксируйте это в метаданных. Смесь кодировок приводит к «кракозябрам», которые потом трудно исправить автоматически.
Очистка от разметки
Теги, скрипты, навигация, реклама удаляются. Но нужно сохранить структуру: заголовки, абзацы, списки. Полное удаление разметки теряет границы документов и затрудняет анализ. Правило очистки фиксируется.
Дублирование
Одна статья может быть доступна по нескольким адресам. Дубликаты выявляются по тексту, а не только по адресу. Без дедупликации частоты искажаются, а объём корпуса завышается.
Отбор материала
Критерии отбора записываются заранее: жанр, период, автор, объём. Отбор «что попалось» делает корпус несбалансированным и ограничивает выводы. Критерии важнее объёма.
Размер
Для частотного анализа небольшой корпус может быть достаточен, если он однороден. Для сравнения жанров нужны сопоставимые подкорпуса. Размер сам по себе не гарантирует качества.
Имена и нумерация
Номер документа, краткий код источника, дата. Номер уникален и не меняется. При добавлении новых документов нумерация продолжается, а не переписывается.
Проверка полноты
После сбора проверьте: число файлов совпадает с числом записей, каждый файл открывается, кодировка читается. Пропуски обнаруживаются на этом этапе, а не в середине анализа.
Описание корпуса
Страница: цель, критерии отбора, объём, источники, дата сбора, правила очистки, ответственный. Без описания корпус невозможно использовать повторно, даже вам самим через год.
Права и цитирование
Указывайте, как ссылаться на корпус и на отдельные документы. Для чужих текстов условия использования сохраняются. Открытая лицензия на корпус не отменяет прав авторов текстов.
Хранение
Две копии в разных местах, контрольные суммы для архива. Корпус растёт, поэтому структура папок должна выдерживать добавление. Резервная копия проверяется открытием файлов.
Типичные ошибки
Нет адресов и дат, смесь кодировок, отсутствие дедупликации, случайный отбор, нет описания, единственная копия.
Итог
Корпус готов к работе, когда у каждого документа есть источник и дата, тексты очищены по правилам, дубликаты устранены, а описание заполнено.
Как сохранять страницу
Сохраняйте не только видимый текст, но и служебные сведения: адрес, дату, заголовок, язык. Если страница меняется, копия остаётся единственным свидетельством. Для научной работы полезна практика фиксировать снимок страницы или архивную копию, особенно если содержание может измениться после публикации исследования.
Отбор ссылок
Список адресов формируется по правилам: разделы сайта, поисковые запросы, рубрики. Стихийный переход по ссылкам даёт смещение в сторону популярных материалов. Правила отбора записываются, чтобы коллега мог повторить сбор. Без этого корпус невозможно ни проверить, ни расширить осмысленно.
Объём и сроки
Сбор сотен страниц вручную занимает дни. Планируйте партии и сохраняйте промежуточные результаты. После каждой партии проверяйте кодировку и полноту. Так ошибка обнаруживается на двадцати страницах, а не на двух тысячах, когда переделывать уже дорого.
Проверка на дубликаты адресов
Один материал может открываться по нескольким адресам: с параметрами, без них, в мобильной версии. Перед сбором приведите адреса к одному виду и удалите дубли. Это дешевле, чем искать дубликаты текстов после сбора, и уменьшает объём работы на этапе очистки.
Итог по праву
Условия использования сайтов проверяются до сбора. Открытый доступ в браузере не равен разрешению на хранение и распространение.
Чек-лист
- Проверены условия использования источников.
- У каждого документа сохранены адрес и дата обращения.
- Кодировка приведена к UTF-8 и зафиксирована.
- Дубликаты адресов устранены до сбора.
- Критерии отбора записаны заранее.
- Число файлов сверено с числом записей.
- Описание корпуса заполнено.
Частые вопросы
Что обязательно сохранять?
Текст, адрес страницы и дату обращения.
Какая кодировка?
UTF-8; иную перекодируют и фиксируют в метаданных.
Зачем дедупликация?
Иначе частоты искажаются, а объём завышается.
Пример
Корпус собрали без адресов страниц, и через месяц половину текстов нельзя было проверить. После введения обязательных полей источник и дата стали частью каждой записи.
Итог
Корпус готов, когда у документа есть источник и дата, тексты очищены, дубликаты устранены, описание заполнено.