Корпуса текстов: как искать и считать

Корпуса текстов: как искать и считать

Корпус — это собрание текстов, собранных по определённому принципу и размеченных метаданными. Он позволяет отвечать на вопросы, для которых не хватит интуиции: как часто слово встречается в разных жанрах, с какими словами оно соседствует, как менялась конструкция за десятилетия.

Но корпус отвечает только на те вопросы, которые позволяет его состав. Если в нём нет текстов нужного периода или жанра, ответ будет смещённым.

Разберём, как работать с корпусом аккуратно.

Выбор корпуса

Сначала сформулируйте вопрос. От него зависит, нужен ли большой общий корпус или маленький специализированный.

Общий корпус хорош для частотности и типичных употреблений. Специализированный — для терминов и узких жанров.

Метаданные

У корпуса есть разметка: автор, год, жанр, источник. Она нужна, чтобы фильтровать тексты.

Без метаданных вы не сможете сказать, что различия связаны с жанром, а не с автором. Проверьте, какие поля доступны, до начала анализа.

Сбалансированность

Корпус редко бывает идеально сбалансированным. Если 80% текстов — публицистика, общие частоты будут отражать именно её.

Сравнивайте подвыборки одного жанра, а не только корпус целиком.

Поиск

Простой поиск по словоформе даёт одно, поиск по лемме — другое. Уточните, поддерживает ли инструмент лемматизацию для вашего языка.

Регулярные выражения расширяют возможности, но требуют проверки: ошибка в шаблоне даёт правдоподобный, но неверный результат.

Контекст

Частотность без контекста мало что значит. Просмотрите выборку вхождений: возможно, половина из них — цитаты одного автора.

Настройте ширину контекста так, чтобы было видно синтаксическое окружение.

Частотность

Абсолютные частоты плохо сравнимы между корпусами разного размера. Используйте относительные показатели, например на миллион словоупотреблений.

Указывайте, как считались омонимия и многозначность.

Коллокации

Коллокации показывают устойчивые сочетания. Разные меры дают разные результаты, поэтому не полагайтесь на одну.

Проверяйте, не вызвано ли сочетание тематикой корпуса: в медицинских текстах «острый» будет частым в специфических контекстах.

Ошибки разметки

Автоматическая разметка ошибается. Проверьте часть результатов вручную.

Если ошибок много, выводы по тонким категориям лучше не делать вовсе.

Собственный корпус

Иногда нужного корпуса нет, и его собирают самостоятельно. Тогда документируйте, как отбирались тексты и почему.

Укажите, что исключалось: переводы, дубли, фрагменты.

Авторские права

Тексты могут быть защищены авторским правом. Для анализа это обычно допустимо в рамках исследования, но публикация фрагментов требует осторожности.

Уточните условия использования конкретного корпуса.

Интерпретация

Различие в частоте не равно различию в значении. Корпус показывает употребление, но не объясняет причину: её приходится обосновывать отдельно.

Формулируйте выводы осторожно: «чаще встречается», а не «означает».

Воспроизводимость

Сохраните запросы, фильтры и версию корпуса.

Через год корпус может обновиться, и результат не повторится.

Жанровая разметка

Жанр влияет на лексику сильнее, чем тема. Сравнение научных статей с публицистикой часто показывает различия, которые не имеют отношения к вашему вопросу. Фильтруйте корпус по жанру до того, как считать частоты.

Лемматизация

Лемматизация сводит словоформы к словарной форме, но ошибается на омонимах. Для русского языка проверьте, как инструмент разбирает слова вроде «стекло» и «стали». Ошибки лемматизации особенно заметны на коротких текстах.

Размер выборки

Маленькие подкорпусы дают нестабильные частоты: одна статья может изменить картину. Если возможно, проверьте, сохраняется ли вывод при случайном разделении выборки. Это простая проверка устойчивости результата.

Сочетаемость

Коллокации полезны для описания типичных употреблений, но не доказывают норму. Язык меняется, а корпус фиксирует срез. Формулируйте выводы как наблюдения над материалом, а не как предписание.

Диахрония

Корпусы разных периодов позволяют увидеть сдвиги, но требуют осторожности: меняются не только язык, но и состав текстов. Сравнивайте сопоставимые жанры и объёмы. Иначе вывод о языковом изменении может отражать изменение источников.

Документирование

Опишите корпус в разделе о материале: название, версия, объём, жанры, период. Приведите запросы и настройки фильтров. Это делает результат проверяемым и повышает доверие к работе.

Проверка гипотезы

Корпусное исследование начинается с проверяемого утверждения, а не с желания «посмотреть, что есть». Сформулируйте ожидание: где слово должно встречаться чаще и почему. Затем проверьте, совпадает ли наблюдение с ожиданием, и опишите расхождения.

Ограничения метода

Корпус не даёт доступа к значению напрямую: он показывает употребление. Ошибки разметки, разный объём текстов и жанровая несбалансированность ограничивают выводы. Перечислите ограничения в работе — это признак корректного исследования, а не слабости.

Смешанные корпусы

Корпус, собранный из разных источников, удобен для общих выводов, но требует проверки однородности. Сравните частоты в подвыборках: если они сильно расходятся, объединение может скрывать различия. Опишите, как решали эту проблему и какие подвыборки сравнивали.

Чек-лист

• Вопрос сформулирован.
• Корпус выбран.
• Метаданные проверены.
• Подвыборка задана.
• Запросы сохранены.
• Результаты проверены вручную.

Частые вопросы

Нужен ли большой корпус?

Зависит от вопроса; для узких тем важнее состав.

Можно ли сравнивать корпусы разного размера?

Да, через относительные частоты.

Заменяет ли корпус чтение текстов?

Нет, он дополняет его.