Балансировка корпуса по жанрам и годам

Сбалансированный корпус — тот, части которого сопоставимы по заданным параметрам. Без баланса частоты отражают состав выборки, а не язык. Ниже — параметры, план и проверка.

Что такое баланс

Корпус считается сбалансированным, если его части сопоставимы по заданным параметрам: жанрам, периодам, авторам, объёму. Баланс не означает равенства всего, он означает отсутствие перекоса, о котором вы не знаете.

Зачем балансировать

Без баланса частоты отражают состав выборки, а не язык. Если 80 процентов корпуса — новости, выводы будут про новости, а не про язык в целом. Баланс делает сравнение осмысленным.

Параметры баланса

Жанр, период, автор, объём текста, тип источника. Выбираются те, которые важны для исследовательского вопроса. Лишние параметры усложняют отбор без пользы.

Планирование до сбора

Определите целевые доли до сбора: сколько текстов каждого жанра и периода. План можно корректировать, но изменения фиксируются. Сбор без плана почти всегда даёт перекос.

Ограничение объёма

Очень длинные тексты доминируют в частотах. Ограничение по числу слов на документ или взвешивание при анализе снижает этот эффект. Способ фиксируется в описании.

Недостающие жанры

Если жанра не хватает, это фиксируется как ограничение, а не маскируется. Выводы по недопредставленным жанрам делаются с оговоркой. Честное ограничение лучше ложной полноты.

Дубликаты

Дубликаты нарушают баланс, потому что один текст учитывается дважды. Дедупликация выполняется до оценки баланса. Иначе доли выглядят правильными, а фактически сдвинуты.

Проверка распределения

Постройте таблицу: жанр, период, число документов, объём. Сравните с целевыми долями. Отклонения больше заданного порога — повод дособрать материал.

Что делать с отклонениями

Дособрать недостающее, исключить избыточное или зафиксировать отклонение. Исключение текстов уменьшает корпус, поэтому решение взвешивается. Любое действие записывается.

Взвешивание

При анализе можно взвешивать тексты так, чтобы жанры влияли пропорционально. Метод взвешивания описывается, иначе результат невозможно воспроизвести.

Малые подкорпуса

Подкорпус из нескольких текстов не годится для статистических выводов. Укажите минимальный размер для анализа. Малые группы описываются качественно.

Документирование

В описании корпуса — целевые доли, фактические доли, отклонения и причины. Это часть научной честности, а не бюрократия.

Типичные ошибки

Баланс после сбора вместо плана, игнорирование длины текстов, дубликаты до дедупликации, малые подкорпуса в статистике, отсутствие записи об отклонениях.

Итог

Баланс достигается планированием долей, дедупликацией, проверкой распределения и честной фиксацией отклонений.

Как считать доли

Доли считаются по числу документов и отдельно по объёму в словах. Эти два показателя часто расходятся: десять коротких заметок и одна книга дают разную картину. Указывайте, по какому показателю достигнут баланс, иначе читатель поймёт отчёт иначе, чем автор. Если балансировка шла по объёму, а анализ — по числу документов, перекос вернётся в расчётах.

Практический пример

Корпус научных статей и интервью балансировали по объёму, но не по числу текстов. В результате интервью оказались представлены сотней коротких записей, а статьи — десятком длинных. При подсчёте по документам доля статей была ничтожной, а при подсчёте по словам — половина корпуса. Только явное указание базы баланса позволило корректно описать выборку и не сделать ложного вывода о жанровом распределении.

Регулярная переоценка

Баланс проверяется не один раз, а при каждом крупном пополнении. Добавление сотни новостных текстов меняет распределение, даже если формально ничего не удалялось. Поставьте проверку в регламент: после каждой партии строить таблицу распределения и сравнивать с целевыми долями. Это занимает полчаса и предотвращает выводы, сделанные на перекошенной выборке.

Что писать в публикации

В статье указывайте целевые и фактические доли, параметры балансировки, число документов и объём. Читатель должен понимать, на каком материале получены числа. Если баланс неполный, это ограничение формулируется прямо: выводы относятся к собранному корпусу, а не к языку в целом. Такая честность укрепляет работу, а не ослабляет её.

Перекос по авторам

Иногда корпус перекошен не по жанрам, а по авторам: один плодовитый автор даёт треть текстов. Это влияет на частоты сильнее, чем кажется. Ограничение числа текстов на автора или взвешивание выравнивает вклад. Решение фиксируется, потому что оно меняет выводы о языке, делая их менее зависимыми от индивидуального стиля.

Связь с вопросом

Баланс нужен не сам по себе, а для конкретного вопроса. Если вы изучаете газетный стиль, балансировать по художественной прозе не нужно. Параметры выбираются из исследовательской задачи, а не из общего шаблона. Лишние требования к составу усложняют сбор и не улучшают ответ.

Чек-лист

Целевые доли определены до сбора.
База баланса указана: документы или объём.
Длинные тексты ограничены или взвешены.
Недостающие жанры отмечены как ограничение.
Распределение пересчитано после дедупликации.
Отклонения зафиксированы в описании.
Баланс проверяется после каждой партии.

Частые вопросы

Когда планировать баланс?

До сбора, а не после.

Что делать с длинными текстами?

Ограничивать объём или взвешивать при анализе.

Как поступать с недостающим жанром?

Фиксировать как ограничение, а не маскировать.

Пример

Корпус на восемьдесят процентов состоял из новостей, и выводы описывали газетный стиль, а не язык. После досбора других жанров картина изменилась.

Итог

Баланс достигается планом долей, дедупликацией, проверкой распределения и фиксацией отклонений.