Коллокации: подсчёт и пороги значимости
Коллокация — сочетание слов, которые встречаются вместе чаще случайного. Одно число не говорит, случайно ли сочетание: нужны частоты слов и объём корпуса. Ниже — меры, окно и порог.
Что такое коллокация
Устойчивое сочетание слов, которые встречаются вместе чаще случайного. Коллокация — статистическое наблюдение, а не доказательство устойчивости. Интерпретация требует контекста.
Три числа
Частота сочетания, частота каждого слова по отдельности, объём корпуса. Без этих чисел нельзя оценить, случайно ли сочетание. Одно число ничего не говорит.
Меры связи
Существуют разные меры: взаимная информация, логарифмическое отношение правдоподобия, коэффициент Дайса и другие. Они дают разные рейтинги. Выбор меры фиксируется в отчёте.
Проблема редких слов
Меры, основанные на взаимной информации, завышают редкие сочетания. Сочетание из двух редких слов может получить высокий балл при единственном вхождении. Поэтому нужен порог частоты.
Порог частоты
Минимальное число вхождений отсекает случайные пары. Порог зависит от объёма корпуса. Указывайте его и обосновывайте: без этого список невозможно сравнить с другим.
Окно
Расстояние между словами, в пределах которого считается сочетание. Окно в два слова даёт одни результаты, в пять — другие. Выбор окна влияет на всё.
Леммы или формы
Коллокации по леммам устойчивее, по формам точнее для конкретных конструкций. Для морфологически богатых языков разница существенна. Правило фиксируется.
Синтаксические коллокации
Пары, связанные синтаксически, информативнее произвольных соседств. Но они требуют разбора, который тоже ошибается. Простой поиск по окну дешевле, но шумнее.
Стоп-слова
Если служебные слова не исключены, они займут верх списка. Исключение меняет результат, поэтому указывайте список. Скрытое исключение делает выводы невоспроизводимыми.
Проверка примеров
Для каждой коллокации просмотрите несколько вхождений в контексте. Высокий балл может означать устойчивое выражение, а может — повторяющуюся цитату или имя.
Корпус и жанр
Коллокации зависят от жанра. Сочетание, частое в новостях, может быть редким в художественной прозе. Сравнение по жанрам требует отдельных списков.
Дубликаты
Повторяющиеся тексты завышают частоту сочетания. Дедупликация выполняется до подсчёта. Иначе одна цитата, размноженная в сети, выглядит как языковая закономерность.
Отчёт
Корпус и версия, токенизация, окно, мера, порог частоты, стоп-слова. Эти параметры важнее самого списка. Без них результат нельзя повторить.
Типичные ошибки
Одно число без порога, взаимная информация на редких словах, разные окна при сравнении, отсутствие проверки контекста, скрытые стоп-слова.
Итог
Коллокации надёжны, когда указаны мера, окно и порог, а примеры проверены в контексте.
Сравнение мер
Посчитайте список двумя мерами и сравните верхние позиции. Если результаты сильно расходятся, выводы стоит формулировать осторожно. Мера — это инструмент отбора, а не истина. Для публикации достаточно одной меры, но выбор надо обосновать.
Ложные коллокации
Сочетание может быть частым из-за повторяющейся цитаты, названия или шаблона документа. Проверка вхождений в контексте выявляет такие случаи. Если шаблонные фрагменты распространены, их стоит исключить до подсчёта, а не после.
Оценка устойчивости
Повторите подсчёт на подкорпусах: по жанрам или периодам. Если сочетание стабильно встречается в разных частях, вывод надёжнее. Если только в одной, это скорее особенность жанра, чем языка.
Применение в обучении
Коллокации полезны для составления учебных списков и проверки сочетаемости. Но список, построенный на одном жанре, не подходит для другого. Для учебных материалов стоит собирать отдельный корпус, близкий к изучаемой речи.
Итог по интерпретации
Коллокация — статистическое наблюдение, требующее контекста. Её ценность в проверяемости параметров, а не в самом рейтинге.
Единицы и нормализация
Сравнивая коллокации в двух корпусах разного объёма, используйте относительные меры. Абсолютные частоты несопоставимы. Укажите базу нормировки и способ подсчёта. Без этого разница между корпусами может оказаться разницей в размере, а не в языке.
Что делать с результатом
Список коллокаций — это материал для интерпретации, а не готовый вывод. Отберите несколько единиц, проверьте их в контексте и опишите функцию. Такой подход даёт содержательный результат, тогда как публикация рейтинга без анализа оставляет читателя с числами без смысла.
Документирование параметров
Сохраняйте файл с параметрами подсчёта: версия корпуса, окно, мера, порог, стоп-слова. Он небольшой, но без него через месяц невозможно повторить результат. В отчёте параметры приводятся рядом с таблицей, а не в примечании мелким шрифтом, иначе их пропустят.
Связь с вопросом
Список коллокаций отвечает на вопрос о сочетаемости в данном корпусе. Если вопрос другой, нужен другой подсчёт.
Что проверять в первую очередь
Проверяйте пары, которые кажутся содержательными для вашей темы, а не только верх списка. Верх часто занимают служебные сочетания, если стоп-слова не исключены.
Чек-лист
- Мера связи выбрана и обоснована.
- Окно поиска указано.
- Порог частоты задан.
- Лемматизация и стоп-слова описаны.
- Примеры проверены в контексте.
- Дубликаты исключены до подсчёта.
- Параметры сохранены вместе с результатом.
Частые вопросы
Почему нужен порог частоты?
Он отсекает случайные пары редких слов.
Что влияет на результат?
Мера, окно, лемматизация и стоп-слова.
Как проверять коллокацию?
Просмотром вхождений в контексте.
Пример
Верх списка заняли редкие пары с единственным вхождением. После введения порога частоты список стал отражать устойчивые сочетания, а не случайности.
Итог
Коллокации надёжны, когда указаны мера, окно и порог, а примеры проверены в контексте.