Частотность и коллокации в корпусе

Частотность и коллокации в корпусе

Два слова могут быть синонимами и при этом сочетаться с разными словами. «Высокая температура» звучит нормально, «высокий мороз» — уже странно, хотя смысл близок.

Корпусные данные помогают увидеть такие закономерности, если понимать, что именно показывают числа.

Что показывает частотность

Частотность говорит, как часто слово встречается в конкретной выборке текстов. Это не свойство языка вообще, а свойство корпуса.

Поэтому «редкое» слово может быть обычным в вашей области.

Абсолютная и относительная частота

Абсолютное число вхождений зависит от размера корпуса. Чтобы сравнивать, пересчитывают на миллион слов или используют доли.

Без нормировки сравнение вводит в заблуждение.

Лемма и формы

Частотность леммы суммирует все словоформы, частотность формы — конкретное написание. Для проверки употребления нужны обе.

Если форма редка, а лемма часта, возможно, дело в грамматике.

Коллокации

Коллокация — устойчивое сочетание, которое встречается чаще случайного. Именно она отличает естественную фразу от перевода по словарю.

Проверяйте не только пару слов, но и порядок: он тоже часть нормы.

Меры силы связи

Существуют статистические меры силы связи между словами: взаимная информация, t-оценка, лог-правдоподобие. Они по-разному относятся к редким и частым парам.

Для практики достаточно смотреть на несколько мер одновременно.

Редкие сочетания

Мера может завысить значимость пары, встретившейся дважды. Особенно это заметно на малых корпусах.

Порог по числу вхождений защищает от случайных выводов.

Частые сочетания

Очень частые пары могут быть грамматическими, а не смысловыми: предлог и артикль. Их нужно отфильтровать.

Смотрите на пары, где оба слова значимы.

Окно контекста

Близость слов измеряется окном в несколько слов. Широкое окно ловит смысловые связи, узкое — синтаксические.

Для проверки сочетаемости обычно достаточно трёх-пяти слов.

Жанр

Сочетание, типичное для разговорной речи, может быть неуместно в научной статье. Фильтр по жанру обязателен.

Иначе стилистическая ошибка подтверждается данными.

Термины и коллокации

У термина есть принятое окружение: «поставить диагноз», «провести диагностику». Замена глагола ломает естественность.

Для терминов сначала проверяйте стандарт, потом корпус.

Перевод и кальки

Калька часто выдаёт себя нетипичной коллокацией. Корпус показывает, что носители говорят иначе.

Это один из самых быстрых способов улучшить перевод.

Как читать результаты

Смотрите на примеры, а не только на числа. Список коллокаций без контекста может вводить в заблуждение.

Если примеры противоречат цифрам, доверяйте контексту.

Ограничения метода

Корпус не описывает новые слова и редкие жанры. Он также зависит от редакторской политики источников.

Выводы формулируйте осторожно.

Практический порядок

Сначала сформулируйте гипотезу, затем постройте запрос, затем проверьте примеры, затем зафиксируйте решение. Такой порядок экономит время.

Не начинайте с перебора всех вариантов.

Запись результатов

Сохраняйте запрос, корпус, дату и примеры. Это делает решение воспроизводимым.

Коллега должен суметь повторить проверку.

Типичные ошибки

Первая — сравнивать абсолютные числа. Вторая — игнорировать жанр. Третья — доверять одной статистической мере.

Четвёртая — делать вывод по двум примерам.

Пример

Проверяем «оказать влияние» и «повлиять». Корпус покажет, что первый вариант чаще в официальных текстах, второй — в аналитических.

Выбор зависит от жанра, а не от «правильности» одного из вариантов.

Сравнение вариантов

Когда есть два перевода одного выражения, корпус показывает, какой из них чаще в нужном жанре. Это не приговор, а основание для выбора.

Записывайте решение и причину: через месяц вы вернётесь к тому же вопросу.

Частотность и стиль

Высокая частотность не означает уместности. Слово может быть частым в разговорной речи и редким в научной.

Стиль определяется жанром, а не числом вхождений.

Проверка гипотезы

Сформулируйте предположение до запроса: «в научных текстах чаще используется вариант X». Затем проверьте его и будьте готовы отказаться.

Подгонка вывода под ожидание — самая частая ошибка анализа.

Ложные срабатывания

Совпадение слов не всегда означает коллокацию: рядом могут стоять части разных конструкций. Просмотр примеров обязателен.

Автоматическая статистика без контекста даёт ложные пары.

Итог

Частотность и коллокации — инструменты проверки, а не источник истины. Они ускоряют выбор, но решение остаётся за редактором.

Фиксируйте данные и аргументы, чтобы решение можно было пересмотреть.

Частотность и терминология

Для термина частота в общем корпусе почти ничего не значит: термин живёт в узкой области. Ищите специализированный корпус, а не общий.

Если такого нет, ориентируйтесь на стандарт и публикации по теме.

Малые выборки

Несколько десятков вхождений достаточно, чтобы заметить тенденцию, но не чтобы доказать норму. Формулируйте вывод как наблюдение.

Для спорных случаев лучше привести примеры, чем число.

Работа в команде

Если несколько редакторов проверяют сочетаемость, полезно договориться о корпусе и запросах. Иначе решения будут опираться на разные данные.

Общий список удачных запросов экономит время.

Итог

Данные корпуса помогают принять решение, но не снимают ответственность. Проверяйте примеры и учитывайте жанр.

Решение, записанное с обоснованием, полезнее любого числа.

Как объяснить решение заказчику

Заказчику не нужны меры ассоциации, ему нужен вывод: «в инструкциях так не пишут». Подкрепляйте вывод двумя-тремя примерами из корпуса.

Ссылка на источник повышает доверие и снимает спор.

Чек-лист

• Частота нормирована.
• Форма и лемма проверены.
• Окно контекста задано.
• Жанр ограничен.
• Примеры просмотрены.
• Мера не единственная.
• Решение записано.

Частые вопросы

Какая мера лучше?

Зависит от задачи; смотрите несколько.

Нужен ли большой корпус?

Для сочетаемости достаточно среднего, для редких слов — нет.

Можно ли обойтись поиском в интернете?

Как грубой проверкой, но без нормализации и метаданных.