Частотные списки и лемматизация: частые ошибки

Частотные списки и лемматизация: частые ошибки

Частотный список описывает корпус, а не язык в целом. Ошибки лемматизации напрямую искажают частоты. Ниже — единицы, нормировка и проверка.

Что показывает частотный список

Какие слова или леммы встречаются чаще других в данном корпусе. Список описывает корпус, а не язык в целом. Без учёта состава корпуса выводы переносятся на язык необоснованно.

Слова или леммы

Частоты словоформ полезны для морфологии, леммы — для лексики. Смешивать два списка в одном выводе нельзя. Выбор зависит от вопроса и фиксируется в описании анализа.

Что такое лемма

Начальная форма слова, объединяющая словоформы. Для русского языка лемматизация неоднозначна: «стекла» может быть формой разных слов. Ошибки лемматизации напрямую искажают частоты.

Ошибки лемматизации

Неверное определение части речи, неизвестные слова, имена собственные, термины. Инструмент опирается на словарь и контекст, и оба могут подвести. Проверка на выборке обязательна.

Стоп-слова

Предлоги и союзы часто исключают из списка. Это удобно для чтения, но искажает статистику, если о ней потом судят по усечённому списку. Решение фиксируется: что исключено и почему.

Омонимия

Одинаково написанные слова с разными значениями не различаются частотным списком. Для анализа значений нужна ручная разметка или контекстный поиск. Не приписывайте частотному списку семантику.

Многозначные леммы

Лемматизатор может объединить разные слова в одну лемму или наоборот. Проверьте спорные случаи вручную. Список проблемных лемм полезно сохранить.

Единицы подсчёта

Слова, словоформы, символы, предложения. Для сравнения текстов разного объёма удобны относительные частоты. Абсолютные числа без объёма вводят в заблуждение.

Нормализация

Относительная частота на миллион слов позволяет сравнивать корпуса разного размера. Указывайте базу нормировки. Без неё сравнение некорректно.

Регистр и пунктуация

Приведение к нижнему регистру объединяет начало предложения и середину. Для имён собственных это потеря информации. Пунктуация обычно исключается, но не всегда.

Дефисные написания

«Кто-то», «из-за» могут считаться одним словом или двумя. Правило токенизации фиксируется. Иначе частоты зависят от инструмента, а не от языка.

Проверка списка

Возьмите первые сто единиц и просмотрите их вручную. Ошибки лемматизации и токенизации видны сразу. Это дешёвая проверка, которую часто пропускают.

Сравнение корпусов

Сравнивать частоты можно только при одинаковой обработке. Разные стоп-слова, токенизация или лемматизаторы дают несопоставимые числа. Обработка должна быть одной.

Что писать в отчёте

Инструмент и версия, правила токенизации, стоп-слова, база нормировки, размер корпуса. Без этого список нельзя воспроизвести. Отчёт важнее самого списка.

Типичные ошибки

Смешение словоформ и лемм, скрытые стоп-слова, разные инструменты для двух корпусов, абсолютные частоты без нормировки, отсутствие проверки.

Итог

Частотный список надёжен, когда правила обработки записаны, а первые сто единиц проверены вручную.

Сравнение с эталоном

Если есть ручная разметка небольшого фрагмента, сравните с ней частоты. Расхождения покажут, где инструмент ошибается систематически. Такой эталон полезно хранить: он пригодится при смене инструмента или обновлении словаря.

Стоп-слова и смысл

Исключение служебных слов удобно для чтения списка, но для синтаксических исследований они как раз важны. Разные задачи требуют разных списков. Храните полный список частот и производные от него, а не только усечённый вариант, иначе вернуться к полным данным будет невозможно.

Словари и домены

В узкой предметной области общая лемматизация ошибается чаще. Пользовательский словарь с терминами повышает точность. Составление словаря занимает время, но окупается, если корпус используется многократно.

Интерпретация

Частотный список показывает, что часто в этом корпусе, а не что важно для языка. Высокая частота слова может объясняться жанром или темой. Выводы формулируются с указанием корпуса и условий.

Итог по отчёту

Отчёт включает инструмент, правила токенизации, список стоп-слов, базу нормировки и размер корпуса. Без этих данных список нельзя ни повторить, ни корректно сравнить.

Границы применимости

Частотный список нельзя переносить на другой корпус без проверки. Даже близкие по теме собрания различаются составом и обработкой. Если вы ссылаетесь на чужой список, укажите источник, объём и правила. Иначе читатель примет чужие числа за ваши.

Что делать при смене инструмента

При обновлении лемматизатора старые и новые числа несопоставимы. Прогоните оба инструмента на одном фрагменте и измерьте расхождение. Если оно велико, пересчитайте анализ целиком или укажите, что сравнение между версиями некорректно. Молчаливая смена инструмента — частая причина невоспроизводимых результатов.

Итог по аккуратности

Не сравнивайте списки, построенные разными инструментами, без измерения расхождения. Единая обработка важнее красивой таблицы.

Чек-лист

• Выбраны единицы подсчёта: формы или леммы.
• Инструмент и версия зафиксированы.
• Стоп-слова перечислены явно.
• Нормировка указана.
• Первые сто единиц проверены вручную.
• Два корпуса обработаны одинаково.
• Отчёт содержит параметры обработки.

Частые вопросы

Слова или леммы?

Зависит от вопроса; смешивать в одном выводе нельзя.

Зачем нормировка?

Чтобы сравнивать корпуса разного объёма.

Что проверять вручную?

Первые сто единиц списка.

Пример

В списке частот «стекла» оказалось формой глагола, а не существительного. После проверки первых ста единиц и правки словаря частоты изменились заметно.

Итог

Список надёжен, когда правила обработки записаны, а первые сто единиц проверены вручную.