Разметка частей речи: как проверить результат
Автоматическая разметка ошибается: неоднозначные формы, имена, омонимия. Ошибки не видны, пока не начнёшь считать по тегам. Ниже — выборка, сравнение и документирование.
Зачем проверять
Автоматическая разметка ошибается: неоднозначные формы, имена, омонимия. Ошибки не видны, пока не начнёшь считать по тегам. Проверка на выборке показывает, насколько результату можно доверять.
Что проверять
Долю правильных тегов, систематические ошибки по типам слов, качество на редких конструкциях. Общая точность без разбивки скрывает проблемы в отдельных категориях.
Как формировать выборку
Случайная выборка из разных частей корпуса: жанров, периодов, авторов. Только начало корпуса проверять нельзя: там могут быть другие тексты. Размер выборки фиксируется до проверки.
Разметка вручную
Проверяющий выставляет теги сам, не подглядывая в автоматические. Иначе он подтверждает ошибки. Для спорных случаев ведётся список решений, чтобы разметка была воспроизводимой.
Сравнение
Сравниваются две разметки: автоматическая и ручная. Считается доля совпадений и разбираются расхождения. Расхождения важнее общего процента: они показывают, где именно ошибается инструмент.
Типы ошибок
Неверная часть речи у омонимов, неверное определение имени собственного, ошибки на дефисных написаниях, ошибки на незнакомых словах. Каждый тип считается отдельно.
Омонимия
Формы вроде «стекла» или «пила» требуют контекста. Автоматическая разметка часто ошибается. Если такие формы часты в материале, точность падает, и это нужно указать.
Имена и термины
Собственные имена и специальные термины плохо покрыты словарями инструментов. Пользовательский словарь повышает точность. Список пополняется по результатам проверки.
Соглашение о тегах
Если используется упрощённый набор тегов, это фиксируется. Сравнение с разметкой по полному набору будет некорректным. Единый набор важен для повторяемости.
Что делать с ошибками
Исправить словарь, изменить настройки, отметить проблемные места вручную. Массовое исправление автоматической разметки без понимания причин даёт новые ошибки.
Повторная проверка
После исправлений проверка повторяется на новой выборке. Сравнение с прежним результатом показывает, помогли ли изменения. Без повторной проверки нельзя утверждать, что точность выросла.
Документирование
В описание корпуса вносятся: инструмент, версия, настройки, размер выборки, доля совпадений, типы ошибок. Без этих данных разметку нельзя воспроизвести.
Типичные ошибки
Проверка на начале корпуса, подглядывание в автоматические теги, общий процент без разбивки, отсутствие словаря, нет повторной проверки.
Итог
Разметка пригодна, когда проверена на случайной выборке, ошибки разобраны по типам, а параметры и результат записаны.
Согласованность проверяющих
Если разметку проверяют два человека, их решения должны совпадать на одних и тех же фрагментах. Расхождения обсуждаются и фиксируются в правилах. Без этого невозможно понять, отражает ли результат качество инструмента или разницу в подходах проверяющих.
Спорные категории
Некоторые слова допускают разную трактовку: прилагательное в роли существительного, частица или наречие. Для таких случаев задаётся правило. Спорные категории стоит вынести в отдельный список, чтобы они не искажали общую оценку точности.
Оценка по категориям
Считайте точность отдельно для существительных, глаголов, служебных слов и имён. Общая цифра скрывает провалы в отдельных категориях. Для исследовательского вопроса важна точность именно тех категорий, которые участвуют в анализе, а не средняя по корпусу.
Влияние на выводы
Ошибка разметки в десять процентов по нужной категории может изменить вывод. Оцените, как ошибка влияет на результат: если вывод устойчив, точность достаточна. Если нет, нужна ручная правка или другой инструмент.
Итог по применению
Разметка — не истина, а инструмент с известной погрешностью. Её качество должно быть измерено на вашем материале и указано в описании.
Что делать с редкими словами
Редкие и новые слова часто получают неверный тег. Для них полезен пользовательский словарь, а для особых случаев — список исключений. Если редкие слова важны для исследования, оцените точность отдельно по ним: общая доля совпадений может выглядеть прилично, а на нужных словах ошибок будет много.
Оценка достаточности
Определите, какая точность нужна для вашего вывода. Для грубой оценки распределения достаточно приблизительной, для детального анализа нужна высокая. Запишите критерий заранее, чтобы не подгонять оценку под результат. Такой подход делает проверку осмысленной, а не формальной.
Документирование выборки
Сохраняйте список проверенных фрагментов и результаты. Повторная проверка через полгода на той же выборке покажет, изменилось ли качество после обновления инструмента.
Итог по прозрачности
В описании корпуса укажите, какой разметкой он снабжён и насколько ей можно доверять. Пользователь должен понимать ограничения до того, как начнёт анализ.
Чек-лист
- Выборка случайна и охватывает разные жанры.
- Проверяющий не видел авторазметку.
- Ошибки разобраны по категориям.
- Спорные случаи описаны в правилах.
- Точность по нужным категориям измерена.
- После исправлений проверка повторена.
- Параметры и результат записаны.
Частые вопросы
Какую выборку брать?
Случайную из разных жанров и периодов.
Почему нельзя подглядывать в авторазметку?
Проверяющий начнёт подтверждать её ошибки.
Что записывать?
Инструмент, версию, настройки, долю совпадений и типы ошибок.
Пример
Точность разметки казалась высокой, пока не проверили отдельно имена: там ошибок было вдвое больше. После добавления словаря общая картина выровнялась.
Итог
Разметка пригодна, когда проверена на случайной выборке, ошибки разобраны, а параметры записаны.