Распознавание старого шрифта: когда OCR ошибается
Старый шрифт, лигатуры и неровные строки снижают точность распознавания. Программа обучена на современной печати и не знает исторической орфографии. Ниже — где помогает OCR и что делать, когда он ошибается.
Почему OCR ошибается
Старый шрифт, лигатуры, выцветшая краска и неровные строки снижают точность распознавания. Программа обучена на современной печати и не знает исторической орфографии. Ошибки предсказуемы, если понимать их причины.
Что распознаётся лучше
Ровный наборный текст с чётким контрастом распознаётся хорошо. Рукописные вставки, таблицы, готический шрифт и потёртости — плохо. Задача разбивается на части: то, что распознаётся, и то, что читается вручную.
Подготовка изображения
Повышение контраста, выравнивание, удаление шума помогают, но не решают проблему. Слишком агрессивная обработка уничтожает тонкие детали. Обрабатывайте копию, сохраняя исходный скан.
Язык и модель
Укажите язык и, если возможно, исторический вариант орфографии. Модель с поддержкой нужного языка даёт заметно меньше ошибок. Для церковнославянского и старой орфографии выбор моделей ограничен.
Словари и подсказки
Пользовательский словарь с именами и терминами снижает число ошибок. Список составляется из вашего корпуса, а не из общего словаря. Словарь пополняется по мере вычитки.
Разметка страницы
Колонки, сноски и таблицы распознаются хуже сплошного текста. Разметьте области вручную или отключите автоматическое определение. Неверно определённые колонки дают перемешанный текст.
Проверка результата
Сравнивайте фрагменты с изображением, а не только читайте распознанное. Ошибки часто выглядят как нормальные слова и не видны при чтении. Выборочная сверка по страницам даёт представление о качестве.
Метрики качества
Считайте долю ошибок на небольшом фрагменте: сколько слов отличается от эталонной транскрипции. Это позволяет сравнивать модели и настройки. Без измерения выбор делается наугад.
Когда OCR не поможет
Рукописи, готика, сильные повреждения, смешанные языки. В этих случаях распознавание даёт черновик, который всё равно перечитывается вручную. Признать это дешевле, чем бороться с настройками.
Гибридный подход
Распознайте текст, затем вычитайте по изображению. Черновик ускоряет набор, но требует полной проверки. Экономия времени зависит от качества исходника и сложности шрифта.
Сохранение результата
Распознанный текст хранится отдельно от изображений, с указанием версии модели и настроек. Это позволяет воспроизвести результат и понять, почему в тексте появились ошибки.
Типичные ошибки
Распознавание рукописей без вычитки, отсутствие словаря, агрессивная обработка изображения, смешанные колонки, отсутствие записи о настройках.
Итог
Распознавание старого шрифта даёт черновик. Ценность появляется после вычитки по изображению и записи условий обработки.
Выбор модели
Модели различаются по поддерживаемым языкам и шрифтам. Проверяйте на своём материале, а не по описанию. Небольшой тест на десяти страницах показывает, стоит ли использовать инструмент дальше.
Итог по ожиданиям
Не ждите, что распознавание заменит чтение. Его задача — ускорить набор и поиск, а решение о тексте остаётся за человеком.
Таблицы и списки
Табличный текст распознаётся плохо: ячейки сливаются, столбцы смещаются. Такие участки обрабатываются вручную или выносятся в отдельный файл. Пытаться распознать таблицу целиком — значит получить нечитаемую кашу.
Переносы и дефисы
В старых изданиях переносы частые и не всегда совпадают с современными правилами. Автоматическая склейка может соединить части разных слов. Проверяйте места переносов отдельным поиском.
Долгие гласные и яти
Историческая орфография содержит буквы, которых нет в современном алфавите. Модель может заменять их похожими. Если орфография важна, распознавание используется только для поиска, а текст набирается вручную.
Итог по качеству
Качество распознавания измеряется на вашем материале и проверяется вычиткой. Без измерения и вычитки результат нельзя считать текстом источника.
Где хранить результат
Распознанный текст хранится рядом с изображениями и с записью о настройках. Отдельная папка для экспериментов помогает не смешивать черновики с итогом. Итоговый текст проходит вычитку и только потом считается рабочим.
Итог по выбору
Начинайте с десяти страниц и сравнивайте результаты на одинаковом материале. Так решение опирается на данные, а не на обещания.
Работа с гибридными страницами
Страница может содержать печатный текст и рукописные пометы. Распознаётся печатная часть, пометы описываются отдельно. Попытка распознать всё сразу даёт мусор в основном тексте, который трудно отделить.
Итог по трудозатратам
Закладывайте время на вычитку, а не только на распознавание. На сложных изданиях вычитка занимает больше времени, чем сама обработка.
Проверка орфографии
Встроенная проверка орфографии может «исправить» исторические формы на современные. Отключите её для распознанного текста или настройте словарь. Иначе вы получите текст, которого не было в источнике.
Чек-лист
- Выбран язык и подходящая модель.
- Проверено качество на десяти страницах.
- Создан словарь имён и терминов.
- Обработка изображения не разрушает детали.
- Колонки и таблицы размечены вручную.
- Распознанное вычитано по изображению.
- Версия модели и настройки записаны.
Частые вопросы
Что распознаётся хорошо?
Ровный наборный текст с чётким контрастом.
Зачем пользовательский словарь?
Он снижает число ошибок в именах и терминах.
Можно ли доверять результату без вычитки?
Нет, распознанное сверяется с изображением.
Пример
Готический шрифт распознали с большим числом ошибок, которые не были видны при чтении. После сверки с изображением и словаря имён текст стал пригоден для поиска.
Итог
Распознавание даёт черновик; ценность появляется после вычитки по изображению.