Оцифровка книг: сканирование и OCR

Оцифровка книг: сканирование и OCR

Оцифровка кажется механической работой: положить книгу на сканер и нажать кнопку. На практике качество результата определяется подготовкой — светом, разрешением и тем, насколько ровно лежит страница.

Разберём последовательность, которая даёт пригодный для поиска файл.

Подготовка

• Проверьте переплёт: не рассыпается ли книга.
• Уберите закладки и пометки, которые не нужно сохранять.
• Протрите стекло сканера.
• Разложите книгу так, чтобы не было перегиба.
• Подготовьте подставку для толстых томов.
• Проверьте датчик автоподачи, если он есть.

Повреждённый переплёт — повод остановиться и передать книгу реставратору.

Режим сканирования

• Разрешение: 300–400 dpi для текста.
• Цветной режим — для иллюстраций.
• Градации серого — для текста с плохим контрастом.
• Чёрно-белый — только для чистого текста.
• Формат: TIFF или PNG для мастер-копии.
• JPEG — для доступа, но не для архива.

Мастер-копию сохраняйте без потерь: из неё потом можно сделать всё остальное.

Сложные страницы

• Таблицы снимайте при большем разрешении.
• Иллюстрации сканируйте отдельно или с цветом.
• Сноски требуют ровной ориентации.
• Развороты лучше сканировать с перекрытием.
• Ветхие страницы — с поддержкой.

Если страница не влезает целиком, делайте два кадра и склеивайте, а не уменьшайте разрешение.

Распознавание

Для OCR существует несколько движков; Tesseract — свободный и широко используемый (Tesseract).

Порядок:

1. Проверьте ориентацию страниц.
2. Выберите язык распознавания.
3. Запустите пакетную обработку.
4. Сохраните текстовый слой.
5. Проверьте первые и последние страницы.
6. Оцените долю ошибок.

Не смешивайте языки в одном файле без необходимости.

Что ломает OCR

• наклон строк;
• тени от переплёта;
• тонкая бумага с просвечивающим текстом;
• рукописные пометки;
• старые шрифты;
• двухколоночная вёрстка;
• переносы.

Для двух колонок иногда проще распознавать каждую колонку отдельно.

Проверка результата

• Откройте текст и поищите известную фразу.
• Сравните 10 случайных страниц с оригиналом.
• Проверьте цифры и даты.
• Посмотрите, не потерялись ли сноски.
• Убедитесь, что нумерация страниц сохранилась.
• Проверьте, читается ли текст с экранным диктором.

Ошибка в фамилии или годе делает копию бесполезной для исследования.

Имена файлов

• Используйте латиницу и цифры.
• Указывайте инвентарный номер.
• Добавляйте номер страницы с ведущими нулями.
• Не используйте пробелы.
• Ведите журнал соответствия.

Папка «сканы_новые_2» через месяц ничего не скажет.

Хранение

• Мастер-копии — отдельно от рабочих файлов.
• Резервная копия — в другом месте.
• Формат — пригодный для долгого хранения (LoC).
• Контрольные суммы — для проверки целостности.
• Журнал — с датой и исполнителем.

Правовые ограничения

Оцифровка не делает произведение общедоступным. Перед публикацией проверьте права и условия лицензии, особенно для изданий XX века.

Планирование партии

Оцифровка одной книги — это часы работы, и планировать её лучше партиями. Определите, сколько страниц вы обрабатываете за час, добавьте время на проверку и оставьте запас на сложные страницы.

Партия из 200–300 страниц обычно оптимальна: она достаточно велика, чтобы оправдать настройку, и достаточно мала, чтобы ошибки не размножились на весь том.

Автоподача и её пределы

Автоподача ускоряет работу, но подходит не для всех книг. Она мнёт корешки, захватывает две страницы сразу и плохо справляется с тонкой бумагой. Для библиотечных изданий чаще используют планетарный сканер или съёмку на столе.

Если вы всё же используете автоподачу, проверяйте каждый десятый кадр: пропуски обнаруживаются только при просмотре.

Контроль качества партии

После сканирования проверьте:

• нет ли пропущенных страниц;
• нет ли повторов;
• ровная ли нумерация;
• не обрезаны ли края;
• нет ли пятен от пальцев.

Ошибки лучше исправлять сразу, пока книга ещё на столе.

Журнал и хранение

Каждая партия должна иметь запись: кто сканировал, когда, на каком оборудовании, какие настройки использовались. Через год эти сведения помогут понять, почему часть файлов выглядит иначе.

Мастер-копии храните отдельно от обработанных файлов и делайте резервную копию перед распознаванием.

Бюджет времени

Реалистичная оценка: сканирование — 1 часть, проверка — 1 часть, OCR — 0,2 части, вычитка — 2 части. Именно вычитка съедает больше всего времени, и именно её чаще всего недооценивают при планировании.

Работа с плохим оригиналом

Иногда оригинал напечатан на тонкой бумаге с просвечивающим текстом. Помогает чёрная подложка под лист: она гасит обратную сторону и повышает контраст. Не пытайтесь компенсировать проблему повышением контраста в редакторе — вместе с фоном исчезают тонкие штрихи букв.

Если текст выцвел, сканируйте в цвете и уже потом переводите в градации серого для распознавания. Цветная мастер-копия сохранит информацию, которую чёрно-белая потеряет безвозвратно.

Сколько проверять вручную

Полная вычитка распознанного текста книги в 300 страниц занимает дни. Разумный компромисс — проверить оглавление, первые страницы каждой главы, таблицы, сноски и последние страницы. Отдельно проверяются все числа и имена собственные: именно в них ошибки распознавания наиболее заметны и наиболее опасны для исследователя.

Чек-лист

1. Книга подготовлена.
2. Разрешение выбрано.
3. Мастер-копия сохранена.
4. OCR выполнен.
5. Текст проверен.
6. Имена файлов понятны.
7. Копия сохранена и записана в журнал.

Частые вопросы

Хватит ли 300 dpi?

Для текста обычно да. Для мелкого шрифта и таблиц лучше 400 dpi.

Можно ли распознать рукописный текст?

Современные системы справляются частично, но результат требует полной вычитки.

Нужно ли хранить оригиналы сканов?

Да, мастер-копии нужны для повторной обработки.

Сколько времени занимает книга?

Зависит от объёма и качества; планируйте проверку текста отдельно от сканирования.