Как за одну ночь превратить «мёртвую свалку» из 10 000 сканов договоров и счетов на ноутбуке в базу с мгновенным поиском по любому слову или ИНН (100 % офлайн)
Налоговая инспекция прислала требование по встречной проверке за 5 рабочих дней, или директор в переговорной просит за 3 минуты ответить: «В каком допсоглашении 2022–2024 годов с подрядчиком у нас был пункт про гарантийное удержание 5 % по трансформаторной подстанции?!».
Вы открываете сетевую папку Договоры_Сканы на ноутбуке, а там лежат 8 500 файлов с гениальными именами от офисного МФУ Scan_20230417_091422.pdf и SKM_C258240119.pdf! Поиск Windows выдаёт 0 результатов, потому что внутри этих PDF нет ни единой буквы текста — там просто слепые растровые фотографии страниц!
Если раньше для этого покупали дорогие проприетарные пакеты с USB-ключом, которые ушли с российского рынка, то сегодня открытый промышленный конвейер OCRmyPDF (на нейросетевом движке Tesseract 5 LSTM) + локальный поисковый движок Recoll превращают все ваши 10 000 сканов в идеальную полнотекстовую базу с копированием текста мышкой ЗА ОДНУ НОЧЬ ПРЯМО НА НОУТБУКЕ — бесплатно, легально и без интернета!
Почему технология «Двухслойного сэндвич-PDF (Searchable Sandwich PDF/A)» — юридический идеал!
Обычное распознавание в текстовый редактор .docx часто ломает таблицы, сбивает колонки и теряет рукописные визы директора и синие печати.
OCRmyPDF работает принципиально иначе:
- На верхнем видимом слое он на 100 % сохраняет нетронутое оригинальное изображение страницы со всеми синими печатями, живыми подписями и пометками ручкой на полях (предварительно по вашему флагу бережно выровняв кривой перекос листа с автоподатчика
--deskewи перевернув вверх ногами отсканированные листы--rotate-pages!); - А строго под каждую букву изображения он с точностью до долей миллиметра подкладывает прозрачный текстовый слой Юникода и упаковывает файл в вечный архивный стандарт
PDF/A-2b(требования Росархива к электронным архивным делам)! - В итоге вы открываете любой старый скан в браузере или быстром просмотрщике SumatraPDF, нажимаете
Ctrl + F -> «гарантийное удержание»— и жёлтый маркер МГНОВЕННО ПОДСВЕЧИВАЕТ НУЖНУЮ СТРОЧКУ ПРЯМО НА ФОТОГРАФИИ БУМАЖНОГО ДОГОВОРА, И ЕЁ МОЖНО СКОПИРОВАТЬ МЫШКОЙCtrl + CВ ИСКОВОЕ ЗАЯВЛЕНИЕ БЕЗ ПЕРЕПЕЧАТКИ!
Готовый рецепт № 1: пакетная обработка всей папки из 5 000 договоров на всех ядрах ноутбука!
- Для тех, кто любит простые кнопки с окнами (Windows / Linux / Mac): бесплатная открытая программа
NAPS2 (Not Another PDF Scanner 2)— умеет не только потоково сканировать пачки первички с любого МФУ, но и принимать перетаскиванием сразу сотню готовых старых PDF-сканов, накладывать русский + английский слойTesseract OCRи сохранять готовые поисковые PDF! - Для обработки целого корпоративного архива в
10 000файлов одной командой на ночь (Linux / macOS / WSL2 в Windows):find /mnt/contracts -name "*.pdf" -print0 | xargs -0 -P 4 -I {} \ ocrmypdf -l rus+eng --skip-text --deskew --rotate-pages --optimize 2 "{}" "{}"- Смотрите на гениальный флаг
--skip-text: если в 40-страничном PDF 38 страниц уже электронные из Word, а 2 последние страницы — отсканированный подписной лист и спецификация с печатью,OCRmyPDFНЕ ТРОГАЕТ И НЕ МЫЛИТ 38 идеальных электронных страниц, а за 1 секунду распознаёт ТОЛЬКО те 2 сканированные страницы, где не было текста!
- Смотрите на гениальный флаг
Готовый рецепт № 2: Мгновенный «Локальный Яндекс по вашим папкам» за 0,1 секунды (Recoll / DocFetcher)!
Даже когда текст внутри 10 000 PDF распознан, стандартный Поиск Проводника Windows ищет внутри вложенных сетевых папок ужасно медленно и часто пропускает PDF / DjVu / архивы .ZIP / .MSG письма.
Установите на ноутбук настоящий десктопный полнотекстовый индексатор на движке Xapian или Apache Lucene:
| Критерий | Recoll (Windows / Astra Linux / РЕД ОС / macOS — GPL, 100 % бесплатно) |
DocFetcher / DocFetcher Pro (портативный, не требует прав администратора!) |
|---|---|---|
Скорость ответа по базе 50 000 договоров, таблиц Excel, писем .eml/.pst и чертежей |
0,05 – 0,2 секунды! |
0,1 секунды + мгновенная подсветка найденных абзацев в нижнем окне предпросмотра БЕЗ открытия самого тяжёлого файла! |
| Русская морфология (склонения и падежи!) и поиск по близости слов | Да! Найдёт и «поставщик обязуется», и «обязательствами поставщика», и запрос ИНН 7707* NEAR/10 неустойка — даже внутри заархивированных .zip / .7z папок! |
Отличная поддержка нечёткого поиска ~ (опечатки OCR в плохих ксерокопиях 90-х годов!) |
Какой ноутбук переварит ночную OCR-индексацию 50 000 страниц быстрее всего?
Движок Tesseract 5 LSTM параллелится строго линейно по числу физических потоков CPU: современный 8–14-ядерный ноутбучный процессор (Core Ultra / Ryzen 7) с 16–32 ГБ ОЗУ (апгрейд памяти и SSD ноутбука) и быстрым NVMe SSD обрабатывает со скоростью до 400–700 страниц в минуту (25 000 страниц за 45 минут работы кулера)!
Чек-лист перед запуском пакетного OCR
- [ ] Обязательно указывайте двойную языковую модель
-l rus+eng, а не только-l rus! Иначе латинские артикулы оборудования (Siemens S7-1200), номера контейнеров,SWIFT-коды иe-mailконтрагентов в русском договоре распознаются кириллическими «похожими буквами» (51еmеп5), и поиск по латинскому артикулу их не увидит!
Частые вопросы
Увеличивается ли размер PDF-файла на диске после добавления текстового слоя в OCRmyPDF?
Наоборот — с флагом --optimize 2 (или --optimize 3 с бинарным сжатием JBIG2) OCRmyPDF одновременно с добавлением идеального поискового текста УМЕНЬШАЕТ вес рыхлых сканов с офисного МФУ на 30–65 % без потери читаемости — вы одновременно получаете и мгновенный поиск по всему архиву, и освобождаете половину диска!