История · объяснение и практика

Качество OCR старого текста: посчитайте ошибки по проверенной строке

Сверьте OCR с ручной контрольной строкой, посчитайте вставки, удаления и замены и определите, что найденная доля ошибок говорит о проверенном фрагменте.

Синие песочные часы придерживают оранжевый песок в нижней части.

Вузовский уровень · Все вузовские темы

В теме Исторический вопрос и источник · Учебная карта

Главная мысль

Условная проверенная строка «тихий дом» содержит девять символов с пробелом. OCR выдал «тихий дм»: пропущена одна буква. При единичной стоимости правки CER равен 1/9, приблизительно 11,1%. Это ошибка распознавания выбранной строки, а не процент ошибок во всей старой книге.

Зафиксируйте эталон и единицу счёта

Выберите контрольный фрагмент по изображению и вручную сверьте его транскрипцию. Эталон нельзя получать простым копированием проверяемого OCR: тогда общая ошибка окажется невидимой. Запишите страницу, область и правило обработки переносов, пробелов и знаков. Одной уверенности в понятном смысле предложения недостаточно для посимвольной проверки.

До сравнения согласуйте преобразования. Если перенос слова через строку убирается, одинаковое правило применяется к обеим строкам. Если буква ё сохраняется, её отличие от е остаётся наблюдаемым. Нормализация может быть нужна для задачи поиска, но её нельзя незаметно менять между двумя системами распознавания ради лучшего результата.

Посчитайте минимальные правки

CER использует сумму замен, удалений и вставок, делённую на длину эталона. Направление фиксируем от эталона к результату OCR. Название действия меняется при обращении сравнения, а знаменатель по-прежнему должен относиться к выбранной контрольной записи. Сравнение лишь мешков слов пропустило бы ошибки порядка.

Проверьте, не описана ли одна ошибка дважды. При единичных стоимостях ищется минимальный путь преобразования, а не произвольная история редактирования. Для короткой строки путь можно проверить вручную; для длинного текста необходимы также сохранённые настройки сегментации. Разные оптимальные пути иногда имеют одинаковую итоговую стоимость.

Пример

Эталон «лес» распознан как «лессс». Что означает CER при единичных правках?

Нужны две вставки с, длина эталона равна трём: CER=2/3≈66,7%. Это не две ошибки на пять распознанных знаков: в данной метрике знаменатель берётся из эталона. Проверяемое утверждение относится только к этой строке.

Не переносите локальный результат на весь корпус

Пустой эталон делает указанное отношение неопределённым. Вставки способны дать CER выше ста процентов: это не повод обрезать значение до удобной границы. Ошибки разметки колонок или порядка строк нужно исследовать отдельно, даже когда распознанные отдельные слова выглядят правдоподобно.

Для вывода о книге нужны фрагменты разных типов страниц и описание отбора. Десять чистых строк не представляют автоматически таблицы, сноски и повреждённые листы. В отчёте оставьте длину контроля, число правок и список мест ошибок: по ним другой проверяющий сможет воспроизвести оценку и понять её область действия.

От чтения к действию

А теперь — вы

В эталоне 20 символов. Минимальное выравнивание содержит две замены и одну вставку. Каков CER?

Частые вопросы

Можно ли исключить пробелы?

Можно объявить такую процедуру заранее, но оценка будет отвечать другому правилу. Между системами и повторными проверками правило сохраняют.

Низкий CER гарантирует правильную фамилию?

Нет. Одна редкая фамилия может быть испорчена при хорошем среднем показателе. Для исторического вывода проверяют конкретное значимое место.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться