Информатика · объяснение и практика

Как эквивалентные записи Unicode отличаются от замены ё на е

Сравниваем составную и разложенную запись буквы по UnicodeNFC, сохраняем различие е иё и отделяем каноническую нормализацию от регистра и поиска похожих символов.

Синие фигурные скобки держат между собой оранжевый квадрат.

В теме Кодирование чисел, текста, изображения и звука · Учебная карта

Главная мысль

Unicode-нормализация NFC приводит канонически эквивалентные записи к согласованной форме. Например, ё может быть записана одной кодовой точкой илие с комбинируемым диерезисом. Но обычная е без диерезиса остаётся другой буквой.

Почему одинаковый вид не гарантирует одинаковую запись

Буква ё может быть представлена как U+0451 либо последовательностью U+0435 и U+0308. Вторая запись состоит из основы e-образной кириллической буквы и отдельного комбинируемого знака. При корректном отображении результат выглядит одинаково. Обычное сравнение строк по кодовым точкам до нормализации способно признать такие записи разными.

NFC выполняет каноническое упорядочение и возможную композицию, поэтому указанные эквивалентные записи получают согласованное представление. Это полезно для ключей поиска и удаления технических дублей. При этом длина строки по кодовым точкам может уменьшиться. Нормализация не обязана сохранять исходную побайтовую запись, поэтому оригинал для архива или проверки источника иногда сохраняют отдельно.

Какие различия NFC не стирает

Кириллическая е без диерезиса не канонически эквивалентна ё. Замена ё нае — отдельное поисковое правило с потерей различия, а не стандартная Unicode-нормализация. Аналогично NFC не превращает заглавные буквы в строчные и не делает латинскую A той же кодовой точкой, что похожая кириллическая А.

Ударение U+0301 тоже нельзя удалять под видом NFC. Оно может оставаться отдельным знаком, если подходящей композиции нет. Если задача сохраняет нормативное ударение или точное написание слова, стирание диакритики изменит данные. Для поиска можно иметь отдельный упрощённый ключ, но пользовательский текст и его отличительные знаки нужно обрабатывать по явно описанному контракту.

Пример

После NFC должны ли слова«все» и«всё» стать равными?

Нет. Обычная е иё различаются. Если поиск объединяет их, это дополнительная политика поиска, а не свойство NFC.

Как выбрать форму и проверить преобразование

NFD использует каноническое разложение, а NFKC и NFKD дополнительно учитывают совместимые представления. Последние могут объединять различия оформления и некоторых специальных знаков, которые важны в исходном документе. Поэтому форму выбирают по задаче, а не объявляют наиболее сильное преобразование всегда лучшим. Для технического сравнения часто достаточно канонического NFC.

Проверяют идемпотентность: повторная нормализация в ту же форму не должна менять уже нормализованное значение. Также тестируют положительную пару эквивалентных записей и отрицательные пары с настоящими различиями, включая е/ё и латиницу/кириллицу. Нормализация не исправляет неверно декодированные байты и не доказывает отсутствие визуально похожей подмены. Это один конкретный слой обработки текста, который нельзя смешивать с коррекцией орфографии или восстановлением повреждённого файла.

От чтения к действию

А теперь — вы

Какое преобразование относится к канонической нормализации?

Частые вопросы

NFC автоматически делает текст строчным?

Нет. Изменение регистра является отдельной операцией.

Можно ли NFC восстановить неверную кодировку?

Нет. Нормализация работает с уже полученными Unicode-символами и не восстанавливает потерянные исходные байты.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться