Информатика · объяснение и практика

Почему число байтов не равно числу видимых символов

Как различать байты UTF-8, кодовые точки Unicode и видимые графемы на русских буквах, составных знаках и строках с разным представлением.

Синие фигурные скобки держат между собой оранжевый квадрат.

В теме Кодирование чисел, текста, изображения и звука · Учебная карта

Главная мысль

У текстовой строки могут быть разные длины: число байтов в кодировке, число кодовых точек и число воспринимаемых графем. Эти величины не обязаны совпадать. Для воспроизводимого подсчёта укажите, что считается и в какой кодировке хранится текст; слово «символ» без уточнения неоднозначно.

Почему русское слово занимает больше байтов

Слово «кот» состоит из трёх обычных букв Unicode. В строке Python это три кодовые точки. При кодировании именно в UTF-8 без дополнительной метки каждая из этих букв занимает два байта, поэтому слово даёт шесть байтов. Это не удвоение количества букв и не появление скрытых дополнительных русских знаков: байты являются единицами представления данных.

В UTF-8 разные кодовые точки могут занимать разное число байтов. Поэтому правило «всегда два байта на символ» неверно для произвольного текста. Латинские буквы базового набора, русские буквы и многие дополнительные знаки кодируются по-разному. Чтобы определить размер строки, нужно знать её реальные знаки и кодировку, а не только визуальную ширину надписи.

Как одна видимая буква получает разные записи

Буква ё может быть записана одной кодовой точкой или как буква е вместе с отдельным знаком диерезиса. Внешний вид обычно воспринимается как одна буква, но количество кодовых точек различается. Для этих двух представлений отличаются и байты UTF-8. Составные ударения создают похожую ситуацию: буква и надстрочный знак могут быть отдельными кодовыми точками.

Для пользовательского выделения и перемещения курсора часто нужны графемные кластеры — группы, воспринимаемые как единый текстовый элемент. Простое увеличение индекса кодовой точки способно отделить надстрочный знак от буквы. Правила сегментации Unicode помогают определять такие границы, но это отдельная операция, не равная подсчёту байтов или обычной длины строки Python.

Пример

Для строки «кот»: три кодовые точки, а в UTF-8 без метки — шесть байтов.

Подсчёт относится к конкретной строке и конкретной кодировке. Он не является универсальным коэффициентом для любого языка или составного знака.

Как выбрать подходящую меру

Для ограничения размера передаваемого файла важны байты. Для обработки Unicode-строки программой может использоваться число кодовых точек. Для ограничения видимой длины имени пользователю часто удобнее графемы. Ошибка возникает, когда интерфейс обещает одну меру, а проверяет другую: например, называет лимит буквами, хотя фактически сравнивает длину закодированного массива байтов.

Нормализация может привести некоторые эквивалентные записи к согласованной форме, но не заменяет всех правил сравнения. Она не означает автоматического удаления ударений, замены ё на е или приведения регистра. Эти изменения имеют собственный смысл и могут потерять информацию. Для учебного примера важно сохранять исходное написание и отдельно объяснять, какая операция выполняется над представлением.

Размер полного файла может включать переводы строк, служебную метку и другие невидимые части. Поэтому сумма байтов видимого слова не обязана равняться размеру документа с этим словом. При проверке результата сохраняйте точную строку, название кодировки и описание счётчика. Тогда разные числа можно объяснить моделью представления, а не объявлять одно из них случайной ошибкой программы.

От чтения к действию

А теперь — вы

Сколько байтов занимает строка «мир» в UTF-8 без дополнительной метки?

Частые вопросы

Обычный len строки Python считает видимые буквы?

Он считает кодовые точки строки, которые не всегда совпадают с пользовательскими графемами. Составные надстрочные знаки могут учитываться отдельно.

Нормализация Unicode означает замену ё на е?

Нет. Нормализация эквивалентных представлений — другая операция. Замена разных букв или удаление ударений требует отдельного правила.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться