Информатика · объяснение и практика

Как границы графем помогают считать пользовательские символы

На русском ударении показываем границы расширенных графем, корректное удаление видимого символа и различие между сегментацией, нормализацией и размером памяти.

Синие фигурные скобки держат между собой оранжевый квадрат.

В теме Графы и маршруты · Учебная карта

Главная мысль

Расширенный графемный кластер объединяет последовательность кодовых точек, которую обычно удобно обрабатывать как один видимый текстовый элемент. Буква с комбинируемым ударением может содержать несколько кодовых точек. Для пользовательского удаления или ограничения видимой длины нужны границы графем, а не произвольный срез байтов.

Ударение присоединяется к букве

В слове ма́ма над первой а стоит комбинируемый знак ударения U+0301. Последовательность состоит из пяти кодовых точек: м, а, ударение, м, а. По правилам расширенных графем это четыре кластера: м | а́ | м | а. Надстрочный знак не должен превращаться в отдельную букву при подсчёте пользовательских символов.

Особенно заметна разница при редактировании конца слова. В строке море́ последняя графема — е вместе с ударением. Если удалить только последнюю кодовую точку, исчезнет ударение и останется море. Если требуется удалить один последний видимый элемент целиком, результат должен быть мор. Это два осмысленных, но разных действия.

Пример

Для строки море́ удаление последней расширенной графемы даёт мор.

Простое удаление последнего элемента массива кодовых точек даст другой результат. Действие редактора нужно выбирать по пользовательскому смыслу, а не по удобству индексации.

Границы определяет алгоритм, а не размер шрифта

Сегментатор использует свойства Unicode и правила границ. В частности, комбинируемое ударение в обычной последовательности присоединяется к предыдущей букве. Некоторые emoji также состоят из нескольких кодовых точек, соединённых в один кластер. Нельзя надёжно восстановить такие границы правилом «один байт», «два байта» или «одна нарисованная картинка».

Расширенная графема является стандартной программной единицей, близкой к восприятию, но не универсальным описанием каждого языкового или редакторского ожидания. Приложения могут задавать согласованные уточнения правил. Поэтому для одинакового поведения нужно учитывать версию Unicode и профиль сегментации, а не обещать, что любая программа одинаково обработает любой редкий случай.

Не смешивайте сегментацию с нормализацией

Нормализация приводит некоторые эквивалентные последовательности Unicode к согласованной форме. Сегментация находит границы элементов; это другая задача. Предварительная нормализация не делает любой видимый элемент одной кодовой точкой и не разрешает забыть о графемах. Ударение русского слова обычно остаётся отдельной кодовой точкой даже рядом с буквой.

Лимит хранения всё равно считают в байтах или другой явно заданной единице, а ограничение видимых символов — по принятой пользовательской модели. Эти проверки могут действовать одновременно. При сокращении строки под подпись сначала находят графемные границы и только потом выбирают место обрезки, чтобы не оставить висящий надстрочный знак. Полезные проверки включают букву без знака, букву с ударением и строку, заканчивающуюся таким сочетанием.

От чтения к действию

А теперь — вы

Строка состоит из буквы а и следующего за ней комбинируемого ударения U+0301. Сколько расширенных графем в этой обычной последовательности?

Частые вопросы

Графема всегда равна букве русского алфавита?

Нет: термин относится к сегментации текста, а не только к алфавиту. Кластер может включать букву со знаками, emoji-последовательность и другие текстовые элементы.

Можно ли по числу графем определить ширину подписи в пикселях?

Нет: ширина зависит от шрифта, размеров и самих знаков. Сегментация помогает выбрать целые элементы для сокращения, но измерение отображения остаётся отдельной задачей.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться