Разделить текст на предложения: перепроверьте сокращения

Разделитель разбил запись «Мы были в г. Туле» после сокращения «г.». Для человека это одно предложение, а простой алгоритм видит точку перед пробелом. Такой результат полезен как черновая выборка, если его границы проверяют, а не принимают за окончательный синтаксический анализ.

Короткий ответ

Используйте деление по конечным знакам как приблизительный результат. Перепроверьте сокращения, инициалы, цитаты и заголовки без точки. Список фрагментов не подтверждает число грамматических предложений автоматически.

Типографическая иллюстрация «и так далее» к статье «Разделить текст на предложения: перепроверьте сокращения».
Использовать приблизительные границы с ручной проверкой

Узнайте правило границы

erudeet ищет точку, вопросительный и восклицательный знаки или многоточие перед пробелом либо концом текста. Последовательность таких знаков обрабатывается вместе. Конечные кавычки и скобки остаются у фрагмента. Это понятная механическая граница, но она не совпадает со всеми случаями языкового предложения.

Unicode описывает сегментацию текста и различия графических, словесных и предложенческих границ. Текущий инструмент использует более простой собственный способ. Он не заявляет полного соответствия стандартному алгоритму и не применяет модель синтаксиса. Поэтому его результат следует называть приблизительными фрагментами, а не доказанными предложениями.

«Лес шумит. Кто там?» даёт два простых фрагмента.

В этом примере механические конечные знаки совпадают с понятными границами предложений.

Опора для объяснения: Unicode Standard Annex 15: нормализация Unicode; Unicode Standard Annex 29: границы текста.

Перепроверьте сокращения и инициалы

Точка может завершать сокращение, а не предложение. В записи с названием города фрагмент после «г.» может ошибочно отделиться. Инициалы перед фамилией создают похожую трудность, если после точки стоит пробел. Не удаляйте точки ради совпадения с алгоритмом: это изменит исходное оформление.

Найдите такие места и восстановите полную строку по оригиналу. Если число фрагментов нужно для сравнения, используйте одинаковую ручную проверку обоих текстов. Иначе разница может отражать количество сокращений, а не структуру высказывания. Нельзя по одному необработанному счёту делать вывод о сложности языка.

«Мы были в г. Туле» может разделиться после «г.».

Точка принадлежит сокращению; автоматическую границу нужно проверить вручную.

Посмотрите на заголовки и оформление

Заголовок без конечного знака может остаться вместе со следующим текстом. Сам перевод строки не служит достаточной границей этой операции. В диалоге и цитате также важно посмотреть, что относится к словам автора. Механический фрагмент не устанавливает отношения между голосами и частями сообщения.

Краевые пробелы каждого фрагмента удаляются. Поэтому копируемый результат уже не сохраняет всю исходную верстку. Подробный список показывает до двухсот строк, а копируемая версия содержит все полученные фрагменты. Различайте ограничение представления и фактическое количество обработанных частей.

Заголовок «План встречи» без точки может остаться в одном фрагменте с дальнейшей строкой.

Отсутствие предусмотренного знака не позволяет простому методу отделить заголовок по его функции.

Выберите подходящую задачу

Приблизительное деление удобно для первичной раскладки текста по строкам и поиска спорных границ. Для точного учебного синтаксического задания требуется чтение и разбор. Не выдавайте автоматический список за ответ о количестве предложений, если не проверены случаи, в которых правило работает неточно.

Сохраните оригинал и сравните начало, конец и сложные места. Ввод ограничен десятью тысячами символов, поэтому обработка отрывка не характеризует весь документ. После ручной проверки обозначьте метод, если приводите число в отчёте. Тогда читатель поймёт, что было вычислено и что дополнительно установлено человеком.

Проверьте себя

Почему точка в «г. Туле» требует ручной проверки?

Попробуйте на практике

Источники и подготовка

Авторские объяснения и примеры erudeet. Языковые положения проверены по указанным источникам; материал не является официальной экзаменационной программой.