Уникальные слова: полезная выборка, а не готовая редактура
Из абзаца нужно выписать встречающиеся названия для дальнейшей проверки. Список уникальных слов помогает собрать первые написания, но он уже не является связным текстом: пунктуация, повторы и порядок отношений теряются. Копировать его вместо отредактированного рассказа было бы другой операцией.
Короткий ответ
Используйте результат как перечень написаний, а не исправленный текст. Выберите учёт регистра и проверьте различия форм, е/ё и ударения. Алгоритм сохраняет первое вхождение и не объединяет слова по значению или лемме.

Определите цель выборки
Если требуется перечень использованных названий, уникальные написания дают удобную исходную выборку. Можно затем проверить орфографию или распределить элементы по категориям вручную. Но список не сообщает, какие слова важнее по смыслу. Первое появление отражает порядок текста, а не приоритет понятия.
Не применяйте выборку к рассказу как удаление стилистических повторов. Повтор может поддерживать тему, связь или эмоциональный рисунок. Алгоритм не оценивает эти функции. Он извлекает отдельные буквенные токены и сохраняет первые вхождения по выбранным правилам, не строя новое связное высказывание.
«Море шумит. Море рядом» даёт список «Море шумит рядом».
Потеряны исходные предложения и повтор; результат пригоден как список, а не замена рассказа.
Проверьте равенство написаний
По умолчанию регистр не учитывается: первое «Дом» и дальнейшее «дом» объединяются. Можно включить различение регистра, если оно нужно. Результат сохраняет исходный вид первого вхождения, а не исправляет заглавные буквы. Для имён и кодов настройку следует выбирать по содержанию.
NFC объединяет канонически эквивалентные записи Unicode. При этом е и ё, отдельное ударение и разные словоформы остаются различными. «Дом» и «дома» не считаются одним элементом только потому, что относятся к одному слову. Поиск лемм или грамматических вариантов требует другого инструмента и отдельного основания.
«дом дома дом» превращается в «дом дома».
Повтор первой формы удалён, но другая словоформа не объединена с ней.
Опора для объяснения: Unicode Standard Annex 15: нормализация Unicode; Unicode Standard Annex 29: границы текста.
Учтите способ выделения токенов
Буквенная последовательность может включать внутренний дефис или апостроф. Числовая запись не является словом для этой операции. Пунктуация и переносы заменяются разделителем в готовом списке. Поэтому результат не сохраняет исходные фразы и не подходит для восстановления границ предложений без оригинала.
Знак ударения внутри написания учитывается при сравнении. Если одно вхождение акцентировано, а другое нет, они могут остаться отдельно. Это не словарное решение об ударении, а правило технической выборки. Не удаляйте акценты во всём документе только ради меньшего числа элементов без проверки задачи.
«ёлка елка» сохраняет оба написания.
Е и ё не объединяются; правильность конкретной записи проверяется отдельно.
Вернитесь к исходному контексту
Если найденное слово требует проверки, найдите его в исходном предложении. Только там понятны значение, роль и возможное оформление. Сам список не показывает, употреблено ли слово как имя, часть названия или обычное обозначение. Уникальность записи не означает правильность и не объясняет авторский выбор.
Храните исходный текст рядом с выборкой до завершения работы. Ограничение ввода составляет десять тысяч символов; результат относится к переданному фрагменту. Если вы разделили большой материал на части, уникальность внутри каждой не доказывает уникальность всего набора. Итоговый перечень требует общей проверки на пересечение частей.
Проверьте себя
Можно ли заменить рассказ списком уникальных слов и назвать это готовой редактурой?
Попробуйте на практике
Источники и подготовка
Авторские объяснения и примеры erudeet. Языковые положения проверены по указанным источникам; материал не является официальной экзаменационной программой.