Повторы сочетаний слов

Повторяющиеся последовательности из двух–пяти написаний

Слов в сочетании

До 10 000 символов в каждом тексте. Обработка внутри erudeet, без передачи во внешние сервисы.

Результат

Повторяющихся сочетаний
1
Слов в сочетании
2
Буквальные повторяющиеся сочетания
СочетаниеКоличество
тихий лес2

Сравниваются соседние токены без регистра, в NFC; ударения, е/ё и словоформы различаются. Вхождения могут перекрываться. Через . ! ? … ; и перевод строки сочетание не продолжается; запятая не разрывает последовательность. Это буквальные n-граммы, а не поиск смысловых повторов. До 100 строк, длинное сочетание сокращается до 200 символов.

Как это работает

Буквальные сочетания из нескольких слов помогают увидеть повторяющиеся фрагменты.

Что именно делает инструмент

Выбирается длина от двух до пяти токенов. Регистр не учитывается, но ударения, е/ё и формы сохраняют различия. Вхождения могут перекрываться. Точка, вопросительный знак, восклицательный знак, многоточие, точка с запятой и новая строка прерывают сочетание.

Тихий лес. Тихий лес. → тихий лес встречается дважды.

а а а → пара а а встречается дважды.

Полезно почитать