Литература · объяснение и практика

MATTR: сравните словарное разнообразие в одинаковых окнах

Посчитайте MATTR в скользящих окнах заданной длины, зафиксируйте токенизацию и проверьте, почему общий type-token ratio не подходит для прямого сравнения разных объёмов.

Синяя книга переворачивает оранжевую страницу тонкой рукой в белой перчатке.

Вузовский уровень · Все вузовские темы

В теме Письменный анализ и сопоставление · Учебная карта

Главная мысль

Для условной последовательности «лес сад лес дом сад» и окна из трёх слов доли разных форм равны 2/3, 1 и 1. Их среднее MATTR=8/9≈0,889. Мы измерили разнообразие форм в локальных окнах заданной длины, а не установили богатство мысли или ценность произведения.

Определите, какие слова считаются одинаковыми

Сохраните исходный фрагмент и отдельно опишите подготовку: регистр, пунктуацию, дефисы и отношение к словоформам. В этом упражнении считаем точные строчные формы, знаки препинания исключаем. Лемматизация дала бы другую последовательность типов и должна была бы быть отдельной объявленной процедурой.

Обычная доля разных типов во всём тексте зависит от того, сколько возможностей для повторов даёт длина фрагмента. Поэтому сравнение короткого и длинного произведений по одной общей доле может вводить в заблуждение. Равное окно контролирует эту конкретную сторону измерения, но не устраняет все различия жанра и темы.

Передвигайте окно по одному слову

Задайте положительную длину окна, не превосходящую число токенов. Для каждого начала от первого до последнего допустимого выделите ровно столько слов. Посчитайте разные типы внутри окна и разделите на длину окна. После этого усредните полученные отношения с одинаковым весом каждого окна.

Соседние окна перекрываются и потому не являются независимыми наблюдениями для обычного статистического вывода. Среднее всё равно определено, но число окон нельзя бездумно трактовать как количество независимых текстов. Если исходный фрагмент короче окна, выбранный расчёт не выполнен: уменьшение окна нужно оговорить.

Пример

Для «море море берег море» окно равно трём. Каков MATTR?

Окна «море море берег» и «море берег море» содержат по два разных типа. Оба отношения равны 2/3, поэтому их среднее также 2/3. Это отличается от общей доли 2/4: методы используют разные единицы сравнения.

Проверьте чувствительность результата

Повторите вычисление при другом разумном окне и сохраните обе настройки. Изменение числа может отражать локальное распределение повторов. Оно не доказывает само по себе, что автор изменил стиль, если между частями меняются персонажи, тема или объём цитат.

Для литературного вывода вернитесь к местам повторения. Имя героя, рефрен и термин могут снижать долю разных форм по разным художественным причинам. MATTR помогает увидеть распределение, но не оценивает правильность языка и не является доказательством авторства. Нужны сопоставимый материал и ясный исследовательский вопрос.

От чтения к действию

А теперь — вы

В тексте семь токенов, окно равно четырём. Сколько полных окон с шагом один?

Частые вопросы

Можно смешать слова и леммы?

Нет: разные правила тождества меняют число типов. Сначала выбирают единицу, затем одинаково обрабатывают все сравниваемые фрагменты.

Более высокий MATTR означает лучший текст?

Нет. Метрика не оценивает художественную функцию повторов, ясность или качество аргумента. Эти свойства требуют отдельного чтения.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться