Литература · объяснение и практика
MATTR: сравните словарное разнообразие в одинаковых окнах
Посчитайте MATTR в скользящих окнах заданной длины, зафиксируйте токенизацию и проверьте, почему общий type-token ratio не подходит для прямого сравнения разных объёмов.

Вузовский уровень · Все вузовские темы
В теме Письменный анализ и сопоставление · Учебная карта
Главная мысль
Для условной последовательности «лес сад лес дом сад» и окна из трёх слов доли разных форм равны 2/3, 1 и 1. Их среднее MATTR=8/9≈0,889. Мы измерили разнообразие форм в локальных окнах заданной длины, а не установили богатство мысли или ценность произведения.
Определите, какие слова считаются одинаковыми
Сохраните исходный фрагмент и отдельно опишите подготовку: регистр, пунктуацию, дефисы и отношение к словоформам. В этом упражнении считаем точные строчные формы, знаки препинания исключаем. Лемматизация дала бы другую последовательность типов и должна была бы быть отдельной объявленной процедурой.
Обычная доля разных типов во всём тексте зависит от того, сколько возможностей для повторов даёт длина фрагмента. Поэтому сравнение короткого и длинного произведений по одной общей доле может вводить в заблуждение. Равное окно контролирует эту конкретную сторону измерения, но не устраняет все различия жанра и темы.
Передвигайте окно по одному слову
Задайте положительную длину окна, не превосходящую число токенов. Для каждого начала от первого до последнего допустимого выделите ровно столько слов. Посчитайте разные типы внутри окна и разделите на длину окна. После этого усредните полученные отношения с одинаковым весом каждого окна.
Соседние окна перекрываются и потому не являются независимыми наблюдениями для обычного статистического вывода. Среднее всё равно определено, но число окон нельзя бездумно трактовать как количество независимых текстов. Если исходный фрагмент короче окна, выбранный расчёт не выполнен: уменьшение окна нужно оговорить.
Пример
Для «море море берег море» окно равно трём. Каков MATTR?
Окна «море море берег» и «море берег море» содержат по два разных типа. Оба отношения равны 2/3, поэтому их среднее также 2/3. Это отличается от общей доли 2/4: методы используют разные единицы сравнения.
Проверьте чувствительность результата
Повторите вычисление при другом разумном окне и сохраните обе настройки. Изменение числа может отражать локальное распределение повторов. Оно не доказывает само по себе, что автор изменил стиль, если между частями меняются персонажи, тема или объём цитат.
Для литературного вывода вернитесь к местам повторения. Имя героя, рефрен и термин могут снижать долю разных форм по разным художественным причинам. MATTR помогает увидеть распределение, но не оценивает правильность языка и не является доказательством авторства. Нужны сопоставимый материал и ясный исследовательский вопрос.
От чтения к действию
А теперь — вы
Частые вопросы
Можно смешать слова и леммы?
Нет: разные правила тождества меняют число типов. Сначала выбирают единицу, затем одинаково обрабатывают все сравниваемые фрагменты.
Более высокий MATTR означает лучший текст?
Нет. Метрика не оценивает художественную функцию повторов, ясность или качество аргумента. Эти свойства требуют отдельного чтения.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Сопоставление редакций: сначала выровняйте места, затем считайте изменения
Выровняйте соответствующие места двух редакций при разделении и объединении абзацев. Отделите перестройку сегментов от содержательного добавления или удаления.
Открыть темуСеть персонажей: задайте правило связи до построения графа
Постройте сеть совместного присутствия персонажей по сценам и проверьте, как правило ребра меняет результат. Не выдавайте частоту контактов за дружбу или роль в конфликте.
Открыть темуСтилометрическая Delta: вычислите расстояние без заявления об авторстве
Вычислите простую Delta по стандартизованным частотам признаков и проверьте влияние нулевого разброса и состава корпуса. Близость не превращайте в доказанное авторство.
Открыть тему