Вероятность и статистика · объяснение и практика
Вероятность разных категорий: как считать индекс разнообразия
Получаем индекс разнообразия как вероятность разных категорий при двух независимых выборах. Проверяем зависимость от долей и отдельно пересчитываем выбор без возвращения.

В теме Случайные величины и распределения · Учебная карта
Главная мысль
Пусть категории имеют вероятности p₁,…,pₖ, неотрицательные и в сумме равные единице. При двух независимых выборах из одного распределения вероятность разных категорий равна 1−Σpᵢ². Это вариант индекса Джини — Симпсона. Нужно назвать определение: в других соглашениях индексом Симпсона называют саму сумму квадратов либо её обратную величину.
Совпадение разбивается по общей категории
Чтобы оба выбора попали в категорию i, необходимо дважды получить её. При независимости вероятность равна pᵢ². События «оба в первой», «оба во второй» и так далее несовместны: пара не может одновременно принадлежать разным общим категориям. Складывая квадраты, получаем вероятность совпадения. Разные категории образуют дополнение, поэтому остаётся вычесть сумму из единицы, а не просто сложить доли разных названий.
Если категорий две и обе равновероятны, совпадение имеет вероятность 1/2, различие тоже 1/2. Если одна категория занимает девять десятых, а другая одну десятую, различие равно 1−0,81−0,01=0,18. Количество категорий не изменилось, но равномерность долей существенно другая. Поэтому индекс использует и состав категорий, и их относительные веса, а не только число непустых строк таблицы.
Возвращение меняет вероятность второй категории
В наборе из десяти жетонов четыре принадлежат категории А, три — Б, три — В. При выборе с возвращением вероятности равны 0,4; 0,3; 0,3. Вероятность различия составляет 1−0,16−0,09−0,09=0,66. Возвращение нужно не ради формальности: оно сохраняет состав перед вторым независимым выбором. Если жетон оставлен вне набора, знаменатель следующего выбора уменьшится.
Для двух разных объектов без возвращения вероятность совпадения равна Σnᵢ(nᵢ−1)/[N(N−1)]. В том же наборе числитель равен 4·3+3·2+3·2=24, знаменатель — 90. Различие равно 1−24/90=11/15, что больше 0,66. Мы отвечаем на два разных вопроса об одном составе. Формулу с квадратами долей нельзя молча переносить на физический выбор без возвращения.
Пример
Категории имеют вероятности 1/2, 1/3 и 1/6. Какова вероятность различия двух независимых выборов?
Вероятность совпадения равна 1/4+1/9+1/36=14/36=7/18. Поэтому различие равно 11/18. Число категорий три не означает автоматически вероятность 2/3: их доли не равны.
Сравниваем определённые категории, а не качество объектов
Для фиксированного числа k возможных категорий сумма квадратов не меньше 1/k. Следовательно, показатель различия не превышает 1−1/k и достигает этой границы при равных долях. Ноль означает сосредоточение всей вероятности в одной категории. Это вероятностные границы выбранного определения. Они не устанавливают, какие категории ценнее и каким должен быть хороший состав коллекции или сообщества.
Разделение одной категории на несколько меняет индекс даже при неизменных физических объектах. Поэтому перед сравнением двух таблиц нужно согласовать правило классификации и механизм выбора. Переименование категорий без изменения долей, напротив, сохраняет результат: в формуле используются вероятности, а не написание меток. Эмпирические доли из выборки также дают оценку, а не точно известный закон большой совокупности. Нельзя объявить небольшую разность индексов доказанным реальным различием без анализа отбора и случайной неопределённости. Сам расчёт отвечает лишь на конкретный вопрос о совпадении категорий.
От чтения к действию
А теперь — вы
Частые вопросы
Почему категории с нулевой долей не меняют сумму?
Их квадрат равен нулю. Но объявленное число возможных категорий важно, когда обсуждается теоретическая верхняя граница.
Разные названия индекса могут давать противоположный порядок?
Да. Сумма квадратов растёт с концентрацией, а единица минус эта сумма — с вероятностью различия. Определение нужно указать явно.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как взвесить вероятности события из разных источников
Находим общую вероятность события из нескольких непересекающихся источников, взвешиваем по реальным долям выбора и проверяем порядок генерации случайного объекта.
Открыть темуКогда порядок выбранных предметов не создаёт новый вариант
Считаем группы без должностей и порядка, объясняем деление на перестановки внутри выбранной группы и отличаем сочетания от упорядоченного выбора.
Открыть тему