Статистика категорий: таблицы и проверка независимости

Ожидаемые частоты, χ² Пирсона, степени свободы и условная модель Фишера: выбор расчёта для таблиц категорий с независимыми наблюдениями.

Задачи модуля

Таблица частот требует модели наблюдений: каждый объект должен относиться к определённым категориям. Ожидания при независимости строятся из итогов и затем сравниваются с фактическими клетками.

От величины отклонений переходите к условиям статистической проверки. Разреженные таблицы требуют внимания к точному пространству исходов, а вероятность одной таблицы ещё не равна p-значению.

  • Строить ожидаемые частоты по итогам и проверять сохранение строковых и столбцовых сумм.
  • Вычислять χ² и обычное число степеней свободы, замечая зависимые наблюдения, пустые категории и структурные нули.
  • Получать гипергеометрическую вероятность таблицы 2×2 и отличать её от одностороннего или объявленного двустороннего хвоста.

Статистика категорий

Таблица сопряжённости: вклад ячейки в статистику независимости

Статистика Пирсона сопоставляет наблюдаемые числа с ожидаемыми при независимости. Знак остатка показывает направление различия, квадрат — его вклад.

Перед началом: Частоты категорий; Нулевая гипотеза.

Ожидание строится из полей таблицы

Для таблицы r×c с общим числом N независимость категорий означает произведение вероятностей строки и столбца. Оценённое ожидаемое число в ячейке равно Eᵢⱼ=nᵢ₊n₊ⱼ/N. Поля здесь оцениваются по той же выборке. Суммы ожидаемых чисел по строкам и столбцам совпадают с наблюдаемыми полями, поэтому числа нельзя варьировать независимо. Для обычной полной таблицы число степеней свободы равно (r−1)(c−1). Структурно невозможные ячейки требуют отдельной постановки.

Если целая строка имеет нулевое поле, соответствующее ожидаемое число нулевое; такую пустую категорию нельзя бездумно оставлять в формуле с делением.

Остаток и суммарная статистика

Пирсоновский остаток Rᵢⱼ=(Oᵢⱼ−Eᵢⱼ)/√Eᵢⱼ имеет знак: положительный означает избыток, отрицательный — недостаток относительно модели. Сумма квадратов этих остатков есть χ². Большой вклад помогает найти источник несогласия, но остатки внутри таблицы зависимы, и их нельзя считать независимыми отдельными тестами без поправки. Небольшая χ² также не доказывает практическое отсутствие связи: мощность зависит от объёма выборки. Размер эффекта и неопределённость нужно рассматривать отдельно от решения о гипотезе.

Проверьте схему наблюдений

Асимптотическое χ²-приближение рассчитано на подходящий план независимых наблюдений и достаточно наполненные ожидаемые ячейки. Малые ожидания, кластерные повторы и парные измерения могут сделать обычное сравнение некорректным. Для разреженной таблицы 2×2 можно рассмотреть точную условную процедуру, а для пар — анализ несогласованных переходов. Дробные проценты без реального N не заменяют частоты. Если таблицу домножить на десять, сохранив доли, χ² увеличится в десять раз, поэтому один и тот же процентный рисунок не задаёт одну значимость.

Разобранная задача

Условие. Наблюдается таблица ((30,10),(10,30)). Найдите ожидаемые числа, остатки и χ² без поправки непрерывности.

  1. Обе строки и оба столбца имеют сумму 40, общий объём равен 80.
  2. Каждое ожидаемое число равно 40·40/80=20.
  3. Остатки имеют значения ±10/√20=±√5: положительны диагональные и отрицательны остальные.
  4. Квадрат каждого остатка равен 5, поэтому χ²=20 при одной степени свободы.

Ответ. Ожидаемая таблица состоит из двадцаток; χ²=20, знаки остатков показывают диагональный избыток.

Проверка. Ожидаемые поля точно совпадают с наблюдаемыми. Формула 2×2 N(ad−bc)²/[(a+b)(c+d)(a+c)(b+d)] независимо даёт 20.

Где легко ошибиться. Не делите отклонение на наблюдаемое число вместо ожидаемого и не применяйте эту непарную проверку к двум измерениям одного объекта.

Проверьте понимание

Как вычисляют ожидаемое число при независимости?

Вопросы к этой главе

Почему остатки суммируются с квадратами?

Квадрат делает противоположные отклонения одинаково заметными; иначе избыток одной ячейки сократился бы с недостатком другой.

Можно ли восстановить χ² из процентов?

Только если известен объём, из которого получены проценты, и способ округления. Одни доли не определяют статистику значимости.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • NIST: discrete response models

    NIST, discrete models: ожидаемые числа таблицы и статистика Пирсона. Пример и расчёт остатков самостоятельные.

Точный тест Фишера: условное распределение при фиксированных полях

При фиксированных полях таблица 2×2 определяется одной клеткой. Её гипергеометрический закон даёт точную вероятность выбранного хвоста.

Перед началом: Сочетания; Условная вероятность.

Что фиксируется под нулевой гипотезой

Рассмотрим две группы с бинарным исходом и условимся о фиксированных размерах групп и общем числе успехов. При нулевой гипотезе одинаковых шансов успеха распределение успехов между группами гипергеометрично. Если первая группа размера n, всего N объектов и K успехов, то число X в первой группе имеет вероятность C(K,x)C(N−K,n−x)/C(N,n). Допустимы только таблицы с теми же полями. Эта условная постановка отличается от сравнения произвольных таблиц того же общего размера.

Выберите направление до просмотра результата

Для альтернативы «первая группа успешнее» p-значение равно P(X≥x_obs) в условном нулевом распределении. Вероятность только наблюдаемой таблицы не является всем хвостом. Для двусторонней процедуры нужно явно назвать правило экстремальности; распространённый вариант суммирует вероятности таблиц не более вероятных, чем наблюдаемая. Он не обязан совпадать с удвоением меньшего хвоста из-за дискретности и асимметрии. Выбор направления после просмотра данных меняет заявленный смысл проверки.

Для выбранной альтернативы таблицы упорядочиваются по X, а не по абсолютной разности процентов. Другая статистика экстремальности требует отдельного определения хвоста и может дать другой дискретный результат.

Точность не означает полной определённости вывода

Слово «точный» означает вычисление без асимптотического приближения внутри данной модели. Оно не исправляет зависимые наблюдения, смещённый отбор или ошибочную классификацию исходов. P-значение не является вероятностью истинности нулевой гипотезы. При небольших выборках множество возможных p-значений дискретно, поэтому проверка уровня α часто оказывается консервативной. Для интерпретации также нужны размер эффекта, содержательный контекст и неопределённость отношения шансов или разности вероятностей.

Разобранная задача

Условие. В первой группе 3 успеха и 1 неудача, во второй 0 успехов и 4 неудачи. Найдите одностороннее точное p для превосходства первой группы.

  1. Поля фиксируют N=8, K=3 успеха и размер первой группы n=4.
  2. Наблюдаемое X=3 является максимально возможным числом успехов в первой группе.
  3. Поэтому хвост состоит из одной таблицы: P(X≥3)=C(3,3)C(5,1)/C(8,4)=5/70.
  4. Получаем p=1/14≈0,07143. При заранее выбранном уровне 0,05 нулевая гипотеза не отклоняется.

Ответ. Одностороннее точное p-значение равно 1/14.

Проверка. Все вероятности X=0,1,2,3 имеют числители 5,30,30,5 при знаменателе 70. Их сумма равна единице; правый край даёт нужный хвост.

Где легко ошибиться. Нулевая клетка не разрешает объявить эффект доказанным. Нужен расчёт всего выбранного хвоста при согласованных полях.

Проверьте понимание

Какие таблицы входят в условное распределение?

Вопросы к этой главе

Почему не нормальное приближение?

При столь малой таблице оно может быть грубым. Условное конечное распределение здесь легко перечислить полностью.

Чему равно двустороннее p по правилу вероятности таблицы?

Оба крайних исхода имеют вероятность 5/70, поэтому сумма равна 10/70=1/7. Это другая, заранее определённая альтернатива.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • SciPy: exact conditional test

    Документация SciPy: фиксированные поля, гипергеометрическое распределение и определение одностороннего хвоста. Собственная таблица полностью перечислена в главе.

Парные категории: Мак-Немар проверяет несогласованные пары

Два ответа одного объекта образуют пару. Информацию об изменении маргинальной доли несут переходы в противоположных направлениях.

Перед началом: Парный план; Биномиальное распределение.

Таблица переходов сохраняет пары

У одного объекта наблюдают бинарный результат до и после. Четыре клетки означают 0→0,0→1,1→0,1→1, а не две независимые группы. Нулевая гипотеза Мак-Немара требует равенства вероятностей противоположных несогласованных переходов. Она проверяет равенство маргинальных долей, а не независимость двух измерений. Большое число объектов, сохранивших ответ, может отражать сильную зависимость внутри пары и при этом не создавать свидетельства направленного изменения.

Условимся на числе несогласованных

Обозначим b число переходов 0→1, c число переходов 1→0. При нулевой гипотезе и условии b+c=m направление каждого несогласованного перехода имеет вероятность 1/2. Поэтому точная проверка использует Binomial(m,1/2). Для больших m применяют приближение (b−c)²/(b+c) с одной степенью свободы; поправка непрерывности меняет формулу и должна быть названа. Если m=0, направленного изменения не наблюдалось, а формула приближения с делением на ноль неприменима.

В точной симметричной биномиальной версии двусторонний хвост можно получить удвоением меньшего хвоста с ограничением сверху единицей. Это правило здесь оправдано симметрией вероятности 1/2; его нельзя автоматически переносить на любой асимметричный точный тест.

Как связать проверку и величину изменения

Наблюдаемая разность долей «после минус до» равна (b−c)/N, где N включает все пары. Значимость определяется также количеством несогласованных переходов, поэтому одна разность долей не задаёт p-значение. Независимость требуется между объектами, а не между двумя ответами одного объекта. Если люди наблюдались группами или каждый дал много пар, простая биномиальная схема может недооценивать неопределённость. Потеря части пар тоже требует анализа причин отсутствующих данных.

Разобранная задача

Условие. Среди 40 полных пар наблюдаются b=7 переходов 0→1 и c=1 переход 1→0. Найдите двустороннее точное p и изменение доли.

  1. Всего несогласованных m=8; при нулевой гипотезе B~Binomial(8,1/2).
  2. Меньший хвост P(B≤1)=(C(8,0)+C(8,1))/2⁸=9/256.
  3. По симметрии двустороннее p=2·9/256=9/128≈0,07031.
  4. Изменение доли равно (7−1)/40=0,15, то есть плюс 15 процентных пунктов.

Ответ. Точное двустороннее p=9/128; наблюдаемая доля выросла на 15 процентных пунктов.

Проверка. Верхний хвост P(B≥7) тоже равен 9/256. Их непересекающаяся сумма подтверждает результат; согласованные клетки не входят в эти хвосты.

Где легко ошибиться. Обычный тест независимости по двум строкам «до» и «после» теряет связь пар и проверяет другую вероятностную схему.

Проверьте понимание

Какой объём используется в условном биномиальном тесте?

Вопросы к этой главе

Почему согласованные пары не входят в точный хвост?

При условии общего числа несогласованных они не сообщают направления изменения. Однако они входят в знаменатель разности долей.

Можно ли заменить пару двумя независимыми наблюдениями?

Нет. Это нарушает план и обычно меняет стандартную ошибку. Нужно хранить совместный результат каждого объекта.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • statsmodels: McNemar test

    Документация statsmodels: парный тест Мак-Немара, точная биномиальная и асимптотическая версии. Числа несогласованных пар заданы самостоятельно.

Стратификация и парадокс Симпсона: смена весов меняет общий вывод

В каждой страте одна группа может иметь большую долю успеха, а в объединении — меньшую. Причина может скрываться в разных весах страт.

Перед началом: Взвешенное среднее; Условные доли.

Общая доля использует собственные веса группы

Пусть результат зависит от группы A или B и сложности случая. Общая доля успеха есть среднее условных долей по сложностям с весами P(сложность|группа). Если составы A и B различаются, сравнение общих долей одновременно меняет результат внутри сложности и распределение сложности. Числа могут быть арифметически верны и при этом отвечать вопросу, отличному от сравнения при одинаковом составе. Поэтому таблицу полезно хранить по стратам до объединения.

Стандартизация фиксирует целевую смесь

Для сравнения при общем составе выбирают одни веса w_z с суммой один и вычисляют Σw_z p_Az и Σw_z p_Bz. Тогда разность равна взвешенному среднему внутристратовых разностей. Если все они положительны, стандартизованная разность тоже положительна при неотрицательных весах. Выбор весов должен соответствовать целевой популяции, а не желаемому выводу. Равные веса страт являются одним вариантом целевой смеси, а не универсальной правдой.

Стратификация сама не устанавливает причинность

Сложность может быть общей причиной назначения группы и исхода, но иногда она измеряется после воздействия или зависит от него. Тогда условие по ней может менять причинный вопрос или создавать смещение. Табличная демонстрация показывает возможность смены агрегатного знака и необходимость явно задавать сравниваемую популяцию. Она не позволяет без дополнительных предпосылок назвать одну группу эффективнее. Для данных также нужны интервалы неопределённости: различие долей в маленькой страте может быть нестабильным.

Разобранная задача

Условие. В лёгких случаях A имеет 9/10 успехов, B — 80/100. В трудных A имеет 30/100, B — 2/10. Сравните общие доли и стандартизованные при равных весах двух страт.

  1. В лёгкой страте 0,9>0,8, в трудной 0,3>0,2: A выше на 0,1 в каждой.
  2. В объединении A имеет 39/110≈0,3545, B — 82/110≈0,7455. Общий знак противоположен.
  3. При общих равных весах A получает (0,9+0,3)/2=0,6, B — (0,8+0,2)/2=0,5.
  4. В группе A преобладают трудные случаи, в B — лёгкие. Именно разные смеси объясняют арифметическую смену знака.

Ответ. Общая доля выше у B; при одинаковых равных весах страт выше A на 10 процентных пунктов.

Проверка. Стандартизованная разность равна (0,1+0,1)/2=0,1. Это совпадает с разностью двух стандартизованных долей и сохраняет знак обеих страт.

Где легко ошибиться. Нельзя сравнивать стандартизованные доли, используя для каждой группы её собственные веса: тогда вы снова получаете исходную смесь.

Проверьте понимание

Почему знак может измениться после объединения?

Вопросы к этой главе

Ошибка ли это в сложении?

Нет. Все суммы правильны. Меняется вес условных долей, поэтому объединённый показатель описывает другой состав наблюдений.

Какие веса выбирать для практического сравнения?

Веса заранее определённой целевой популяции. Их выбор нужно обосновать; равные веса полезны для демонстрации, но не обязательны.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Joseph Kadane: Simpson’s paradox, section 2.3

    Joseph Kadane, Principles of Uncertainty, раздел 2.3: изменение агрегатного вывода при разных смесях. Собственная таблица, веса и стандартизация рассчитаны отдельно.

Связанные методы

Почему ожидаемые частоты при независимости равны произведению итогов

При независимости двух категориальных признаков ожидаемое число в клетке равно итогу её строки, умноженному на итог её столбца и делённому на общий объём: Eᵢⱼ=RᵢCⱼ/N.

Разобрать с примером

Как χ² сравнивает таблицу категорий с независимостью

Статистика Пирсона для таблицы равна χ²=Σ(Oᵢⱼ−Eᵢⱼ)²/Eᵢⱼ. Большие значения означают большее расхождение с независимостью; получение p-значения дополнительно требует корректной модели и приближения распределения.

Разобрать с примером

Почему число свободных клеток меньше числа всех клеток

У полной таблицы r×c с заданными итогами строк и столбцов свободны (r−1)(c−1) клеток. Последние строка и столбец восстанавливаются из итогов; структурные запреты требуют отдельной модели.

Разобрать с примером

Темы по порядку

  1. Почему ожидаемые частоты при независимости равны произведению итоговКак из итогов таблицы категорий построить ожидаемые частоты при независимости, проверить суммы строк и столбцов и не принять дробное ожидание за невозможное наблюдение.
  2. Как χ² сравнивает таблицу категорий с независимостьюКак собрать χ² Пирсона из отклонений клеток от независимости, не спутать её с вероятностью гипотезы и заметить данные, для которых обычное приближение ненадёжно.
  3. Почему число свободных клеток меньше числа всех клетокПочему фиксированные итоги уменьшают число независимо задаваемых клеток, как получить (r−1)(c−1) и что меняется при структурно невозможных сочетаниях.
  4. Как фиксированные итоги задают точную вероятность таблицы 2×2Как фиксированные итоги таблицы два на два задают точное гипергеометрическое распределение, отличить вероятность одной таблицы от хвоста и явно выбрать двустороннее правило.

Проверьте понимание

Всего N=150 наблюдений, итог строки равен 60, итог столбца 45. Каково ожидаемое число их совместной клетки при независимости?

Рассчитать и проверить

Частые вопросы

Почему ожидаемое число может быть нецелым?

Это среднее количество в модели, а не требование разделить конкретного участника. Целочисленными остаются наблюдённые частоты.

Что показывает большой χ²?

Большое суммарное расхождение наблюдений с подогнанной моделью независимости относительно ожидаемого масштаба, но не вероятность истинности гипотезы.

Почему одно ограничение избыточно?

Общий итог, полученный сложением строк, уже равен общему итогу столбцов. Поэтому одно из этих равенств следует из остальных.