Вероятность и статистика · объяснение и практика

Почему ожидаемые частоты при независимости равны произведению итогов

Как из итогов таблицы категорий построить ожидаемые частоты при независимости, проверить суммы строк и столбцов и не принять дробное ожидание за невозможное наблюдение.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Таблицы категорий и качество классификации · Учебная карта

В маршруте Категориальные таблицы и проверяемые связи · 10 тем

Главная мысль

При независимости двух категориальных признаков ожидаемое число в клетке равно итогу её строки, умноженному на итог её столбца и делённому на общий объём: Eᵢⱼ=RᵢCⱼ/N.

Независимость относится к долям совместных исходов

Пусть каждого участника отнесли ровно к одной строковой и одной столбцовой категории. Всего наблюдений N, итог строки равен Rᵢ, столбца — Cⱼ. Если признаки независимы, вероятность совместной категории равна произведению двух предельных вероятностей. Их оценки по таблице составляют Rᵢ/N и Cⱼ/N.

Умножение произведения долей на N возвращает ожидаемое количество: Eᵢⱼ=N(Rᵢ/N)(Cⱼ/N)=RᵢCⱼ/N. Это число описывает модель, а не новую запись в журнале наблюдений. Оно может быть дробным, хотя фактические числа людей или предметов в клетках целые. Округлять ожидания перед последующими вычислениями не нужно.

Проверяем, что итоги модели не потерялись

В двух мастерских участвуют 40 и 60 человек. Всего 30 выбрали печатную инструкцию, 70 — электронную. При независимости выбора и мастерской ожидаемая таблица имеет строки (12,28) и (18,42). В каждой мастерской модель использует одну общую долю печатного выбора 30/100.

Суммирование ожиданий по столбцам возвращает 30 и 70, а по строкам — 40 и 60. В общем виде ΣⱼEᵢⱼ=RᵢΣⱼCⱼ/N=Rᵢ. Такой контроль помогает обнаружить неверный общий знаменатель: деление каждой клетки только на размер её строки сохранило бы долю, но не ожидаемое количество.

Пример

В наблюдаемой таблице строки равны (16,24) и (14,46). Изменятся ли построенные ожидания?

Нет: итоги строк и столбцов остались теми же. Изменились отклонения отдельных клеток от модели независимости, но не её подогнанные предельные доли.

Модель требует осмысленных категорий

Одна и та же единица не должна несколько раз независимо попадать в одну таблицу под видом разных участников. Повторные ответы и несколько разрешённых выборов меняют модель наблюдений. Отсутствие категории в данных также не доказывает её принципиальную невозможность: выборочный нуль и запрещённая комбинация имеют разный смысл.

При N=0 формула не определена. Пустая строка или столбец дают нулевые ожидания и не поддерживают обычный расчёт статистики с делением на E. Их исследуют отдельно, учитывая содержательные ограничения. Наконец, ожидания по независимости не являются доказательством самой независимости: их специально построили под этой гипотезой, а затем сравнивают с реальными частотами.

От чтения к действию

А теперь — вы

Всего N=150 наблюдений, итог строки равен 60, итог столбца 45. Каково ожидаемое число их совместной клетки при независимости?

Частые вопросы

Почему ожидаемое число может быть нецелым?

Это среднее количество в модели, а не требование разделить конкретного участника. Целочисленными остаются наблюдённые частоты.

Доказывают ли совпавшие итоги правильность независимости?

Нет. Сохранение итогов встроено в формулу. Проверять нужно различия внутри клеток и условия модели наблюдений.

Углублённый разбор

Структурные запреты: совместимость полей таблицы через соседние категории

При запрещённых сочетаниях не каждые строковые и столбцовые итоги совместимы. Проверку существования таблицы нужно выполнить раньше подгонки ожиданий.

Перед началом: Мультиномиальные частоты и фиксированные поля; Матрицы, условные вероятности и логарифмы.

Определение и постановка

Представим разрешённые клетки как связи между строковыми и столбцовыми категориями. Итог строки требуется распределить только между её соседями. Для любого набора строк A необходима граница Σᵢ∈ₐRᵢ≤Σⱼ∈N(A)Cⱼ, где N(A) содержит все доступные этим строкам столбцы.

Вывод и вычислительный критерий

Необходимость следует из сохранения массы: значения выбранных строк не могут уйти в несвязанные с ними столбцы. При неотрицательных вещественных клетках, одинаковой общей сумме итогов и проверке всех подмножеств строк эти ограничения также достаточны. Это транспортная форма критерия максимального потока.

Строят сеть: источник соединён со строками с пропускными способностями Rᵢ, разрешённые клетки соединяют строки со столбцами, а столбцы связаны со стоком ёмкостями Cⱼ. Поток общей величины N непосредственно даёт таблицу. Разрез меньшей величины предъявляет содержательный сертификат невозможности.

Нельзя проверять лишь отдельные строки. Две строки могут каждая по отдельности помещаться в общий набор доступных столбцов, но вместе требовать больше его ёмкости. Поэтому объединение ограниченных категорий способно обнаружить несовместимость, которую пропустили локальные сравнения.

Условия и границы вывода

Структурный ноль описывает устройство эксперимента, а не отсутствие наблюдений в допустимой клетке. Заполнение запрета маленьким положительным числом меняет опору задачи и может искусственно создать решение.

При целых итогах и целых сетевых ёмкостях существует целочисленный максимальный поток. Поэтому согласованная модель допускает и настоящие целочисленные таблицы, хотя ожидаемые частоты статистической подгонки впоследствии могут быть дробными.

Совместимость полей ещё не является независимостью признаков. Она отвечает на предварительный вопрос, можно ли вообще распределить заявленную массу при данных запретах. Выбор логлинейной модели и проверка её соответствия наблюдениям остаются следующими самостоятельными задачами.

Разобранная задача

Условие. Строковые итоги A,B,C равны 3,2,1, столбцовые X,Y,Z равны 2,2,2. Разрешены A→X, B→Y,Z и C→Z. Докажите невозможность, затем разрешите дополнительно A→Y и предъявите таблицу.

  1. Общая сумма обеих систем итогов равна шести, поэтому простой глобальный баланс выполнен.
  2. У строки A единственный сосед X имеет ёмкость два, но требуется разместить три; ограничение 3≤2 нарушено.
  3. После добавления A→Y распределим строку A как (2,1,0). Для Y остаётся единица, для Z две.
  4. Возьмём B=(0,1,1), C=(0,0,1). Столбцовые итоги равны (2,2,2), все разрешения соблюдены.

Ответ. Исходная опора несовместима с полями; после добавления A→Y указанная таблица допустима.

Проверка. Первый случай опровергнут конкретным разрезом ёмкости два. Во втором проверка каждой клетки, всех трёх строк и трёх столбцов даёт конструктивный сертификат существования.

Где легко ошибиться. Совпадение общих сумм необходимо, но недостаточно: структурные запреты способны запереть избыток массы в отдельной группе строк.

Проверьте понимание

Какой сертификат сразу доказывает несовместимость полей?

Вопросы к этой главе

Можно ли исправить ситуацию округлением ожиданий?

Нет. Здесь не арифметическая неточность, а невозможность разместить три единицы в ёмкости два. Любое решение потребует изменить итоги или разрешённую опору.

Доказывает ли найденная таблица хорошую статистическую модель?

Она доказывает только совместимость ограничений. Для модели распределения и проверки независимости нужны дополнительные вероятностные предпосылки и сравнение с наблюдениями.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • NetworkX: minimum cut and maximum flow

    Прочитано определение минимального разреза и равенство его ёмкости максимальному потоку. Перенос задачи полей в сеть, условие на соседей и конечные таблицы выведены здесь самостоятельно.

Итеративная подгонка полей: согласование ожидаемой таблицы

Итеративная подгонка полей согласует таблицу с заданными итогами последовательными масштабированиями. Она сохраняет структуру нулей и исходные отношения взаимодействия.

Перед началом: Мультиномиальные частоты и фиксированные поля; Матрицы, условные вероятности и логарифмы.

Определение и постановка

Начальная положительная таблица Z задаёт форму модели. При настройке строк каждую клетку строки умножают на целевой итог Rᵢ, делённый на текущую сумму строки. Затем аналогично масштабируют столбцы до Cⱼ.

Вывод и вычислительный критерий

После строкового прохода нужные строки точны, но столбцы обычно изменились. После столбцового прохода точны столбцы, однако строки могут снова отклониться. Поэтому один полный цикл не является общим решением; контролируют обе системы невязок и повторяют проходы.

У любой положительной таблицы два на два отношение перекрёстных произведений z₁₁z₂₂/(z₁₂z₂₁) не меняется при таких операциях. Каждый строковый или столбцовый множитель появляется одинаково в числителе и знаменателе. Следовательно, разные начальные отношения могут вести к разным таблицам при одинаковых итогах.

Если стартовать с единиц на полной опоре, предельная таблица имеет отношение шансов один и совпадает с обычной независимой подгонкой. Произвольный старт не позволяет автоматически назвать результат независимостью: он сохраняет внесённую стартом ассоциацию.

Условия и границы вывода

На запрещённых клетках стартуют с нулём, который масштабирование сохраняет. Однако нулевой текущий итог при положительном целевом итоге делает шаг невозможным. До итераций нужно проверить совместимость полей с разрешённой опорой.

Сходимость невязок и достижение лимита итераций различаются. Остановка по счётчику без малой ошибки не доказывает согласованности. Полезно сообщать максимальную абсолютную либо относительную ошибку каждого набора полей.

Положительные таблицы и согласованные поля дают стандартную задачу подгонки, но при структурных ограничениях предел способен лежать на границе. В таком случае отдельные разрешённые клетки стремятся к нулю, и численная интерпретация требует внимания.

Разобранная задача

Условие. Начните с Z=((1,1),(1,1)). Требуются строки (3,1), столбцы (2,2). Выполните один строковый и один столбцовый проход и проверьте полученную таблицу.

  1. Обе начальные строки имеют сумму два. Их множители равны 3/2 и 1/2.
  2. После строкового прохода таблица равна ((3/2,3/2),(1/2,1/2)).
  3. Оба столбца уже имеют сумму два, поэтому их множители равны единице и второй проход ничего не меняет.
  4. Строки дают 3 и1, столбцы2 и2; отношение перекрёстных произведений равно единице.

Ответ. Подогнанная таблица равна ((3/2,3/2),(1/2,1/2)); в этом специальном случае достаточно одного цикла.

Проверка. Прямая формула независимости даёт RᵢCⱼ/N при N=4 и возвращает те же четыре клетки. Это независимая проверка специального старта, а не общее оправдание одного цикла.

Где легко ошибиться. IPF не обязана после одного прохода одновременно сохранить только что исправленные строки и затем исправленные столбцы.

Проверьте понимание

Что сохраняет IPF для положительной таблицы два на два?

Вопросы к этой главе

Почему нельзя начать с произвольных нулей?

Каждый стартовый ноль сохраняется навсегда. Случайный ноль может исключить нужную клетку и сделать согласование невозможным, даже когда исходная содержательная опора допускает решение.

Что проверяет сохранение отношения шансов?

Оно контролирует, что применялись именно строковые и столбцовые множители. Меняющееся перекрёстное отношение указывает на другую операцию либо численную ошибку.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • CRAN cat: iterative proportional fitting

    Прочитана документация IPF: стартовая таблица, сохранение структурных нулей, максимизация правдоподобия логлинейной модели и критерии сходимости. Пример одного цикла и проверка отношения шансов собственные.

Условная выборка таблиц: движения, которые соединяют все состояния

Условная имитация таблицы должна посещать все допустимые целочисленные состояния. Сохранение полей каждым отдельным шагом ещё не гарантирует этого свойства. Построим конечный пример, где привычные прямоугольные перестановки вообще не двигают цепь.

Перед началом: Условные вероятности и математическое ожидание; Частоты и поля таблицы.

От допустимого направления к достижимому состоянию

Зафиксируем строковые и столбцовые итоги и список разрешённых клеток. Множество неотрицательных целочисленных таблиц с этими ограничениями называют волокном. Движение — целочисленная матрица с нулевыми суммами строк и столбцов, причём на запрещённых клетках она тоже равна нулю. Прибавлять движение можно только тогда, когда новая таблица остаётся неотрицательной.

Для полной прямоугольной опоры доступны движения по четырём углам: два плюса и два минуса. Но на неполной опоре подходящих прямоугольников может не оказаться. Размерность вещественного ядра сама по себе не удостоверяет связность целочисленных состояний: промежуточная таблица пути тоже обязана быть допустимой.

Длинный цикл вместо отсутствующих прямоугольников

Пусть разрешены восемь клеток таблицы четыре на четыре: диагональ и следующие за ней клетки (1,2),(2,3),(3,4),(4,1). Две разные строки не имеют двух общих разрешённых столбцов, поэтому ни одного четырёхклеточного движения здесь нет. Однако прибавка единицы ко всей диагонали и вычитание единицы из четырёх остальных разрешённых клеток сохраняет каждое поле.

Если все поля равны двум, диагональные клетки обязаны иметь общее значение t, а остальные четыре — значение 2−t. Последовательность t=0,1,2 соединяется найденным восьмиклеточным движением. Это доказательство связности конкретного волокна; на другой опоре нужен собственный набор движений, а произвольный базис вещественного ядра не заменяет такую проверку.

Нужный закон требует ещё и правильных переходов

При независимых пуассоновских клетках с квазинезависимыми средними aᵢbⱼ условная масса таблицы при данных полях пропорциональна произведению 1/nᵢⱼ!. Все множители aᵢ,bⱼ сокращаются. Равномерно выбирать допустимые таблицы было бы другим экспериментом: одинаковые поля не делают их условные вероятности одинаковыми.

Предлагайте оба знака движения с вероятностями по половине. Недопустимое предложение оставляет состояние прежним; допустимое принимается с вероятностью min(1,wнов/wстар). Тогда потоки между соседями симметричны относительно целевого закона. Связность даёт неприводимость, а положительная вероятность остаться обеспечивает апериодичность в рассматриваемом примере. Это всё ещё асимптотический имитатор, не обещание независимого точного результата после одного шага.

Три таблицы на восьмиклеточной опоре

Условие. На описанной восьмиклеточной опоре все поля равны двум. Найдите условные вероятности трёх таблиц при квазинезависимой пуассоновской модели и переходы между ними для симметричного предложения движения.

  1. Из балансов получаем ровно три состояния t=0,1,2. Их ненулевые клетки состоят из четырёх значений t и четырёх значений 2−t.
  2. Ненормированные массы равны 1/(t!⁴(2−t)!⁴): соответственно 1/16,1,1/16. Их сумма равна 9/8.
  3. После нормировки вероятности равны 1/18,8/9,1/18. Из крайнего состояния предложение внутрь принимается всегда и имеет итоговую вероятность 1/2.
  4. Из центра каждый выход принимается с вероятностью 1/16, поэтому переход к каждому краю равен 1/32, а удержание в центре — 15/16. Поток по каждой связи равен (1/18)(1/2)=(8/9)(1/32)=1/36.

Ответ. Средняя таблица имеет условную вероятность 8/9; цепь соединяет все три состояния и сохраняет этот неравномерный закон.

Проверка. Полный перебор t исчерпывает волокно. Прямая проверка трёх строк переходной матрицы и двух пар встречных потоков подтверждает нормировку и стационарность независимо от общего рецепта.

Где легко ошибиться. Равномерное принятие каждого допустимого движения привело бы к равномерному стационарному закону по трём состояниям. Он не совпадает с условным пуассоновским законом, хотя все таблицы имеют безупречно одинаковые поля.

Проверьте понимание

Какова условная вероятность состояния t=1 в указанной пуассоновской модели?

Вопросы к этой главе

Достаточно ли сохранять итоги?

Нет. Цепь может навсегда остаться в одной компоненте волокна. На нашей опоре прямоугольные шаги оставляют каждое состояние изолированным, хотя допустимых таблиц три.

Что меняется при равномерной целевой мере?

Тогда допустимые симметричные предложения можно принимать всегда. Но сначала нужно явно выбрать именно этот закон; он не возникает автоматически из условия о фиксированных полях.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Rapallo–Yoshida: Markov bases and subbases, §2

    Прочитаны PDF-страницы 3–4: определение волокна, неотрицательных путей, Markov moves и принятия по условным массам. Восьмиклеточный пример и все переходы составлены здесь.

Округление ожидаемой таблицы с сохранением обоих полей

Дробные ожидания нельзя выдавать за реальные целочисленные наблюдения. Но для отдельной задачи публикации или распределения иногда нужна целая таблица с теми же целыми полями. Округление каждой клетки независимо обычно нарушает эти поля; построим согласованный выбор.

Перед началом: Условные вероятности и математическое ожидание; Частоты и поля таблицы.

Округление с ограничениями

Пусть A — неотрицательная вещественная таблица, а все её строковые и столбцовые суммы целые. Ищем целую таблицу B с теми же полями, где каждая клетка равна floor(Aᵢⱼ) или ceil(Aᵢⱼ). Уже целые клетки оставляем неизменными. Это задача представления данных, а не дополнительный статистический тест независимости.

Вычтем нижние целые части L. Дробные остатки F=A−L лежат между нулём и единицей. Требуемые добавки к строкам rᵢ и столбцам cⱼ целые: из заданного поля вычитается сумма соответствующих нижних частей. Нужно выбрать нули и единицы на дробных клетках, удовлетворяющие двум наборам добавочных итогов.

Сеть даёт свидетельство существования

Проведём дуги из источника к строкам ёмкости rᵢ, от каждой строки к каждому столбцу с дробной клеткой ёмкости один и от столбцов к стоку ёмкости cⱼ. Дробные остатки F уже задают допустимый вещественный поток полной величины Σrᵢ. Поэтому при целых ёмкостях существует и целый максимальный поток той же величины.

Полученные нули и единицы добавляются к L. Доказательство относится к двум системам полей одной двумерной таблицы. Нельзя автоматически переносить его на все двумерные грани трёхмерного массива: это другая система ограничений, и соответствующая целочисленность не следует из данного двудольного построения.

Все допустимые варианты добавок
Столбец добавки во вторую строкуПервая строка BВторая строка BПолная ошибка
11,1,11,1,113/5
22,0,10,2,111/5
32,1,00,1,216/5

Как выбрать более близкое округление

Для дробной части f цена округления вниз по абсолютной ошибке равна f, вверх — 1−f. По сравнению с постоянной суммой всех f выбор единицы добавляет стоимость 1−2f. Минимальный по стоимости целый поток поэтому минимизирует суммарную абсолютную ошибку всей таблицы. Отрицательные цены дуг здесь допустимы; важно решать задачу стоимости, а не только достижимости.

Согласованное округление способно оставить конкретную клетку дальше ближайшего целого, чтобы не изменить известные поля. Полученную таблицу следует помечать как округлённое представление. Для χ², правдоподобия или дисперсии используют исходные дробные ожидания: замена их округлёнными значениями меняет сам расчёт и иногда создаёт искусственные нули.

Три способа сохранить поля

Условие. Таблица A имеет строки (33/20,11/20,4/5) и (7/20,29/20,6/5). Найдите округление вниз или вверх каждой клетки с полями строк (3,3), столбцов (2,2,2), минимизирующее сумму абсолютных ошибок.

  1. Нижние целые части равны (1,0,0) и (0,1,1). Нужно добавить две единицы в первую строку, одну во вторую и по одной в каждый столбец.
  2. Поэтому возможны ровно три решения: выбираем единственный столбец, где единица добавляется во вторую строку. Остальные два получают единицы в первую строку.
  3. Если этот столбец первый, второй или третий, полные абсолютные ошибки равны соответственно 13/5,11/5,16/5. Все три варианта удовлетворяют полям.
  4. Единственный минимум соответствует второму столбцу: B=((2,0,1),(0,2,1)). Независимое округление к ближайшему целому дало бы строки (2,1,1),(0,1,1), то есть неверные итоги 4 и 2.

Ответ. Минимальная ошибка равна 11/5; искомая целая таблица имеет строки (2,0,1) и (0,2,1).

Проверка. Перебраны все три допустимых распределения единиц. Прямое суммирование строк, столбцов и шести модулей ошибок даёт отдельную конечную проверку оптимальности.

Где легко ошибиться. Нельзя сначала округлить поля независимо, а затем обещать сохранить их все одновременно. Здесь поля изначально целые и согласованы с A; при иных заданных полях существование допустимого потока придётся проверять заново.

Проверьте понимание

Какова минимальная суммарная абсолютная ошибка при заданных полях этого примера?

Вопросы к этой главе

Можно ли сохранить структурные нули?

Да, если исходная таблица уже удовлетворяет запретам: её нулевые клетки целые и дуг для добавок не получают. Дробный свидетель существования использует только исходную разрешённую опору.

Будет ли округление несмещённым?

Детерминированный минимум абсолютной ошибки не даёт такого обещания. Для несмещённого случайного округления нужна отдельная вероятностная конструкция, сохраняющая нужные клеточные ожидания.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • US Census: Controlled Rounding, §II

    Прочитан §II PDF-страниц 5–7: разложение по нижним частям и сведение двумерного округления к сети с нулевыми/единичными потоками; ограничения трёхмерного переноса проверены по введению. Собственный пример минимальной абсолютной ошибки.

Неполная таблица категорий: восстановление при известных шансах регистрации

Таблица зарегистрированных случаев может показывать связь, которой нет в целевой совокупности. Если вероятность попадания в запись известна для каждой клетки, сначала восстановим целевую массу, а затем проверим её структуру.

Перед началом: Условная вероятность; Точная арифметика.

Регистрация является отдельным экспериментом

Пусть целевые категории X,Y имеют совместные вероятности pᵢⱼ, а вероятность регистрации при данной паре равна sᵢⱼ>0. Условный закон среди зарегистрированных пропорционален pᵢⱼsᵢⱼ. Даже при независимых X и Y произведение двух предельных законов после отбора обычно не сохраняется. Случаи, которые не зарегистрированы, не являются наблюдаемыми нулями клетки: они отсутствуют из таблицы целиком. Это отличает пропуск от структурного запрета исхода.

Обращение известно только при положительных шансах

Для восстановления вычисляем qᵢⱼ/sᵢⱼ и нормируем все клетки общей суммой. Если наблюдаемая таблица дана счётчиками, можно аналогично использовать nᵢⱼ/sᵢⱼ: общий размер наблюдаемой выборки сокращается. Полученные дробные числа не являются буквально восстановленными людьми или событиями; это скорректированные массы модели. Если какой-то s равен нулю, соответствующая целевая клетка не идентифицируется только по зарегистрированным случаям. Очень малый положительный шанс математически обратим, но усиливает выборочную неопределённость.

Поправка не создаёт статистической гарантии

Равенство перекрёстных произведений скорректированной таблицы 2×2 проверяет независимость заданного модельного распределения. Для конечных случайных счётчиков нужен анализ ошибки с учётом схемы регистрации и того, как оценены s. Если шансы неизвестны, разные пары целевого закона и регистрации могут давать одну наблюдаемую таблицу. Нельзя выбрать удобные веса после просмотра связи и объявить их доказанным механизмом пропусков. В практической карточке отдельно сохраняют таблицу наблюдений, внешние сведения о шансах и результат поправки.

Разобранная задача

Условие. Зарегистрированные ожидаемые счётчики имеют строки (20,10) и (10,20). Шансы регистрации соответствующих клеток равны (1,1/2) и (1/2,1). Восстановите целевое распределение и сравните отношение шансов до и после поправки.

  1. В зарегистрированной таблице отношение шансов равно (20·20)/(10·10)=4, что отличается от единицы.
  2. Делим каждый счётчик на соответствующий шанс регистрации: получаем строки (20,20) и (20,20).
  3. Сумма скорректированных масс равна 80. После нормировки каждая из четырёх клеток имеет вероятность 1/4.
  4. Целевые поля обеих переменных равны (1/2,1/2), а произведения полей равны 1/4. Отношение шансов целевой таблицы равно единице.

Ответ. Заданный механизм регистрации превращает независимую равномерную целевую таблицу в наблюдаемую таблицу с отношением шансов 4.

Проверка. Прямое применение регистрации к четырём массам 1/4 даёт ненормированные значения 1/4,1/8,1/8,1/4. Нормировка на 3/4 воспроизводит доли 1/3,1/6,1/6,1/3 исходных шестидесяти записей.

Где легко ошибиться. Не записывайте пропущенную клетку как ноль наблюдаемой частоты. Ноль шанса регистрации означает отсутствие информации о её целевой массе, а не доказательство отсутствия такого исхода.

Проверьте понимание

Чему равно исправленное отношение шансов в примере?

Вопросы к этой главе

Достаточно ли знать общий процент пропусков?

Нет. Он не определяет относительные шансы четырёх клеток. Одно общее число допускает множество механизмов с разными целевыми зависимостями.

Что произойдёт при одинаковом s во всех клетках?

Поправка умножит все массы на один коэффициент, который сократится при нормировке. Наблюдаемое и целевое распределения тогда совпадут.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • CDC NHANES: Weighting

    Обратная вероятность включения как вес восстановления целевой совокупности при известном механизме отбора.

Групповые категории: почему обычный Pearson раздувается при общем эффекте

Сохранение ожидаемых частот не означает правильного масштаба случайных отклонений. Общие кластерные вероятности увеличивают ковариацию всего вектора счётчиков одним множителем. Он меняет среднее Пирсона и любого заранее заданного проецированного контраста; деление на него само по себе не создаёт точныйχ²-закон.

Перед началом: Мультиномиальная ковариация; Полная ковариация и линейный контраст.

Ожидания прежние, случайность сгруппирована

K независимых кластеров одинакового размера b. В каждом независимо выбирается Θ~Dirichlet(a₁,…,a_r), затем b категорий условно независимы при Θ. Все aᵢ>0; нулевые средние долиπᵢ=aᵢ/A известны.

Обозначим A=Σaᵢ,πᵢ=aᵢ/A,ρ=1/(A+1). Два различных наблюдения одного кластера имеют ковариационную матрицу индикаторовρ[diag(π)−ππᵀ]: одинаковая категория связана положительно, разные — отрицательно из-за общей суммы единица. Отдельное наблюдение сохраняет обычный категориальный законπ.

В счётчике одного кластера складываются b индивидуальных ковариаций и b(b−1) перекрёстных. Получаем Cov(C)=b d[diag(π)−ππᵀ], где d=1+(b−1)ρ. Для общей суммы O по K независимым кластерам и N=Kb ковариация равна N d[diag(π)−ππᵀ], а E O=Nπ. Повторение одних ожиданий поэтому не восстанавливает независимую мультиномиальную модель.

Геометрия контрастов показывает изменение масштаба

Пусть Z=diag(π)⁻¹/²(O−Nπ)/√N, а u имеет координаты√πᵢ. Тогда E Z=0 и Cov(Z)=d(I−uuᵀ). Вектор u единичный, а Z ортогонален ему из-за фиксированного общего счёта. Поэтому для известнойπ статистика Q=Σ(Oᵢ−Nπᵢ)²/(Nπᵢ) имеет точное среднее E Q=d(r−1).

Более общо, заранее заданная ортогональная проекция H с Hu=0 и рангом q даёт E||HZ||²=dq. Это следует из следа HCov(Z)H. Если поля таблицы оцениваются из тех же данных, реальная статистика становится другой: простую точную формулу для известнойπ нельзя объявить точным законом Pearson-проверки подогнанной независимости. Линеаризация такой модели требует отдельного обоснования.

Поправка среднего не равна полному распределительному выводу

Деление Q на d восстанавливает среднее r−1, но при малом числе кластеров распределение остаётся дискретным. Для приближенияχ² нужны дополнительные предельные условия, обычно рост числа независимых кластеров и корректная модель ковариации. Один большой кластер не заменяет большое число независимых повторов.

Параметрρ здесь общий для всех категорий, а размеры кластеров одинаковы. При разных размерах или нескольких видах зависимости единый множитель может исчезнуть. Потеря кластерных меток скрывает информацию о таких различиях; большая объединённая таблица не сообщает автоматически эффективное число независимых наблюдений.

Сто равновероятных пар кластерных таблиц

Условие. Два независимых кластера имеют b=3 и Θ~Dirichlet(1,1,1). Нулеваяπ=(1/3,1/3,1/3) известна. Найдите ковариацию общих счётчиков и E Q. Для наблюдённых кластеров(3,0,0) и(0,3,0) вычислите Q/d.

  1. A=3,ρ=1/4,d=1+2/4=3/2. Общий размер N=6, ожидаемые счёты равны(2,2,2).
  2. Cov(O)=6·(3/2)[diag(π)−ππᵀ]. Диагональ равна 2, все внедиагональные клетки−1; суммы каждой строки нулевые.
  3. Точное среднее Q равно d(r−1)=(3/2)·2=3. При ошибочной независимости ожидали бы 2.
  4. Наблюдённая сумма O=(3,3,0). Статистика Q=[(3−2)²+(3−2)²+(0−2)²]/2=3, поэтому Q/d=2. Это только значение статистики, не p-value.
  5. В одном кластере все 10 троек неотрицательных счётов с суммой 3 равновероятны по 1/10. Перебор 100 независимых пар даёт E Q=3. Для одного контраста W=(O₁−O₂)²/4 тот же перебор даёт E W=3/2, как у проекции ранга 1.

Ответ. Общая ковариация имеет диагональ 2 и остальные клетки−1. E Q=3; наблюдённое Q/d=2.

Проверка. Из ковариации прямо E Q=ΣVar(Oᵢ)/2=3. Независимый расчёт через равномерный закон 10 составов в каждом кластере даёт тот же второй момент. Для контраста Var(O₁−O₂)=2+2−2(−1)=6, откуда E W=6/4=3/2.

Где легко ошибиться. Не считайте Q/d точнойχ²-величиной только потому, что её среднее исправлено. Два независимых кластера остаются двумя повторениями, даже если в объединённой таблице много категориальных записей.

Проверьте понимание

Чему равно точное E Q для двух кластеров примера статьи при известных доляхπ?

Вопросы к этой главе

Почему разные категории имеют отрицательную ковариацию при общей среде?

Вектор вероятностей обязан суммироваться в единицу. Повышение одной доли уменьшает доступную массу других; условная мультиномиальная фиксированная сумма и случайный Dirichlet-вектор сохраняют отрицательные межкатегориальные связи.

Что происходит при b=1?

Двух наблюдений внутри кластера нет, d=1. Смешение одного категориального наблюдения оставляет обычный законπ, а независимость кластеров даёт стандартную мультиномиальную сумму.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • SciPy, dirichlet_multinomial: definition, covariance and examples

    Поддерживает модель случайного Dirichlet-вектора вероятностей и условного мультиномиального счётчика. Кластерная ковариация, её проекция и точные 100 пар малой задачи рассчитаны в главе отдельно.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться