Вероятность и статистика · объяснение и практика

Почему число свободных клеток меньше числа всех клеток

Почему фиксированные итоги уменьшают число независимо задаваемых клеток, как получить (r−1)(c−1) и что меняется при структурно невозможных сочетаниях.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Таблицы категорий и качество классификации · Учебная карта

В маршруте Категориальные таблицы и проверяемые связи · 10 тем

Главная мысль

У полной таблицы r×c с заданными итогами строк и столбцов свободны (r−1)(c−1) клеток. Последние строка и столбец восстанавливаются из итогов; структурные запреты требуют отдельной модели.

Оставшиеся клетки связаны балансом

Таблица имеет rc клеток, но значения нельзя менять независимо, если уже известны все строковые и столбцовые итоги. Можно задать верхний левый блок размера (r−1)×(c−1). Последнюю клетку каждой из этих строк найдём вычитанием из строкового итога, а последнюю строку — по столбцовым итогам.

Правый нижний угол согласуется автоматически, потому что сумма итогов строк и сумма итогов столбцов равны одному общему N. Из r+c ограничений одно избыточно. Поэтому размерность полного пространства допустимых изменений равна rc−r−c+1=(r−1)(c−1), если нет дополнительных ограничений, сужающих модель.

Таблица два на три оставляет два выбора

Пусть итоги строк равны 40 и 60, а столбцов — 20,30,50. Выберем в начале верхней строки числа 8 и 12. Остаток верхней строки равен двадцати. Нижняя строка затем вынужденно становится (12,18,30). Четыре оставшиеся клетки уже не могут независимо принимать произвольные значения.

Не всякий выбор свободного блока допустим для частот. Если поставить в верхнюю левую клетку 25 при первом столбцовом итоге 20, восстановленная нижняя клетка станет отрицательной. Поэтому число степеней свободы описывает независимые направления изменения, но не разрешает любой набор чисел в этих направлениях.

Пример

Почему в таблице два на два при известных итогах хватает одной клетки?

После выбора верхней левой частоты остальные три определяются вычитаниями. Два выбора могут оказаться невозможными из-за неотрицательности, но второго независимого параметра от этого не возникает.

Наблюдённый нуль не равен запрещённой клетке

Если сочетание допустимо, но в выборке не встретилось, это выборочный нуль: сама клетка остаётся частью полного пространства. Если же категория принципиально невозможна по устройству эксперимента, получаем структурный нуль. Тогда модель независимости и размерность допустимого пространства должны учитывать запрет, а стандартную формулу нельзя применять механически.

Для обычного χ²-теста независимости та же величина (r−1)(c−1) получается сравнением числа параметров насыщенной модели и модели предельных долей. Но парные наблюдения, оценка дополнительных параметров или исчезнувшие категории требуют проверить исходную постановку. Число нарисованных строк и столбцов само по себе не удостоверяет правильность модели распределения статистики.

От чтения к действию

А теперь — вы

Полная таблица имеет три строки и четыре столбца, положительные итоги и не имеет структурных запретов. Сколько степеней свободы в обычном тесте независимости?

Частые вопросы

Почему одно ограничение избыточно?

Общий итог, полученный сложением строк, уже равен общему итогу столбцов. Поэтому одно из этих равенств следует из остальных.

Уменьшает ли один случайный нуль степень свободы?

Не автоматически. Выборочный нуль не запрещает соответствующий исход; структурная невозможность, напротив, меняет пространство модели.

Углублённый разбор

Опорный двудольный граф: размерность таблицы через число независимых циклов

На неполной опоре число свободных направлений таблицы определяется циклами двудольного графа. Размер нарисованного прямоугольника уже не даёт правильного ответа.

Перед началом: Мультиномиальные частоты и фиксированные поля; Матрицы, условные вероятности и логарифмы.

Определение и постановка

Создайте вершину для каждой активной строки и каждого активного столбца, а ребро — для каждой разрешённой клетки. Пусть E — число рёбер, V — число вершин, c — число связных компонент этого графа.

Вывод и вычислительный критерий

При фиксированных полях каждое ребро несёт клеточное значение, а вершина задаёт сумму инцидентных рёбер. В каждой связной компоненте одна сумма строк равна сумме столбцов, поэтому одно уравнение избыточно. Ранг независимых балансов равен V−c. Размерность аффинного пространства равна E−V+c.

Графический смысл свободного направления — чередующаяся прибавка и убавка вдоль чётного цикла. В каждой затронутой вершине входят два изменяемых ребра с противоположными поправками, поэтому все поля сохраняются. Независимые циклы дают базис таких циркуляций.

На дереве циклов нет и согласованные значения восстанавливаются последовательно от листьев. Добавление одного ребра к связному дереву создаёт один независимый цикл и ровно одну степень свободы. Для полного двудольного графа формула возвращает rc−r−c+1, но её применение не ограничивается полной таблицей.

Доказательство ранга использует левое ядро. Сменим знаки всех строк, соответствующих столбцовым категориям: каждый столбец матрицы теперь имеет один плюс и один минус. Вектор из левого ядра обязан иметь одинаковые значения в концах каждого ребра, следовательно, постоянен на каждой связной компоненте. Обратно, любая такая покомпонентная константа лежит в ядре. Его размерность равна c, поэтому ранг равен V−c.

Условия и границы вывода

Размерность относится к области, где существует решение, положительное на всех объявленных разрешённых клетках. Если поля принудительно обнуляют часть рёбер, фактическая опора становится меньше и размерность допустимой грани может уменьшиться.

Разные компоненты должны отдельно иметь согласованные суммарные поля. Глобальный баланс всего графа не компенсирует избыток массы в одной компоненте нехваткой в другой.

Целочисленные таблицы образуют дискретное множество, а не вещественное пространство. Тем не менее размерность описывает число независимых вещественных параметров до ограничений неотрицательности; количество целых допустимых таблиц вычисляется отдельно. Поэтому ответ «одна степень свободы» не означает «всего одна допустимая таблица».

Разобранная задача

Условие. В таблице3×3 разрешены клетки11,12,22,23,33,31. Все строковые и столбцовые итоги равны2. Найдите размерность и все целочисленные таблицы.

  1. Шесть разрешённых клеток образуют один двудольный цикл из шести вершин; E=6,V=6,c=1.
  2. Размерность равна6−6+1=1. Назовём клетку11 параметром t.
  3. Баланс последовательно даёт строки (t,2−t,0),(0,t,2−t),(2−t,0,t).
  4. Неотрицательность требует0≤t≤2; целочисленные решения соответствуют t=0,1,2.

Ответ. Есть одно свободное направление и три целочисленные таблицы.

Проверка. Прямая подстановка параметризации сохраняет все шесть полей. Разность двух решений равна чередующемуся вектору вдоль единственного цикла, поэтому второго независимого направления нет.

Где легко ошибиться. Формула полной таблицы3×3 дала бы четыре степени свободы и проигнорировала три структурных запрета.

Проверьте понимание

Какова размерность согласованной таблицы на опоре связного дерева при положительном допустимом решении?

Вопросы к этой главе

Что меняет несвязность?

Каждая компонента добавляет собственную избыточность балансов и отдельное условие совместимости. Именно поэтому в формуле появляется число c, а не всегда единица.

Что означает край t=0?

Решение допустимо, но часть разрешённых клеток стала нулевой. Это точка границы однопараметрического множества, а не основание пересчитать всю исходную модель как полную таблицу.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • NetworkX: oriented incidence matrix

    Сверено определение ориентированной матрицы инцидентности с противоположными знаками в концах ребра. Формула ранга и размерность таблиц не приписываются документации: ниже дан собственный вывод через левое ядро.

Оценённый параметр: почему критерий теряет степень свободы

Оценивание параметра по тем же частотам расходует независимое направление отклонений. Для χ²-приближения важно считать размерность модели, а не только число ячеек.

Перед началом: Мультиномиальные частоты и фиксированные поля; Матрицы, условные вероятности и логарифмы.

Определение и постановка

В k-категорийной мультиномиальной таблице насыщенная модель имеет k−1 параметров из-за нормировки. Если нулевая модель содержит d независимо оцениваемых параметров, регулярное приближение обычно использует k−1−d степеней свободы.

Вывод и вычислительный критерий

Разность возникает потому, что подгонка выбирает наиболее подходящую точку внутри нулевой модели. Отклонения, направленные вдоль её касательных, частично объясняются изменением параметров, а не считаются независимой нехваткой модели.

Число d нельзя заменить количеством букв в формуле. Параметры должны быть различимы по наблюдениям и оценены подходящим регулярным способом. Дублирующиеся параметры, граничные значения и ограничения способны менять стандартное χ²-приближение.

Для Bin(2,p) три категории соответствуют нулю, одному и двум успехам. Нормировка оставляет два направления, но оценка общего p использует одно из них. Остаточная проверка формы имеет одну степень свободы. Если p был заранее известен независимо от этой выборки, обе свободные частотные координаты остаются доступными для проверки.

Условия и границы вывода

Потеря степени свободы не является штрафом за сложность выбранным по вкусу правилом. Она относится к распределению статистики при конкретной процедуре подгонки. Применение произвольной оценки вместо максимального правдоподобия не всегда сохраняет тот же результат.

Ожидаемые частоты должны быть вычислены при реально использованной оценке и иметь ту же общую сумму, что наблюдения. Нельзя сначала подогнать параметр, а затем выдать p-значение как для полностью заданного закона.

Даже верная размерность не исправляет слишком малые ожидаемые частоты. Сам конечный расчёт χ² корректен как сумма, но его асимптотическая интерпретация требует отдельных условий наблюдений и объёма.

Разобранная задача

Условие. Среди36 независимых наблюдений Bin(2,p) категории0,1,2 встретились по12раз. Оцените p максимальным правдоподобием, найдите ожидаемые частоты, χ² и число степеней свободы.

  1. Общее число успехов равно0·12+1·12+2·12=36 из72испытаний, поэтому p̂=1/2.
  2. Модельные вероятности равны1/4,1/2,1/4; ожидания равны9,18,9.
  3. Клеточные вклады равны(12−9)²/9=1,(12−18)²/18=2 и1. Сумма χ²=4.
  4. Категорий три, один параметр оценён по ним; число степеней свободы равно3−1−1=1.

Ответ. Получаем p̂=1/2, ожидания(9,18,9), χ²=4 и одну степень свободы.

Проверка. Остаточный вектор(3,−6,3) имеет нулевую сумму и нулевую взвешенную сумму0·3+1·(−6)+2·3. Эти два независимых ограничения оставляют одно направление среди трёх клеток.

Где легко ошибиться. Одинаковое численное p=1/2 имеет разный статус, когда оно заранее задано и когда получено из проверяемых наблюдений.

Проверьте понимание

Если 0<p<1 заранее известно и три вероятности Bin(2,p) полностью заданы, сколько остаётся обычных степеней свободы?

Вопросы к этой главе

Нужно ли уменьшать степени свободы за каждую промежуточную величину?

Нет. Средние, вероятности клеток и ожидания могут зависеть от одного общего оценённого параметра. Считается независимая размерность, а не число вычисленных чисел.

Почему здесь не нужны две оценки p?

Все наблюдения происходят из одного Bin(2,p). Разрешение разного p каждой категории уничтожило бы исходную модель и изменило задачу проверки.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • SciPy: power divergence

    Прочитаны определения степенного семейства, логарифмический вариант log-likelihood и поправка ddof к степеням свободы. Мультиномиальный вывод, биномиальная подгонка и граничные ограничения изложены самостоятельно.

Трёхфакторная таблица: взаимодействие третьего порядка

Совпадение всех попарных предельных таблиц ещё не определяет трёхфакторный закон. Для положительного бинарного массива сравним условные отношения шансов и выделим контраст, который исчезает ровно при отсутствии взаимодействия третьего порядка.

Перед началом: Условные вероятности и математическое ожидание; Частоты и поля таблицы.

Сравниваются две условные ассоциации

Пусть mᵢⱼₖ>0 — средние клеток для бинарных X,Y,Z. В слое Z=k условное отношение шансов X,Y равно θₖ=m₀₀ₖm₁₁ₖ/(m₀₁ₖm₁₀ₖ). Контраст Θ=θ₁/θ₀ сравнивает ассоциации двух слоёв. Он определён без знания общего масштаба частот, поскольку все множители нормировки сокращаются.

Раскрывая логарифм, получаем чередующуюся сумму восьми log m. Главные эффекты и все парные эффекты в ней сокращаются: каждый появляется одинаковое число раз со знаком плюс и минус. Поэтому в бинарной логлинейной модели без тройного взаимодействия Θ=1. На положительной опоре обратное тоже верно: этот единственный оставшийся контраст равен нулю.

Однородность не означает независимость

Модель однородной ассоциации содержит главные и все парные взаимодействия. Она допускает θ₀=θ₁, отличные от единицы. Условная независимость X,Y при каждом Z требует более сильного условия θ₀=θ₁=1. Полная независимость всех трёх переменных задаёт ещё больше ограничений. Эти вложенные гипотезы нельзя заменять друг другом.

При независимых пуассоновских клетках насыщенная положительная бинарная модель имеет восемь параметров средних, а модель без тройного взаимодействия — семь. После фиксации общей суммы обе размерности уменьшаются на один, разница остаётся единицей. Это число относится к сравнению моделей на полной положительной опоре; структурные запреты требуют нового анализа.

Предельные таблицы могут скрывать контраст

Суммирование по Z уничтожает часть информации о том, в каком слое встретилась пара X,Y. Можно получить независимые пары в каждом из трёх предельных двумерных распределений, сохранив сильную тройную зависимость. Поэтому независимость всех пар не доказывает совместную независимость, даже когда все восемь клеток строго положительны.

Если подставлены наблюдённые частоты, Θ является описательной выборочной величиной, а не готовым p-значением. Случайные нули делают логарифм неопределённым и требуют отдельного метода оценивания; произвольная прибавка половины меняет оценку. Для проверки модели нужны её подогнанные ожидания, схема выборки и корректно откалиброванный критерий.

Три независимые пары и зависимая тройка

Условие. В слое Z=0 стоят частоты ((4,2),(2,4)), в слое Z=1 — ((2,4),(4,2)). Рассмотрите нормированную таблицу как точно заданный положительный закон. Найдите Θ и проверьте все три попарных предельных распределения.

  1. Отношение шансов в нулевом слое равно 4·4/(2·2)=4. В первом слое оно равно 2·2/(4·4)=1/4.
  2. Контраст слоёв Θ=(1/4)/4=1/16. Он отличается от единицы, значит закон не лежит в положительной модели однородной ассоциации.
  3. После сложения слоёв таблица XY состоит из четырёх шестёрок. Для XZ и YZ каждая клетка также равна шести: каждая строка и каждый столбец любого слоя имеют итог шесть.
  4. Общий объём равен 24, поэтому каждая попарная клетка имеет вероятность 1/4. Все три пары независимы, но совместная независимость дала бы восемь равных клеток по три, чего здесь нет.

Ответ. Θ=1/16; все три попарных предельных закона независимы, однако тройное взаимодействие ненулевое.

Проверка. Прямой восьмиклеточный контраст даёт (2·2·2·2)/(4·4·4·4)=1/16. Отдельное суммирование по каждой из трёх координат подтверждает одинаковые попарные массы.

Где легко ошибиться. Слова «нет тройного взаимодействия» относятся к выбранной логлинейной шкале. Они не означают, что любая третья переменная не влияет на вероятность, и не следуют из трёх маргинальных тестов независимости.

Проверьте понимание

Чему равен Θ=θ₁/θ₀ для двух указанных слоёв?

Вопросы к этой главе

Может ли Θ=1 сочетаться со связью X и Y?

Да: одинаковое неединичное отношение шансов в двух слоях даёт однородную условную связь. Отсутствует изменение ассоциации между слоями, а не сама ассоциация.

Что произойдёт при перестановке уровней Z?

Числитель и знаменатель поменяются местами: Θ станет 1/Θ. Утверждение Θ=1 сохранится, но знак логарифмического контраста изменится.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Penn State STAT504 §5.3.6: homogeneous association

    Прочитан индексированный первичный университетский §5.3.6: одинаковые условные odds ratios и отличие от условной независимости; прямой HTML дал timeout. Собственный положительный восьмиклеточный закон и контраст выведены отдельно.

Порядковые баллы категорий: направленный тест линейной связи

Порядок категорий позволяет заранее выбрать направленный контраст вместо общего поиска любой ассоциации. Разберём корреляционный счёт по числовым баллам, его точную перестановочную дисперсию и границу инвариантности при изменении шкалы.

Перед началом: Условные вероятности и математическое ожидание; Частоты и поля таблицы.

Баллы являются частью гипотезы

Присвоим строковым категориям фиксированные баллы xᵢ, столбцовым — yⱼ. По частотам таблицы вычислим средние x̄,ȳ и суммы Sxx=Σnᵢⱼ(xᵢ−x̄)², Syy аналогично, Sxy=Σnᵢⱼ(xᵢ−x̄)(yⱼ−ȳ). При ненулевых Sxx,Syy выборочная корреляция баллов равна r=Sxy/√(SxxSyy).

Баллы нужно задать по содержанию до анализа исходов. Числа 0,1,2 предполагают равные промежутки на выбранной рабочей шкале; один лишь порядок категорий этого не доказывает. Подбор расстояний между баллами ради максимального полученного r создаёт процедуру выбора, которой не соответствует обычная калибровка одного заранее фиксированного контраста.

Условная перестановка даёт дисперсию

Зафиксируем два набора индивидуальных баллов и случайно переставим один относительно другого. Центрированные суммы каждого набора нулевые. Тогда E(Sxy)=0, а Var(Sxy)=SxxSyy/(N−1): диагональные члены учитывают собственные квадраты, внедиагональные — отрицательную связь перестановки без возврата. Поэтому стандартизованный квадрат равен M²=(N−1)r².

В подходящем большомасштабном режиме используют приближение χ² с одной степенью свободы. Для малого N можно перебрать все перестановки, сохранив повторяющиеся баллы с правильными кратностями, и получить точный хвост. Численное совпадение определённой статистики с формулой M² не удостоверяет точность её асимптотического p-значения.

Какие преобразования сохраняют тест

Сдвиг или положительное умножение всех баллов одной переменной не меняет r и M²: центрирование убирает сдвиг, масштаб сокращается. Умножение на отрицательное число меняет знак направленного r, но сохраняет квадрат. Нелинейная замена баллов при том же порядке в общем случае меняет величину теста.

Один корреляционный контраст плохо обнаруживает немонотонную связь. Например, средние значения отклика могут быть одинаковыми на краях и другими в центре; общий Pearson χ² заметит различие профилей, а линейный счёт способен обнулиться. Нельзя трактовать его маленькое значение как доказательство отсутствия любой зависимости между исходными категориями.

Шесть записей с порядковыми баллами

Условие. Таблица строк с баллами x=(0,1,2) и столбцов y=(0,1) равна ((2,0),(1,1),(0,2)). Найдите M² и точный односторонний перестановочный хвост положительного счёта при фиксированных полях.

  1. Всего N=6, x̄=1,ȳ=1/2. По шести индивидуальным записям Sxx=4,Syy=3/2,Sxy=2, поэтому r²=2/3.
  2. Квадрат стандартизованного счёта равен (6−1)(2/3)=10/3. Эквивалентно сумма x среди трёх единиц y равна пяти при нулевом ожидании три.
  3. Перестановка выбирает три положительные позиции из шести: имеется C(6,3)=20 равновероятных наборов. Набрать сумму не меньше пяти можно только баллами 1,2,2.
  4. Два наблюдения имеют балл один, поэтому таких наборов ровно два. Точный односторонний хвост равен 2/20=1/10. Это отдельный результат полного перечисления, а не хвост χ².

Ответ. M²=10/3, точная односторонняя условная вероятность составляет 1/10.

Проверка. Конечный перебор двадцати троек даёт среднее суммы три и дисперсию 6/5. Отсюда квадрат (5−3)²/(6/5)=10/3 независимо подтверждает расчёт через корреляцию.

Где легко ошибиться. Формула M² не является общей заменой Pearson χ². Она проверяет направление выбранных баллов, имеет другую степень свободы и может пропустить ассоциацию, ортогональную этому направлению.

Проверьте понимание

Каково M² для указанных заранее заданных баллов и частот?

Вопросы к этой главе

Нужно ли кодировать категории подряд?

Нет. Баллы должны отражать выбранную направленную альтернативу. Например, реальные дозы могут иметь неравные интервалы. Изменение этих интервалов меняет вопрос и обычно результат.

Почему нельзя забыть повторяющиеся баллы при переборе?

Позиции людей различимы, даже если их баллы совпадают. Суммы имеют разные кратности; равномерное перечисление только различных сумм дало бы неверное условное распределение.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Penn State STAT504 §4.4: Mantel–Haenszel linear trend

    Вебом прочитан индексированный университетский §4.4: фиксированные баллы, M²=(N−1)r² и асимптотическая одна степень свободы. Прямой HTML недоступен по timeout; собственный точный хвост проверен всеми двадцатью наборами.

Вложенные логлинейные модели: разность размерностей вместо числа клеток

В таблице несколько гипотез могут накладывать разные ограничения на один набор положительных вероятностей. Для вложенного сравнения важна разность размерностей двух моделей, а не только число строк и столбцов.

Перед началом: Условная вероятность; Точная арифметика.

Вероятности живут на симплексе

У таблицы 2×2 с положительными клетками четыре вероятности и одно условие суммы, поэтому насыщенная модель имеет размерность три. Независимость задаётся произведением двух бинарных предельных законов и имеет два свободных параметра. Если дополнительно известно, что первая переменная равновероятна, независимая модель сохраняет только один параметр второй переменной. Эти ограничения описывают разные научные вопросы, хотя физически таблица не меняется.

Сравнение использует максимум каждой модели

Для мультиномиального наблюдения логарифм правдоподобия равен константе плюс ΣOᵢⱼlog pᵢⱼ. Каждую вложенную модель сначала подгоняют отдельно. Статистика отношения правдоподобий равна двум разности максимальных логарифмов, или сумме 2Olog(O/E) при сравнении с насыщенной моделью. Большая выборка и внутренние регулярные параметры позволяют использовать асимптотическую χ² с разностью размерностей. Граничные вероятности, структурные нули и неидентифицируемость нарушают такую простую подстановку.

Разложение меняет содержание частей

Если M₀ вложена в M₁, а M₁ в насыщенную M₂, разность логарифмов M₂−M₀ точно складывается из M₂−M₁ и M₁−M₀. Это алгебраическое равенство, а не автоматическая независимость статистик в любой конечной выборке. Первый компонент может проверять связь при свободных полях, второй — дополнительное условие на поле. Сохранять названия моделей полезнее, чем называть оба компонента просто проверкой таблицы.

Разобранная задача

Условие. Даны счётчики (30,30;20,20). Сравните насыщенную модель M₂, независимую M₁ и независимую M₀ с заранее заданным равным полем строк. Найдите подгонки и степени свободы двух последовательных сравнений.

  1. Общий размер 100, поля строк 60 и 40, поля столбцов по 50. Насыщенная подгонка совпадает с исходной таблицей.
  2. При независимости Eᵢⱼ=строковый итог·столбцовый итог/100, поэтому M₁ также даёт (30,30;20,20). Компонент связи равен нулю.
  3. В M₀ поле строк задано как (1/2,1/2), а столбцовое оценивается как (1/2,1/2). Каждая ожидаемая клетка равна 25.
  4. Размерности M₂,M₁,M₀ равны 3,2,1. Каждое последовательное сравнение имеет одну степень свободы, полное — две. Дополнительная статистика равна 2[60log(6/5)+40log(4/5)].

Ответ. Независимость полностью согласована с пропорциями наблюдений. Дополнительное условие равных строк даёт положительную статистику около 4,0271; полное сравнение имеет две степени свободы.

Проверка. Можно забыть столбцы и прямо проверить биномиальное поле строк 60 против 40 при вероятности половина: биномиальный log-likelihood ratio даёт ровно тот же дополнительный компонент. Это независимо подтверждает смысл ограничения.

Где легко ошибиться. Один и тот же положительный результат для ограничения поля не означает обнаруженной связи переменных: здесь независимая подгонка совпадает с таблицей в точности, а нарушено только равенство строковых вероятностей.

Проверьте понимание

Что проверяет положительный компонент M₁ против M₀ в примере?

Вопросы к этой главе

Почему сумма статистик точна, а χ² лишь приближённа?

Разность трёх вещественных логарифмов телескопируется алгебраически. Распределение этих случайных разностей требует предельной теории и условий регулярности.

Всегда ли можно взять число клеток минус число параметров?

Сначала надо определить пространство допустимых вероятностей и независимые ограничения. Структурные запреты и совпадающие параметры способны изменить размерность и регулярность.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

Условная независимость на цепочке: MLE из кликов и разделителя

В цепочке A—B—C достаточно сохранить поля AB и BC. Деление произведения их частот на итог среднего слоя даёт максимальное правдоподобие без итераций. Эта модель допускает связь A,C после забывания B и отличается от полной независимости и отсутствия только тройного взаимодействия.

Перед началом: Мультиномиальное правдоподобие; Условная независимость и предельные таблицы.

Средняя переменная разделяет два условных закона

Положительная трёхфакторная таблица A,B,C с мультиномиальной схемой и заданным общим N. Модель требует A независимо от C при каждом B; структурных запретов нет.

Обозначим nᵢⱼₖ наблюдённые частоты, где j относится к B. Модель записывается pᵢⱼₖ=p_B(j)p_A|B(i|j)p_C|B(k|j). При фиксированном B две крайние переменные независимы, но обе могут сильно зависеть от B. Поэтому отсутствие ребра AC означает условную, а не обязательно маргинальную независимость.

Граф имеет клики AB и BC с общим сепаратором B. Если просто перемножить две кликовые вероятности, общая вероятность B будет посчитана дважды. Деление на p_B восстанавливает совместную нормировку. В терминах условных вероятностей эта компенсация уже встроена в факторизацию.

Логарифм правдоподобия распадается на отдельные максимумы

После подстановки факторизации логарифм равенΣⱼn₊ⱼ₊log p_B(j)+Σᵢⱼnᵢⱼ₊log p_A|B(i|j)+Σⱼₖn₊ⱼₖlog p_C|B(k|j), с точностью до постоянной. Каждая группа параметров имеет собственное условие суммы единица и не ограничивает другие. Множители Лагранжа или неравенство для логарифма дают эмпирические доли как единственный внутренний максимум при положительных частотах.

Следовательно, p̂ᵢⱼₖ=(n₊ⱼ₊/N)(nᵢⱼ₊/n₊ⱼ₊)(n₊ⱼₖ/n₊ⱼ₊), а ожидаемый счёт m̂ᵢⱼₖ=nᵢⱼ₊n₊ⱼₖ/n₊ⱼ₊. Знаменатель — итог конкретного слоя B, а не общий N. Сумма по k возвращает поле AB, по i — поле BC. Эти проверки удостоверяют согласованность закрытой формулы.

Размерность и условие положительности имеют содержательный смысл

При числах уровней I,J,K свободны J−1 вероятностей B, J(I−1) условных вероятностей A и J(K−1) вероятностей C. Размерность равна J−1+J(I−1)+J(K−1). Насыщенный закон имеет IJK−1 параметров, разность составляет J(I−1)(K−1). Для бинарных переменных это две условные ассоциации, которые модель запрещает по одной в каждом слое.

Это сильнее, чем отсутствие лишь тройного взаимодействия: последнее допускает одинаковые неединичные условные отношения шансов. При пустом слое B его условные законы не идентифицируются, и буквальная формула делит на ноль. Тогда нулевую массу слоя отделяют, а для тестирования проверяют граничную постановку. Структурные запреты также требуют новой опоры. Здесь выбран положительный пример, чтобы эти разные вопросы не скрывались за одним числом степеней свободы.

Подгонка двух кликовых полей

Условие. В слое B=0 таблица A×C равна((10,2),(2,2)), в слое B=1 —((2,2),(2,10)). Найдите максимальные ожидаемые частоты в модели A⊥C|B и размерность.

  1. В каждом слое итог 16, общий N=32. В B=0 поля A и C равны(12,4), в B=1 оба поля(4,12).
  2. Для B=0 произведения полей, делённые на 16, дают((9,3),(3,1)). Для B=1 получаем((1,3),(3,9)).
  3. Строковые и столбцовые итоги каждой подгонки совпадают с исходными. Оба условных отношения шансов равны 1: 9·1/(3·3)=1 и 1·9/(3·3)=1.
  4. После сложения подгонок поле AC равно((10,6),(6,10)) с отношением шансов 25/9. Условная независимость не потребовала независимости крайних переменных в общей смеси.
  5. Размерность модели 1+2+2=5, насыщенной 7. Разность 2 соответствует двум ограничениям условной ассоциации при фиксированном общем размере.

Ответ. Подгонки слоёв((9,3),(3,1)) и((1,3),(3,9)); размерность 5, разность с насыщенной моделью 2.

Проверка. Отдельная оценка условных долей даёт p̂_B=1/2, в первом слое обе вероятности нулевого уровня 3/4, во втором 1/4. Умножение этих трёх вероятностных факторов на 32 возвращает все восемь ожидаемых частот без формулы кликовых счётчиков.

Где легко ошибиться. Деление на общий N вместо итога B в закрытой формуле вдвое уменьшило бы каждый слой этого примера и нарушило сохранение обоих кликовых полей.

Проверьте понимание

Какова подогнанная клетка A=0,C=0 при B=0 в разобранном примере статьи?

Вопросы к этой главе

Зачем нужны итерации, если здесь есть точная формула?

Для данной разложимой цепочки они не нужны. В более сложном неразложимом графе те же поля могут потребовать итеративной подгонки; нельзя переносить простое произведение двух клик на произвольный цикл.

Можно ли по маргинальному AC отвергнуть именно условную независимость?

Нет. Подогнанный пример уже имеет маргинальное отношение 25/9 при точной условной независимости. Для поставленной модели нужны исходные слои B, а не только объединённая таблица.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Robin Evans, Oxford Graphical Models, §4.5

    Поддерживает кликово-сепараторное разложение и максимизацию правдоподобия по эмпирическим условным полям. Для цепочки трёх переменных здесь выписаны все параметры и самостоятельно проверены восемь ожидаемых частот.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться