Вероятность и статистика · объяснение и практика

Достаточная статистика сохраняет информацию модели, но не исходный порядок данных

Установить достаточность статистики факторизацией правдоподобия и различить информационное сжатие относительно параметра и восстановление исходной выборки.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Оценивание и проверка гипотез: углубление · Учебная карта

Главная мысль

В доминированной статистической модели факторизация плотности в произведение параметрической функции статистики и непараметрического множителя даёт критерий достаточности. Условное распределение данных при известной статистике не зависит от параметра.

Метод и постановка

Сначала закрепите семейство распределений и неизвестный параметр. Статистика не бывает достаточной сама по себе, вне модели: сумма может сохранять информацию об одном параметре и терять её о другом. Затем запишите совместную плотность или вероятность всей выборки, включая область допустимых значений. Поддержка, зависящая от параметра, тоже является частью правдоподобия.

Попытайтесь представить правдоподобие как gθ(T(x))h(x), где h не зависит от θ. Все места появления параметра должны проходить через T. Если в остатке осталась индикаторная функция с неизвестной границей, факторизация ещё не завершена. Проверка по одной лишь экспоненте или одному степенному множителю могла бы пропустить существенную информацию.

Проверка и границы вывода

Достаточность не означает возможность восстановить исходную последовательность. Множество разных выборок может давать одно значение T. Условное распределение внутри такого слоя остаётся случайным, но его закон не сообщает дополнительной информации о параметре. Это и есть конкретный смысл сохранения информации в данной модели.

Различайте достаточность, минимальную достаточность, полноту и несмещённость оценок. Факторизация проверяет первое свойство; остальные требуют самостоятельных аргументов. В частности, статистика, содержащая все данные, всегда достаточна, но может вообще не сжимать запись. Добавление лишних параметрически ненужных координат тоже не уничтожает достаточность. Поэтому полезный отчёт указывает не только факт достаточности, но и какие данные сознательно выбрасываются и почему их условный закон не зависит от неизвестного параметра.

Пример

Для пяти независимых испытаний Бернулли правдоподобие конкретного двоичного вектора равно p^t(1−p)^(5−t), где t — число единиц. Все векторы с t=2 имеют одинаковую вероятность; их десять, и условная вероятность каждого равна 1/10.

Условный порядок успехов при известной сумме не зависит от p. Поэтому сумма достаточна для p, хотя не позволяет узнать, были успехи в первых двух позициях или, например, в первой и последней.

От чтения к действию

А теперь — вы

В модели Бернулли известна сумма успехов. Можно ли по достаточности восстановить исходный порядок?

Частые вопросы

Статистика всех данных достаточна?

Да, однако такой выбор не обеспечивает полезного сжатия.

Достаточность автоматически даёт несмещённую оценку?

Нет. Это свойство информации модели, а несмещённость относится к среднему конкретной оценочной функции.

Углублённый разбор

Минимальная достаточность через отношение правдоподобий

Минимальная достаточность требует сохранять ровно те различия выборок, которые меняют форму правдоподобия. Проверка пропорциональности учитывает и параметрическую опору.

Перед началом: Правдоподобие и условное ожидание; Статистический риск, уровень и мощность теста.

Определение и постановка

В доминируемом семействе сравнивают функции Lθ(x),Lθ(y). Если они пропорциональны с положительным множителем, не зависящим отθ, такие выборки могут принадлежать одному информационному слою минимальной достаточной статистики.

Вывод и вычислительный критерий

Для независимой выборки из Uniform[0,θ], θ>0, плотность равнаθ⁻ⁿ при всех наблюдениях между нулём иθ и нулю иначе. После фиксации неотрицательных данных вся зависимость опоры отθ проходит через максимум M=maxXᵢ.

Две выборки с одинаковым M имеют одинаковую функцию правдоподобия. При разных максимумах M₁<M₂ можно выбратьθ между ними: первая выборка имеет положительную плотность, вторая нулевую. При достаточно большомθ обе положительны. Единого положительного коэффициента пропорциональности для всехθ нет.

Поэтому любой достаточный информационный слой обязан различать разные максимумы, а сам максимум уже достаточен по факторизации. Он является минимальным: дальнейшее склеивание его разных значений теряет сведения о допустимом диапазонеθ.

Условия и границы вывода

Нельзя сравнивать только общую положительную часть плотностей и забывать индикатор опоры. На пересеченииθ≥max(M₁,M₂) обе функции действительно равныθ⁻ⁿ, но различие возникает ниже большего максимума. Именно там находится потерянная информация.

Минимальность не означает возможность восстановить исходный порядок или каждое наблюдение. Все точки внутри общего верхнего предела могут меняться, оставляя ту же функцию правдоподобия.

Также минимальная достаточная статистика не обязана быть несмещённой оценкойθ или иметь минимальную дисперсию как число. Это информационное свойство семейства. Взаимно однозначная функция M сохраняет минимальную достаточность, хотя её численная шкала и среднее могут измениться.

Условия сравнения носителей важнее формального сокращения множителя θ⁻ⁿ. Для двух максимумов a<b существует параметр между ними, при котором одна выборка допустима, а другая нет. Когда максимумы совпадают, индикаторы меняются одновременно при всех θ; именно это отделяет классы эквивалентности правдоподобий.

Разобранная задача

Условие. Для двух наблюдений сравните выборкиA=(1,3), B=(2,3), C=(2,4) из Uniform[0,θ]. Какие пары могут иметь одинаковое минимальное достаточное значение?

  1. МаксимумыA иB равны3, максимумC равен4.
  2. ДляA иB правдоподобия одинаковы:θ⁻² приθ≥3 и ноль ниже3.
  3. Приθ=7/2 выборкиA,B допустимы, ноC невозможна. Приθ=5 все три имеют плотность1/25.
  4. Следовательно,A иB объединяются в слойM=3, аC должна остаться в другом слоеM=4.

Ответ. Минимальное достаточное значение — максимум: A иB совпадают, C отличается.

Проверка. Факторизация Lθ=θ⁻²1{θ≥M} даёт достаточность. Нулевая против положительной плотности приθ=7/2 отдельно доказывает невозможность объединить разные максимумы.

Где легко ошибиться. Отношение правдоподобий на одной общей области положительности не заменяет проверку всех параметрически возможных областей.

Проверьте понимание

Какая часть правдоподобия здесь несёт сведения, кроме множителяθ⁻ⁿ?

Вопросы к этой главе

Почему сумма не заменяет максимум здесь?

Разные максимумы могут иметь одну сумму и при этом задавать разные нижние границы допустимогоθ. Например,(1,4) и(2,3) имеют сумму5, но различную опору правдоподобия.

Нужно ли сохранять позицию максимума?

Нет. Перестановка независимых одинаково распределённых наблюдений не меняет плотность. Дляθ достаточно самого наибольшего значения, а не его номера.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Berkeley Stat210A: minimal sufficiency

    В разделе Minimal sufficiency прочитаны критерий отношения правдоподобий и его доказательство. Носитель равномерной модели и сравнение трёх собственных выборок проверены при разных значениях параметра.

Анциллярная статистика: распределение без неизвестного параметра

Анциллярная статистика имеет закон, не зависящий от неизвестного параметра. Это не означает, что её наблюдённое значение бесполезно для всей условной структуры данных.

Перед началом: Правдоподобие и условное ожидание; Статистический риск, уровень и мощность теста.

Определение и постановка

Пусть X₁,X₂ независимы и равномерны на[θ,θ+1], где неизвестен только сдвигθ. Разность D=|X₁−X₂| не меняется при общем переносе обеих координат.

Вывод и вычислительный критерий

Запишем Xᵢ=θ+Uᵢ с независимыми Uniform[0,1]. Тогда D=|U₁−U₂|, и его распределение не содержитθ. На единичном квадрате событие D>h образует два угловых треугольника общей площади(1−h)² для0≤h≤1.

Поэтому P(D≤h)=2h−h², а плотность равна2(1−h). Это прямой геометрический сертификат параметрической свободности, без подстановки оценкиθ.

Тем не менее D определяет длину интервала допустимых сдвигов после наблюдения всей пары. Условиеθ≤minX иθ≥maxX−1 оставляет интервал длины1−D. Большое расстояние между точками сужает возможный диапазон сдвига, хотя маргинальный закон самого D не зависит отθ.

Условия и границы вывода

Анциллярность определяется относительно конкретного семейства. Если неизвестна также ширина интервалаσ, разность превращается вσ|U₁−U₂| и её закон зависит отσ. Прежняя статистика уже не анциллярна относительно полного двухпараметрического семейства.

Нельзя автоматически заключить независимость D от любой оценкиθ. Параметрически свободный маргинальный закон и независимость двух статистик являются разными свойствами. Для специальных выводов нужны дополнительные теоремы и их условия.

Сама D не является достаточной для сдвига: общий перенос пары меняет сведения оθ, сохраняя расстояние. Поэтому достаточно сохранить разность для вопроса о рассеянии двух точек, но недостаточно для восстановления всей информации о расположении интервала.

Ширина допустимого интервала 1−D является случайной, но её распределение одинаково при каждом сдвиге. Это согласуется с анциллярностью: случайная информативность формы наблюдённой области не превращает D в самостоятельную оценку местоположения. Для одинакового D можно перенести обе точки произвольно далеко и получить другой допустимый интервал θ.

Разобранная задача

Условие. Для модели Uniform[θ,θ+1] найдите P(D≤1/2). Если наблюдены3 и7/2, выпишите диапазонθ и его длину.

  1. Параметрθ сокращается в D=|U₁−U₂|, поэтому можно считать площадь на единичном квадрате.
  2. Два треугольника D>1/2 имеют общую площадь(1/2)²=1/4; искомая вероятность3/4.
  3. Для наблюдений3 и7/2 нижняя границаθ равна7/2−1=5/2, верхняя равна3.
  4. Допустимый интервал[5/2,3] имеет длину1/2, равную1−D.

Ответ. P(D≤1/2)=3/4; по данной пареθ лежит в[5/2,3].

Проверка. Перенос обеих наблюдённых точек на любое число оставляет D=1/2, но переносит весь интервал допустимыхθ на то же число. Это независимо показывает параметрическую свободность D и её недостаточность для сдвига.

Где легко ошибиться. Отсутствие параметра в законе статистики не означает её независимость от всех остальных характеристик выборки.

Проверьте понимание

В каком семействе D=|X₁−X₂| из примера имеет параметрически свободный закон?

Вопросы к этой главе

Можно ли по одному D определитьθ?

Нет. Расстояние инвариантно к общему переносу. Две пары в совершенно разных местах прямой могут иметь одинаковую D и разные допустимые интервалыθ.

Почему известная ширина важна?

Она задаёт единичный геометрический масштаб. При неизвестной ширине распределение самой разности растягивается, поэтому зависит от дополнительного параметра.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Berkeley Stat210A: completeness and ancillarity

    Прочитаны определения полноты и анциллярности, отдельно условия теоремы Basu. В главе не используется необоснованная независимость: инвариантность размаха и его распределение выведены прямой геометрией.

Зависящая от параметра поддержка: достаточность максимума выборки

В равномерной модели с неизвестной правой границей вся информация о границе сосредоточена в максимуме. Этот пример показывает, почему индикатор поддержки является частью правдоподобия, а не несущественной пометкой.

Перед началом: Условная вероятность; Точная арифметика.

Параметр определяет допустимость всей записи

Пусть X₁,…,Xₙ независимы и равномерны на [0,θ], где θ>0 неизвестно. Совместная плотность равна θ^(−n)·1{0≤minXi, maxXi≤θ}. Для фиксированных неотрицательных данных она зависит от θ через максимум M. Условие θ≥M нельзя удалить: кандидат θ меньше наблюдённого значения имеет нулевую вероятность плотности записи. Простое дифференцирование θ^(−n) без этой границы дало бы бессмысленный максимум у нуля.

Достаточность не является восстановлением порядка

Факторизация отделяет множитель θ^(−n)1{M≤θ} от индикатора неотрицательности данных, поэтому M достаточен для θ. Она не утверждает, что остальные наблюдения детерминированы максимумом. При заданном M распределение относительных внутренних положений не содержит θ. Это возможно несмотря на зависимость поддержки от параметра. Регулярные формулы, требующие обмена производной и интеграла по одной фиксированной области, здесь могут не работать в привычном виде.

Распределение максимума даёт собственные проверки

Для 0≤m≤θ имеем P(M≤m)=(m/θ)ⁿ, поскольку каждое наблюдение должно попасть в начальный отрезок. Плотность максимума равна nm^(n−1)/θⁿ. Интегрирование даёт EM=nθ/(n+1), поэтому сам максимум смещён вниз, а (n+1)M/n несмещён. Максимальное правдоподобие выбирает θ̂=M, поскольку при θ≥M функция убывает. Свойства достаточности, несмещённости и максимума правдоподобия здесь различаются и не должны подменять друг друга.

Разобранная задача

Условие. При n=3 наблюдены значения 1,2,4. Найдите достаточную статистику, оценку максимального правдоподобия и исправленную несмещённую оценку θ. Сравните кандидатов θ=3 и θ=5.

  1. Максимум M=4. Любой θ<4 несовместим с наблюдённым значением четыре, поэтому кандидат θ=3 имеет нулевое правдоподобие.
  2. Для θ≥4 правдоподобие пропорционально θ^(−3), оно убывает. Максимум достигается на граничном θ̂=4.
  3. Среднее M в модели равно 3θ/4. Поэтому несмещённая поправка даёт (4/3)M=16/3.
  4. При θ=5 плотность наблюдённой записи равна 1/125, а при θ=4 — 1/64. Положительные значения согласуются с допустимой поддержкой.

Ответ. Достаточная статистика и MLE равны четырём; несмещённая оценка равна 16/3. Кандидат три исключается поддержкой, а не малым гладким значением плотности.

Проверка. Прямое интегрирование E(M/θ)=∫₀¹u·3u²du=3/4 подтверждает поправку. Перестановка исходных трёх наблюдений не меняет ни максимум, ни правдоподобие, проверяя роль порядка.

Где легко ошибиться. Нельзя искать стационарную точку только гладкой части и забывать, что область θ≥M зависит от данных. Максимум здесь граничный, поэтому уравнение нулевой производной не является необходимым способом его нахождения.

Проверьте понимание

Какое значение имеет правдоподобие θ=3?

Вопросы к этой главе

Обязан ли достаточный максимум быть несмещённым?

Нет. Достаточность означает сохранение информации в заданной модели, а смещение описывает его среднее при повторениях. Здесь они явно расходятся.

Почему минимум не нужен в факторизации?

Нижняя граница равна известному нулю. Минимум проверяет допустимость данных относительно фиксированной области, но не несёт дополнительного ограничения на неизвестную верхнюю границу.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Will Fithian, Berkeley Stat 210A, Sufficiency

    Факторизация правдоподобия с параметрической поддержкой и достаточность максимума равномерной выборки.

Полнота на конечной сетке параметров: ранг вместо открытого интервала

Сужение параметрического множества сохраняет достаточность суммы, но может разрушить полноту. Для внутренней конечной биномиальной сетки граница проходит через n+1 различных значений p. При двух точках и n=2 нулевая по ожиданию функция даёт разные несмещённые оценки и противоположные локальные улучшения дисперсии.

Перед началом: Полнота и достаточность статистики; Полином и число его корней.

Полнота зависит от того, при каких параметрах проверяют нуль

S~Bin(n,p), n≥1 известно. Параметр разрешён лишь на непустой конечной сетке различных значений строго внутри(0,1), поэтому все значения S=0,…,n имеют положительную массу.

Равенство Eₚg(S)=0 является одним линейным ограничением на n+1 чисел g(0),…,g(n) при каждом разрешённом p. Если параметр изменяется на интервале, полиномиальное тождество заставляет все коэффициенты исчезнуть. Но после сужения до конечной сетки требуется нулевое ожидание только в её точках. Условия стали слабее, хотя распределения отдельных испытаний не изменились.

Достаточность суммы сохраняется по прежней факторизации. Полнота требует отдельной проверки, и смешивать эти свойства нельзя. Внутренние параметры важны: здесь каждый возможный счёт наблюдаем с положительной вероятностью. Для сетки, состоящей только из крайних p=0,1, объединённая опора иная; сформулированный далее критерий на неё не переносится.

Число точек точно определяет ранг ограничений

Запишем G(p)=Σₖg(k)C(n,k)pᵏ(1−p)ⁿ⁻ᵏ. Это полином степени не выше n. Если различных разрешённых точек не меньше n+1, нулевые значения во всех них вынуждают G≡0. Многочлены Bernstein C(n,k)pᵏ(1−p)ⁿ⁻ᵏ образуют базис пространства степеней≤n, поэтому g(k)=0 для каждого k. Получена полнота даже без целого интервала параметров.

Если точек r≤n, ненулевой полином ∏ⱼ₌₁ʳ(p−pⱼ) имеет степень≤n и обращается в ноль во всей сетке. Разложение по тому же базису даёт ненулевой вектор g с нулевым ожиданием при каждом допустимом p. Поскольку вся опора положительна, он не равен нулю почти наверное. Следовательно, критерий «не менее n+1» является необходимым и достаточным в заявленной внутренней модели.

Потеря полноты меняет задачу выбора оценки

Если δ(S) несмещённа для некоторой цели, то δ(S)+tg(S) тоже несмещённа при любом постоянном t. Их дисперсии отличаются на 2tCovₚ(δ,g)+t²Varₚg. Один и тот же t может улучшать дисперсию в одной разрешённой точке и ухудшать в другой. Достаточность сама не обещает единственную лучшую функцию S.

Конечную задачу удобно проверять матрицей вероятностей: её строки соответствуют параметрам, столбцы — значениям S. Полнота означает нулевое ядро этой матрицы. Добавление новой отличной точки способно убрать ядро, а повторное добавление той же строки не создаёт нового ограничения. Это не увеличение объёма наблюдений, а изменение объявленного множества возможных законов.

Две точки допускают незаметную поправку

Условие. Пусть n=2 и p∈{1/4,3/4}. Проверьте g(0)=3,g(1)=−5,g(2)=3 и сравните оценки δ=S/2 и δ+g/20 в обеих точках. Что даст добавление p=1/2?

  1. При p=1/4 массы S равны(9,6,1)/16. Ожидание g=(27−30+3)/16=0. При p=3/4 массы переставлены и ожидание снова ноль.
  2. Вообще Eₚg=16p²−16p+3. При p=1/2 оно равно−1, поэтому добавленная третья точка исключает эту ненулевую функцию. Три различные точки при n=2 уже гарантируют полноту.
  3. Среднее квадратичное значение g равно15 в обоих законах, а дисперсияδ составляет3/32. Отражение таблицы меняет знак смешанного вклада: для меньшего параметра Cov(δ,g)=−3/4, для большего Cov(δ,g)=3/4. Поэтому одна поправка не может одновременно двигать обе дисперсии вниз в первом порядке.
  4. При t=1/20 изменение дисперсии равно 2tCov+t²·15: соответственно−3/80 и+9/80. Дисперсии новой несмещённой оценки —9/160 и 33/160.
  5. Разные точки предпочитают противоположные t: минимум этой полной одномерной семьи достигается при+1/20 и−1/20 соответственно. Одной функции S с минимальной дисперсией сразу в обеих точках здесь нет.

Ответ. На двухточечной сетке S достаточна, но неполна. Поправка сохраняет несмещённость и меняет дисперсии по-разному; добавление третьего внутреннего параметра восстанавливает полноту.

Проверка. Прямые значения новой оценки равны 3/20,1/4,23/20. Усреднение с массами(9,6,1)/16 даёт 1/4, с обратными массами —3/4; прямые вторые моменты возвращают 9/160 и 33/160 без ковариационной формулы.

Где легко ошибиться. Не подменяйте изменение множества допустимых параметров новой выборкой. Сумма остаётся достаточной при двух точках, но прежнее доказательство полноты на интервале уже не применяется.

Проверьте понимание

Какие свойства имеет S на двухточечной сетке p∈{1/4,3/4} в примере статьи?

Вопросы к этой главе

Почему не достаточно повторить проверку одной точки много раз?

Повторное вычисление той же линейной строки не увеличивает её ранг. Для критерия нужны различные значения p, а не число арифметических повторений.

Разрешены ли оценки вне[0,1], например 23/20?

В этой задаче класс всех вещественных несмещённых оценок не ограничен диапазоном параметра. Добавление ограничения на действия изменит допустимый класс и потребует отдельного анализа; нельзя молча обрезать значение, сохранив заявление о несмещённости.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • William Fithian, Berkeley Stat210A, Completeness §1.1

    Поддерживает определение полноты относительно всего выбранного семейства и отличие от достаточности. Точный порог конечной внутренней сетки и пример с противоположными улучшениями доказаны здесь полиномиальной и прямой табличной проверками.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться