Вероятность и статистика · объяснение и практика
Условное усреднение оценки: где именно исчезает лишняя дисперсия
Улучшить несмещённую оценку условным ожиданием по достаточной статистике и проверить уменьшение дисперсии без заявления недоказанной глобальной оптимальности.

В теме Оценивание и проверка гипотез: углубление · Учебная карта
Главная мысль
Условное ожидание оценки по достаточной статистике сохраняет её среднее и не увеличивает дисперсию. Разложение полной дисперсии показывает, какая часть случайности удалена. Для вычислимой оценки условный закон не должен зависеть от неизвестного параметра.
Метод и постановка
Начните с конкретной оценки U и статистики T. Проверьте конечность второго момента, чтобы сравнение дисперсий имело смысл. Сформируйте V=E(U|T), то есть усредните U среди исходов с одинаковым значением T. Если условное распределение данных при T не зависит от неизвестного параметра, полученная функция T действительно вычисляется по наблюдению.
Свойство повторного ожидания даёт E(V)=E(U), поэтому несмещённость сохраняется. Разложение Var(U)=Var(E(U|T))+E(Var(U|T)) показывает, что разница дисперсий неотрицательна. Она равна среднему оставшемуся условному разбросу исходной оценки. Если U уже является функцией T, условное усреднение её не меняет и строгого улучшения не возникает.
Проверка и границы вывода
Не объявляйте любую менее шумную оценку единственной наилучшей среди всех возможных. Для таких выводов нужны дополнительные свойства, например полнота достаточной статистики в соответствующей теореме. Здесь доказан переход от данной U к конкретной V и сравнение их дисперсий.
Также не подменяйте достаточность простой корреляцией с параметром. Вычисление условного ожидания, в формуле которого остаётся неизвестный параметр, может не давать пригодной статистики. В примере с обменными наблюдениями при фиксированном числе успехов все позиции симметричны, поэтому нужное ожидание получается без параметра. Это объясняет улучшение через устройство данных, а не через магическое предпочтение среднего. Сравнение относится к одной и той же модели и одному размеру выборки; изменение зависимости наблюдений потребовало бы заново считать дисперсии.
При граничных вероятностях успеха ноль или один обе дисперсии обнуляются. Поэтому фраза об уменьшении в четыре раза описывает формулу, но не должна превращаться в заявление строгого улучшения на границе. Строгое неравенство в примере возникает только при вероятности между этими крайними значениями.
Пример
Для четырёх независимых испытаний Бернулли возьмём U=X₁ как несмещённую оценку вероятности p. При общем числе успехов T=t условная вероятность успеха в первой позиции равна t/4. Значит V=T/4.
Дисперсия U равна p(1−p), а дисперсия V — p(1−p)/4. При p=1/2 они равны 1/4 и 1/16. Условное усреднение использовало все четыре наблюдения и сохранило несмещённость.
От чтения к действию
А теперь — вы
Частые вопросы
Всегда ли улучшение строгое?
Нет. Равенство возможно, когда условная дисперсия исходной оценки равна нулю.
Зачем нужна достаточность?
Она позволяет получить условную модель без неизвестного параметра и тем самым пригодную функцию наблюдений.
Углублённый разбор
Полнота биномиального семейства и единственность несмещённой оценки
Полнота достаточной статистики превращает сравнение одной пары оценок в утверждение о единственной наилучшей несмещённой оценке. Для биномиального семейства она доказывается полиномиальным тождеством.
Перед началом: Правдоподобие и условное ожидание; Статистический риск, уровень и мощность теста.
Определение и постановка
Пусть S~Bin(n,p), 0<p<1. Если Eₚg(S)=0 для всехp, тоΣg(k)C(n,k)pᵏ(1−p)ⁿ⁻ᵏ=0 на всём интервале параметров.
Вывод и вычислительный критерий
Разделим на положительное(1−p)ⁿ и введём t=p/(1−p)>0. Получаем полиномΣg(k)C(n,k)tᵏ, равный нулю для всех положительныхt. Все его коэффициенты обязаны быть нулевыми, значит g(k)=0 для каждогоk. Это полнота семействаS.
Сумма независимых Бернулли также достаточна по факторизации. Условное усреднение любой несмещённой оценки поS сохраняет её среднее и уменьшает дисперсию. Полнота гарантирует, что две несмещённые функцииS для одной цели не могут различаться.
Следовательно, найденная несмещённая функцияS имеет минимальную дисперсию среди всех несмещённых оценок с конечным вторым моментом в этой модели. В отличие от одного применения Рао—Блэквелла, здесь отдельно доказана глобальная единственность через полноту.
Условия и границы вывода
Свойство относится к одному и тому же семейству и полному диапазонуp. Проверка нулевого ожидания лишь при одном значенииp не доказывает полноту: разные ненулевые функции способны случайно усредниться в ноль в одной точке.
Несмещённость остаётся ограничением класса сравнения. Более смещённая оценка может иметь меньшую среднюю квадратичную ошибку для отдельногоp, и теорема этого не запрещает.
Нельзя применять вывод после округленияS/n, если округление склеивает разные суммы. Полнота достаточной статистики не автоматически передаётся произвольной теряющей информацию функции. Взаимно однозначное преобразование при известномn, напротив, сохраняет её.
Для доказательства полноты достаточно параметров 0<p<1: после деления на(1−p)ⁿ получается многочлен по t=p/(1−p), нулевой на всём положительном полуинтервале. Все коэффициенты обязаны исчезнуть. Проверка лишь одного значения p, даже с точным перебором исходов, полноту не доказывает.
Разобранная задача
Условие. Для трёх независимых Бернулли оценитеp² несмещённо черезS. Сравните приp=1/2 дисперсию с исходной оценкойU=X₁X₂.
- E(X₁X₂)=p² по независимости. При условииS=s все пары позиций симметричны.
- Условная вероятность успеха на обеих заданных позициях равнаs(s−1)/(3·2), поэтомуδ(S)=S(S−1)/6.
- Приp=1/2 значенияS=0,1,2,3 имеют массы1,3,3,1 из8;δ равно0,0,1/3,1.
- Eδ=1/4,Eδ²=1/6,Varδ=5/48. ИсходныйU — индикатор вероятности1/4 и имеет дисперсию3/16.
Ответ. Единственная UMVU-оценкаp² равнаS(S−1)/6; приp=1/2 её дисперсия5/48 меньше3/16.
Проверка. Полный перебор восьми бинарных строк даёт среднееδ=1/4 и второй момент1/6. Разность дисперсий3/16−5/48=1/12 положительна; полнота отдельно обосновывает единственность, а не выводится из этой одной проверки.
Где легко ошибиться. Несмещённая функция достаточной статистики становится глобально оптимальной только после обоснования полноты, а не из одного красивого численного улучшения.
Проверьте понимание
Вопросы к этой главе
Почему не достаточно одной точкиp=1/2?
Теорема полноты требует нулевого ожидания для всего семейства. Полиномиальное доказательство использует бесконечное множество параметров, что заставляет исчезнуть каждый коэффициент.
Означает ли UMVU минимальный риск среди всех оценок?
Нет. Сравнивается дисперсия среди несмещённых оценок одной цели. Смещение и другая функция потерь задают другую задачу оптимальности.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Berkeley Stat210A: unbiased estimation and Rao–Blackwell
Прочитаны формулировки Rao–Blackwell для выпуклой потери, условный Jensen и единственность UMVU при полной достаточной статистике. Конечные риски и биномиальное доказательство полноты рассчитаны самостоятельно.
Условное усреднение и выпуклый риск: где работает неравенство Йенсена
Условное усреднение улучшает не только дисперсию, но любой выпуклый риск при правильных условиях. Невыпуклая вероятность крупной ошибки может вести себя иначе.
Перед началом: Правдоподобие и условное ожидание; Статистический риск, уровень и мощность теста.
Определение и постановка
ПустьV=E(U|T), а потеряLθ(a) выпукла по действиюa. Условное неравенство Йенсена даётLθ(V)≤E[Lθ(U)|T], если ожидания существуют.
Вывод и вычислительный критерий
После обычного усреднения получаем рискV не больше рискаU при каждом фиксированномθ. Для квадратной потери это привычное сравнение средних квадратов, для абсолютной — сравнение ожидаемых модулей ошибок. Несмещённость для самого неравенства Йенсена не требуется.
ЧтобыV была пригодной оценкой, её нужно вычислять без неизвестногоθ. ДостаточностьT часто обеспечивает параметрически свободный условный закон исходных данных, но выпуклое сравнение как математическое тождество отделено от вопроса вычислимости.
Вероятность превышения заданного порога использует индикаторLθ(a)=1{|a−θ|>ε}. Эта функция обычно невыпукла. Поэтому меньшая дисперсия не гарантирует меньшую вероятность любой выбранной крупной ошибки.
Условия и границы вывода
Особенно важно не подменять сравнение разных рисков словами «оценка стала лучше во всём». Даже при сохранении среднего хвосты могут перераспределиться так, что один конкретный порог пересекается чаще.
Условия существования моментов зависят от потери. Абсолютный риск требует первого момента, квадратичный — второго. Бесконечность исходного риска иногда допускает формальное неравенство, но не даёт содержательного конечного сравнения эффективности.
В конечном эксперименте полезно перечислить всю таблицу исходов. Она показывает, какие значения появились после усреднения и почему новый промежуточный прогноз может попасть за порог, который прежняя крайняя оценка чаще избегала.
Обе оценки здесь несмещённы при любомp. Поэтому контрпример хвостового риска не вызван появлением смещения после условного усреднения. Изменилось распределение ошибок: промежуточное значение1/2 встречается чаще крайней единицы, а выбранный порог считает оба этих значения ошибочными.
Требование достаточности позволяет вычислить условное ожидание оценки как одну и ту же наблюдаемую функцию статистики при всех параметрах. Без него условное ожидание может содержать неизвестный параметр и не задавать доступной оценочной процедуры. Само неравенство Йенсена остаётся верным, но практический смысл полученного действия тогда требует отдельного анализа.
Разобранная задача
Условие. X₁,X₂ независимы Bernoulli(p), U=X₁,V=(X₁+X₂)/2. Приp=1/10 сравните абсолютные риски и вероятности ошибки больше3/20.
- Исходный абсолютный риск равен(9/10)(1/10)+(1/10)(9/10)=9/50.
- V принимает0,1/2,1 с вероятностями81/100,18/100,1/100.
- Его абсолютный риск равен81/1000+72/1000+9/1000=81/500, меньше9/50.
- Порог3/20 не пересекается при нуле и пересекается при1/2 или1. Поэтому хвостовой рискU=1/10, аV=19/100.
Ответ. Абсолютный риск улучшился с9/50 до81/500, но вероятность ошибки больше3/20 выросла с1/10 до19/100.
Проверка. Четыре совместных исхода00,01,10,11 имеют вероятности81,9,9,1 из100. Прямая проверка действийU,V в каждом исходе подтверждает оба разных сравнения рисков.
Где легко ошибиться. Гарантия для выпуклых потерь не переносится автоматически на любой индикатор превышения порога.
Проверьте понимание
Вопросы к этой главе
ПочемуV равно условному среднемуU?
При известной сумме двух одинаково распределённых Бернулли обе позиции симметричны. Условное ожидание первой позиции равно половинеS, независимо от неизвестногоp.
Нарушает ли рост хвостового риска теорему?
Нет. Индикатор ошибки большеε невыпуклый, поэтому он не входит в заявленный класс потерь. Абсолютная и квадратичная потери продолжают удовлетворять своему сравнению.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Berkeley Stat210A: unbiased estimation and Rao–Blackwell
Прочитаны формулировки Rao–Blackwell для выпуклой потери, условный Jensen и единственность UMVU при полной достаточной статистике. Конечные риски и биномиальное доказательство полноты рассчитаны самостоятельно.
Случайно скрытая метка: раоблеквеллизация при известной схеме пропусков
Искусственное случайное скрытие записи можно компенсировать обратным шансом наблюдения, но оно создаёт лишнюю дисперсию. Условное усреднение по этой добавленной монете удаляет шум, сохраняя среднее.
Перед началом: Условная вероятность; Точная арифметика.
Разделите данные и добавленную рандомизацию
Пусть Y — случайная величина с конечным вторым моментом. Независимая монета R принимает единицу с известной вероятностью q>0. Оценка Z=RY/q использует обратный шанс включения. Условно на Y её среднее равно Y, поэтому EZ=EY. Эта схема описывает искусственное прореживание уже доступной записи или теоретическое сравнение полных и скрытых данных. Если Y действительно неизвестна при R=0, восстановить её условное значение из одного наблюдения невозможно без дополнительной модели.
Условное усреднение удаляет только добавленный шум
Раоблеквеллизированная величина E(Z|Y)=Y имеет ту же цель и не большую дисперсию. По полной дисперсии Var(Z)=Var(Y)+E Var(Z|Y). Поскольку Var(R/q)=1/q−1, лишний вклад равен (1/q−1)E(Y²). Здесь присутствует второй момент, а не только Var(Y): даже постоянное ненулевое Y получает шум от случайного сокрытия. Для известного нуля этот дополнительный шум исчезает.
При неравномерном скрытии меняется условие
Если шанс наблюдения q(Y) зависит от значения и известен, положителен, то E[RY/q(Y)|Y]=Y всё ещё верно. Но практический расчёт требует возможности узнать нужный q на наблюдаемых значениях, а конечность дисперсии требует E[Y²/q(Y)]<∞. Когда шанс равен нулю в части поддержки, обратное взвешивание не восстанавливает неизвестный вклад. Условное усреднение не предоставляет несуществующие исходные данные: оно сравнивает оценочные процедуры при явно доступной информации.
Разобранная задача
Условие. Y принимает 0 и 2 с равными вероятностями, независимо R~Bernoulli(1/2). Найдите закон Z=2RY, его среднее и дисперсию; сравните с полной записью Y.
- Значение Z=4 возникает только при Y=2 и R=1, то есть с вероятностью 1/4. Во всех остальных случаях Z=0.
- Следовательно EZ=4·(1/4)=1, как и EY=(0+2)/2=1. Обратный вес сохраняет среднее.
- Второй момент Z равен 16·(1/4)=4, поэтому Var(Z)=4−1=3. Для Y второй момент равен двум и дисперсия равна единице.
- Усреднение по R при фиксированном Y даёт Y. Разность дисперсий 3−1=2 совпадает с (1/q−1)E(Y²)=1·2.
Ответ. Прореженная оценка имеет дисперсию 3, полная — 1. Два дополнительных единичных вклада дисперсии целиком вызваны независимой монетой скрытия.
Проверка. Полный список четырёх равновероятных пар (Y,R) даёт Z=(0,0,0,4). Прямое среднее квадратов отклонений от единицы равно (1+1+1+9)/4=3, что независимо подтверждает расчёт вторых моментов.
Где легко ошибиться. Не называйте Y вычислимым улучшением при реально утраченном Y в пропущенных строках. Теоретическая условная оценка использует более полную информацию; её доступность должна соответствовать реальной схеме данных.
Проверьте понимание
Вопросы к этой главе
Удаляется ли вся исходная случайность?
Нет. После усреднения остаётся случайная Y с собственной дисперсией. Удаляется только рандомизация R, добавленная поверх данных.
Что будет при q=1?
Все записи наблюдаются, Z=Y и дополнительная дисперсия равна нулю. Формула непрерывно согласуется с отсутствием прореживания.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Will Fithian, Berkeley Stat 210A, Unbiased Estimation
Условное усреднение Рао–Блэквелла сохраняет ожидание и устраняет добавленную случайность.
Попарная оценка: проекции Хёффдинга и точная дисперсия U-статистики
Все попарные вклады не независимы: две пары могут делить наблюдение. Разложение ядра на однообъектные проекции и условно центрированный остаток учитывает эту связь точно. При нулевой первой проекции дисперсия имеет другой порядок, поэтому обычное приближение через ведущий член исчезает.
Перед началом: Условное ожидание и ортогональность; Дисперсия суммы зависимых величин.
Среднее всех пар использует данные повторно
X₁,…,Xₙ независимы с одним законом, n≥2. Симметричное попарное ядро h имеет конечный второй момент. Рассматривается среднее по всем неупорядоченным различным парам.
Положимθ=E h(X₁,X₂), U=C(n,2)⁻¹Σᵢ<ⱼh(Xᵢ,Xⱼ). Каждая пара имеет одно среднееθ, поэтому U несмещённа. Но число пар C(n,2) нельзя автоматически считать числом независимых измерений: наблюдение Xᵢ участвует в n−1 вкладах. Именно общая координата создаёт ведущую ковариацию.
Определим h₁(x)=E[h(x,X₂)]−θ и h₂(x,y)=h(x,y)−θ−h₁(x)−h₁(y). Тогда E h₁(X)=0 и E[h₂(X₁,X₂)|X₁]=0, аналогично по второй координате. Термин «вырожденное ядро» означает это условное центрирование, а не тождественный нуль всех значений h₂.
Ортогональность даёт точную, а не только асимптотическую формулу
В сумме всех пар каждая h₁(Xᵢ) встречается n−1 раз. Поэтому U−θ=(2/n)Σh₁(Xᵢ)+C(n,2)⁻¹Σᵢ<ⱼh₂(Xᵢ,Xⱼ). Две части некоррелированы. Разные остаточные пары тоже некоррелированы: для непересекающихся действует независимость, для пары с общей координатой условное центрирование уничтожает произведение после усреднения.
Приσ₁²=E h₁² иσ₂²=E h₂² получаем VarU=4σ₁²/n+2σ₂²/[n(n−1)]. Это равенство для конечного n. Еслиσ₁²>0, первый член обычно ведущий. Еслиσ₁²=0, остаётся порядок n⁻², и нельзя приписать нулевую дисперсию всей оценке, выбросив второй член. Само исчезновение первого порядка также не доказывает обычный нормальный предел.
Симметрия около нуля меняет порядок шума
Пусть X принимает±1 со среднимβ и ядро h(x,y)=xy, так что цельθ=β². Здесь h₁(x)=β(x−β), h₂(x,y)=(x−β)(y−β). Значитσ₁²=β²(1−β²),σ₂²=(1−β²)². Приβ=0 первая проекция исчезает, хотя каждое произведение по-прежнему случайно. Приβ≠0 возникает общий однообъектный шум.
Полезно сравнить U со средним лишь по непересекающимся парам при том же числе объектов. Оба оценивают одну цель, но используют разные наборы попарных связей. Преимущество всех пар не означает, что сами пары стали независимыми. На нулевой симметричной модели они попарно некоррелированы, однако совместные произведения связаны алгебраическими тождествами.
Шестнадцать знаковых выборок и невидимый первый порядок
Условие. Четыре независимых честных знака Xᵢ=±1 имеютβ=0. Оценитеβ² средним шести попарных произведений U и сравните его дисперсию с V=(X₁X₂+X₃X₄)/2. Дополнительно проверьте VarU приβ=1/2.
- Приβ=0 имеем h₁=0, h₂=xy,σ₂²=1. Формула даёт VarU=2/(4·3)=1/6.
- Обозначим T=ΣXᵢ. Из T²=4+2Σᵢ<ⱼXᵢXⱼ получаем U=(T²−4)/12. Значения U равны 1,0,−1/3 с вероятностями 1/8,1/2,3/8.
- Прямое среднее равно 1/8−(1/3)(3/8)=0, второй момент 1/8+(1/9)(3/8)=1/6. Остаточный шум действительно не исчез.
- Два произведения в V независимы, каждое имеет дисперсию 1. Поэтому VarV=1/2 — втрое больше, чем у всех пар.
- Приβ=1/2 получаемσ₁²=3/16,σ₂²=9/16. Тогда VarU=3/16+3/32=9/32. Ошибочная независимость шести пар дала бы(1−β⁴)/6=5/32.
Ответ. В симметричном случае VarU=1/6 против VarV=1/2. Приβ=1/2 точная дисперсия U равна 9/32, и ковариации перекрывающихся пар уже существенны.
Проверка. Все 16 строк приβ=0 дают указанные три массы U. Приβ=1/2 те же строки взвешиваются вероятностями(3/4)^число-плюсов·(1/4)^число-минусов; прямые первый и второй моменты даютθ=1/4 и VarU=9/32, независимо от проекционного вывода.
Где легко ошибиться. После обнуления первой проекции нельзя объявлять всю оценку постоянной. Нужно сохранить вырожденный попарный остаток и его конечную дисперсию.
Проверьте понимание
Вопросы к этой главе
Почему два остатка с одним общим наблюдением некоррелированы?
При условии на общую координату оставшиеся координаты независимы, а каждое условное среднее остатка нулевое. Условное среднее произведения поэтому ноль; повторное усреднение сохраняет его.
Означает ли меньшая дисперсия U универсальную оптимальность среди любых оценок?
Нет. Здесь сравниваются две конкретные несмещённые попарные процедуры. Например, еслиβ заранее известно равным нулю, цель вообще известна и постоянный нуль имеет нулевой риск; симметричный расчёт рассматривает точку более широкого неизвестного семейства.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- John Duchi, Stanford Stats300B, U Statistics, slides8–10 и 17–18
Поддерживает проекции ядра и учёт пересечений индексных множеств. Здесь для второго порядка отдельно выведено точное разложение с остатком и проверены две знаковые модели полным конечным суммированием.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Самый мощный тест двух простых гипотез ранжирует исходы по отношению правдоподобий
Построить наиболее мощный тест для двух полностью заданных дискретных законов при ограничении ошибки первого рода и объяснить рандомизацию на границе.
Открыть темуДостаточная статистика сохраняет информацию модели, но не исходный порядок данных
Установить достаточность статистики факторизацией правдоподобия и различить информационное сжатие относительно параметра и восстановление исходной выборки.
Открыть темуКонтроль доли ложных находок: порог выбирается по последнему прошедшему рангу
Применить ступенчатую процедуру Бенджамини — Хохберга и отличить ожидаемую долю ложных отклонений от вероятности хотя бы одной ошибки.
Открыть тему