Вероятность и статистика · объяснение и практика

Как величина с известным ожиданием помогает оценить другую

Как центрированная величина с известным ожиданием сохраняет ответ и уменьшает разброс, зачем нужен коэффициент ковариации и чем опасна его подгонка на той же выборке.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Случайные процессы и имитация: углубление · Учебная карта

В маршруте Вычислительные и планируемые эксперименты · 10 тем

Главная мысль

Контрольная величина C с известным E(C)=c позволяет оценивать E(Y) средним Y−β(C−c). При фиксированном β ожидание сохраняется. Оптимальный коэффициент при Var(C)>0 равен Cov(Y,C)/Var(C).

Вычитаем случайную ошибку известного ориентира

Пусть Y сложно усреднять, но вместе с ним можно вычислять связанную величину C, точное среднее которой равно c. Если в данном наборе C получилось выше своего среднего, это может объяснять часть завышения Y. Вычитаем β(C−c), а не просто βC: центрирование необходимо, чтобы не поменять нужное ожидание.

Для заранее фиксированного β линейность даёт E[Y−β(C−c)]=E(Y). Дисперсия равна Var(Y)−2βCov(Y,C)+β²Var(C). Это квадратная функция коэффициента. При положительной дисперсии контроля минимум достигается на отношении ковариации к дисперсии, а не на произвольно выбранной единице или на корреляции без учёта масштаба.

Проверяем уменьшение на другом интеграле

Пусть U равномерна на (0;1), Y=U³, C=U и c=1/2. Тогда E(Y)=1/4, Var(C)=1/12. Ковариация равна E(U⁴)−E(U³)E(U)=1/5−1/8=3/40. Поэтому оптимальный β равен 9/10. Контрольная величина дешевле сложной модели, но здесь формулы специально выбраны прозрачными для проверки.

Исходная дисперсия Y равна 1/7−1/16=9/112. После вычитания оптимального контроля она равна 9/112−(3/40)²/(1/12)=9/700. Среднее осталось четвертью. Для n независимых пар дисперсия среднего делится на n; снижение относится к разбросу, а не к изменению самого вычисляемого интеграла. При правильном оптимальном коэффициенте остаток некоррелирован с контролем; это ещё одна проверка вычисления ковариации и знака поправки.

Пример

Что произойдёт, если забыть добавить βc?

Ожидание станет E(Y)−βc. Это уже смещённая относительно исходной цели величина, даже если её наблюдаемый разброс выглядит маленьким.

Оценённый коэффициент требует отдельной осторожности

На практике истинная ковариация часто неизвестна. Коэффициент можно оценить на независимом предварительном наборе и затем зафиксировать для основного расчёта. Если же β подогнан по тем же данным, его зависимость от наблюдаемых средних в общем случае нарушает точную конечную несмещённость. Формула для фиксированного коэффициента не доказывает обратного.

Контроль с нулевой дисперсией не даёт случайного отклонения и не определяет отношение для оптимального β. Неверное значение c также сдвигает результат. При сравнении вычислительной эффективности учитывают стоимость контроля и его подготовки, а не только уменьшение дисперсии. Сильная отрицательная связь тоже может быть полезной: оптимальный коэффициент тогда имеет отрицательный знак.

От чтения к действию

А теперь — вы

Известно E(C)=2, фиксировано β=0,5. В наборе получены средние Ȳ=8 и C̄=3. Какова оценка с контролем Ȳ−β(C̄−E(C))?

Частые вопросы

Обязательно ли контроль положительно связан с Y?

Нет. Отрицательная ковариация даёт отрицательный оптимальный коэффициент и тоже может уменьшить дисперсию.

Можно ли заменить известное c тем же выборочным средним C?

Тогда поправка по средним обнулится и не даст задуманного контроля. Нужен отдельный известный ориентир или иная обоснованная процедура.

Углублённый разбор

Несколько контрольных переменных: ковариационная система и ранг

Несколько контрольных переменных совместно убирают разные компоненты шума. Оптимальные коэффициенты определяются системой ковариаций, а не отдельными несогласованными дробями.

Перед началом: Ожидание, дисперсия и ковариация; Независимые выборки и взвешенные средние.

Определение и постановка

Пусть C — столбец контролей с известным средним c, а Y — целевой выход. Скорректированный вклад Z=Y−βᵀ(C−c) сохраняет EY для любого заранее фиксированного вектора β.

Вывод и вычислительный критерий

Обозначим Σ=Cov(C,C), v=Cov(C,Y). Тогда VarZ=VarY−2βᵀv+βᵀΣβ. При положительно определённой Σ минимум достигается на решении Σβ=v. Остаточная дисперсия равна VarY−vᵀΣ⁻¹v.

Если контроли коррелируют между собой, индивидуальные коэффициенты Cov(Cⱼ,Y)/VarCⱼ обычно не являются совместным оптимумом. Каждый такой коэффициент игнорирует часть того же шума, уже объяснённую другими контролями. После совместной подгонки остаток некоррелирован со всеми использованными контролями одновременно.

При вырожденной Σ могут существовать разные векторы коэффициентов с одним и тем же скорректированным вкладом. Линейно повторяющийся контроль не добавляет нового направления. Проверять нужно ранг центрированных контролей, а не просто количество их названий.

Условия и границы вывода

Известные средние c должны относиться к тому же закону выборки. Ошибка в одном среднем создаёт постоянное смещение βᵀ(c_использованное−c_истинное), которое не исчезает при увеличении числа прогонов.

Если Σ и v оцениваются, их шум влияет на качество коэффициентов. Подгонка по тем же наблюдениям не наследует автоматически точную конечную несмещённость фиксированного вектора. Независимый пилот или аккуратно доказанное разделение данных решают другую часть задачи.

Нулевая остаточная дисперсия возможна, если Y точно выражается через постоянную и линейную комбинацию контролей. Она не гарантируется высоким попарным сходством: важна полнота нужного линейного направления.

В примере два контроля некоррелированы, но не независимы: X² полностью определяетсяX. Для ковариационной оптимизации нужна именно линейная геометрия вторых моментов. Ошибочно требовать независимости контролей означало бы исключить вполне полезные функции одного общего случайного входа.

Если ковариационная матрица контролей вырождена, некоторые линейные комбинации не случайны. Это не делает уменьшение дисперсии невозможным, но коэффициенты могут быть неединственными. Удаление линейно зависимого контроля сохраняет достижимые исправленные значения, тогда как прямое обращение вырожденной матрицы не имеет смысла.

Разобранная задача

Условие. X равномерна на{−1,0,1}. Пусть Y=X²+X, контроли C₁=X,C₂=X² имеют известные средние0 и2/3. Найдите совместные коэффициенты и остаточную дисперсию.

  1. Среднее X равно0, EX²=2/3, EX³=0 иEX⁴=2/3.
  2. Σ диагональна: VarC₁=2/3, VarC₂=2/9, их ковариация0.
  3. Вектор v равен(2/3,2/9), поэтому система даёт β₁=β₂=1.
  4. Поправка равна X²+X−X−(X²−2/3)=2/3 на каждом исходе; дисперсия нулевая.

Ответ. Оптимальные коэффициенты(1,1), скорректированный вклад постоянно равен2/3.

Проверка. Полный перебор X=−1,0,1 даёт Y=0,0,2 и одинаковые исправленные значения2/3. Проверка поточечного тождества сильнее одного совпадения выборочных средних.

Где легко ошибиться. Нельзя оптимизировать каждый коэффициент отдельно, если центрированные контроли взаимно коррелируют.

Проверьте понимание

Какое уравнение задаёт совместный оптимум при невырожденной Σ?

Вопросы к этой главе

Что если добавить C₃=2C₁?

Ковариационная матрица станет вырожденной. Новый столбец повторяет прежнее направление и не уменьшит уже нулевую остаточную дисперсию.

Почему среднее исправленного вклада равно цели?

Каждый центрированный контроль имеет точное ожидание ноль. Линейная поправка поэтому меняет разброс, сохраняя исходное ожидание при фиксированных коэффициентах.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Art Owen: Monte Carlo, chapter 8

    Веб-ридер дал timeout; PDF прочитан через urllib и pypdf. Проверены §8.2 антитетики, §8.4 стратификация и стоимость, §8.6 общие числа, §8.9 несколько контролей. Примеры и перекрёстная проверка собственные.

Перекрёстная настройка контроля: несмещённость при зависимых итоговых вкладах

Перекрёстная настройка контроля использует разные наблюдения для обучения коэффициента и вычисления каждого исправленного вклада. Несмещённость вклада не означает независимость итоговой пары.

Перед началом: Ожидание, дисперсия и ковариация; Независимые выборки и взвешенные средние.

Определение и постановка

Разделите независимые данные на части. Для наблюдения i выбирайте коэффициент β₋ᵢ, построенный без этого наблюдения. Тогда условно на обучающих данных E[Yᵢ−β₋ᵢ(Cᵢ−c)]=EYᵢ при известном точном c.

Вывод и вычислительный критерий

Повторное ожидание сохраняет цель и после усреднения всех исправленных вкладов. Оценка коэффициента не обязана быть несмещённой: для этого аргумента достаточно её независимости от оцениваемого наблюдения и существования нужных моментов.

Однако разные итоговые вклады используют данные друг друга при обучении. Поэтому они способны оказаться зависимыми, даже если исходные наблюдения были независимы. Формула стандартной ошибки независимого среднего без ковариаций не переносится автоматически.

Cross-fitting отличается от независимого пилота тем, что данные не обязательно окончательно выбрасываются из основного усреднения. Они меняют роли в разных вкладах. Это может повысить использование данных, но требует отдельного вывода дисперсии, особенно для очень маленьких обучающих частей.

Условия и границы вывода

Сохранение ожидания не является гарантией снижения дисперсии. Плохие или крайне шумные коэффициенты способны увеличить разброс даже при правильном разделении. Поэтому полезность процедуры сравнивают при одинаковом общем вычислительном бюджете.

Если настройка использует сам оцениваемый Cᵢ, условное среднее центрированного контроля уже нельзя вынести независимо от коэффициента. Даже малая утечка информации меняет доказательство.

В сложных схемах следует явно хранить принадлежность к частям, правило обучения и точное определение итогового среднего. Слова «вне обучающей выборки» без перечисления используемых наблюдений не доказывают требуемую независимость.

Несмещённость каждого слагаемого распространяется на их среднее линейностью ожидания, даже когда слагаемые зависимы. Для дисперсии линейность уже недостаточна: появляются перекрёстные ковариации. Поэтому стандартную ошибку нельзя получить, механически разделив дисперсию отдельного исправленного вклада на число строк без анализа связи между обучающими наборами.

Разобранная задача

Условие. X₁,X₂ — независимые честные биты. Цель EX=1/2, контроль C=X со средним1/2. Для вклада i возьмите β₋ᵢ=2Xⱼ, j≠i. Найдите закон среднего двух исправленных вкладов.

  1. Исправленные вклады равны Z₁=X₁−2X₂(X₁−1/2) и аналогично Z₂ с перестановкой индексов.
  2. Для исхода00 оба равны0; для01 оба равны1.
  3. Для10 оба равны1; для11 оба равны0. Следовательно,Z₁=Z₂ в каждом исходе.
  4. Среднее равно индикатору X₁≠X₂, имеет ожидание1/2 и дисперсию1/4.

Ответ. Оценка несмещённа, но её дисперсия1/4 вдвое больше дисперсии исходного среднего1/8.

Проверка. Все четыре исхода равновероятны и полностью перечислены. Ковариация исправленных вкладов равна1/4, поэтому ложная независимая формула дала бы1/8 вместо истинной1/4.

Где легко ошибиться. Независимость коэффициента от собственного наблюдения не делает разные исправленные вклады независимыми между собой.

Проверьте понимание

Что обеспечивает несмещённость отдельного исправленного вклада в этой схеме?

Вопросы к этой главе

Почему коэффициент2Xⱼ допустим для доказательства?

Он вычисляется только по другому независимому наблюдению. Его качество намеренно невысоко: пример отделяет гарантию ожидания от возможного выигрыша эффективности.

Можно ли заменить cross-fitting одним общим коэффициентом?

Можно как новую процедуру, но если коэффициент обучен по тем же двум наблюдениям, прежнее условное доказательство уже не применимо. Нужно проверить её ожидание отдельно.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Art Owen: Monte Carlo, chapter 8

    Веб-ридер дал timeout; PDF прочитан через urllib и pypdf. Проверены §8.2 антитетики, §8.4 стратификация и стоимость, §8.6 общие числа, §8.9 несколько контролей. Примеры и перекрёстная проверка собственные.

Неизвестное среднее контроля: отдельная дешёвая выборка

Контрольная переменная может быть дешёвой, но её точное среднее не всегда известно. Если оценить его отдельной независимой выборкой, поправка останется несмещённой, однако получит дополнительный шум. Этот шум меняет оптимальный контрольный коэффициент.

Перед началом: Условные вероятности и математическое ожидание; Частоты и поля таблицы.

Две независимые части данных

Пусть n независимых дорогих наблюдений дают пары (Yᵢ,Cᵢ), а m≥1 независимых дешёвых наблюдений дают только C′ⱼ с тем же маргинальным законом контроля. Дешёвая выборка независима от всех дорогих пар. Обозначим их средние Ȳ,C̄,C̃. Для фиксированного β оценка T=Ȳ−β(C̄−C̃) имеет ожидание EY.

Здесь среднее контроля неизвестно и нигде не подставляется аналитически: его оценивает C̃. Равенство законов C и C′ существенно. Если дешёвая модель даёт контроль другого распределения, разность средних имеет ненулевое ожидание и β переносит его в систематическую ошибку целевого результата.

Квадратичная дисперсия с новой ценой

Положим vY=VarY,vC=VarC>0 и c=Cov(Y,C), все вторые моменты конечны. Независимость частей даёт Var(T)=vY/n−2βc/n+β²vC(1/n+1/m). Последнее слагаемое содержит шум обеих оценок среднего контроля; потерять 1/m означало бы притвориться, будто контрольное среднее известно точно.

Минимизация по фиксированному коэффициенту даёт β*=c·m/[vC(m+n)]. Это известный оптимум c/vC, умноженный на коэффициент сжатия m/(m+n). При m→∞ возвращается случай точного контрольного среднего. При малом m поправка ослабляется: иначе дорогая оценка впитала бы слишком много шума дешёвой части.

Бюджет и обучение коэффициента

Минимальная дисперсия равна vY/n−c²m/[vC·n(m+n)]. При известной цене пары и дешёвого наблюдения по этой формуле можно сравнивать допустимые целые n,m, включая вариант без контроля. Наращивать только m при фиксированном полном бюджете нельзя: оно уменьшает число дорогих наблюдений и может проиграть прямому среднему.

Вывод предполагает заранее фиксированный β или коэффициент, обученный на ещё одной независимой части с условным анализом его случайности. Подгонка β по тем же Ȳ,C̄,C̃ не наследует доказательство автоматически. Две фазы здесь обозначают два источника среднего, а не разрешение повторно использовать данные без учёта зависимостей.

Шесть независимых знаков для двух фаз

Условие. Пусть C и ε — независимые симметричные знаки ±1, Y=C+ε. В расчёте среднее C оценивают, а не подставляют: берут n=2 пары и m=2 независимых контроля. Найдите оптимальный фиксированный β и дисперсию T.

  1. По четырём равновероятным исходам одной пары получаем vC=1,c=1,vY=2. Целевое среднее EY равно нулю.
  2. При n=m=2 дисперсия T равна 1−β+β². Её удобно переписать как (β−1/2)²+3/4.
  3. Единственный минимум достигается при β=1/2 и равен 3/4. Прямое дорогое среднее без контроля имеет дисперсию один.
  4. Если ошибочно взять коэффициент один из задачи с точно известным средним контроля, дисперсия снова станет единицей. С аналитически известным средним и β=1 она была бы 1/2, но это другой набор доступной информации.

Ответ. Оптимальный коэффициент равен 1/2, минимальная дисперсия — 3/4; уменьшение по сравнению с прямым средним составляет четверть.

Проверка. Всё вычисление можно независимо проверить по 64 равновероятным комбинациям четырёх знаков дорогих пар и двух знаков дешёвой выборки. Среднее T нулевое, средний квадрат при β=1/2 равен 3/4.

Где легко ошибиться. Ошибочно считать оценённое C̃ постоянной после её наблюдения и затем сообщать безусловную стандартную ошибку без Var(C̃). Условная фиксация изменяет математическое ожидание поправки; нужно последовательно назвать условную или безусловную цель.

Проверьте понимание

Какова минимальная дисперсия T для n=m=2 и указанного закона?

Вопросы к этой главе

Можно ли дешёвые контроли брать из тех же пар?

Тогда C̃ и C̄ зависимы и приведённая дисперсия меняется. Повторное использование допустимо только с новым ковариационным выводом; оно не является независимой фазой нашего условия.

Достаточно ли большой корреляции Y и C?

Нет. При дорогом или шумном оценивании среднего контроля выигрыш может исчезнуть. Важны также m,n, стоимость наблюдений и точное совпадение маргинальных законов контроля.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Giles: Multilevel Monte Carlo, §1.2

    Прочитана PDF-страница 3: отличие известного контрольного среднего от отдельно оцениваемого среднего дешёвой модели. Здесь самостоятельно выведены произвольный β, дополнительная независимая дисперсия и сжатие коэффициента; это не пример из статьи.

Многоуровневое Монте-Карло: телескопическая поправка и цена уровня

Дорогую точную модель иногда выгоднее усреднять через дешёвую модель и маленькую сопряжённую поправку. Многоуровневое Монте-Карло использует телескопическое тождество неизвестных средних. Оптимальный объём каждого уровня определяется одновременно дисперсией поправки и ценой её получения.

Перед началом: Условные вероятности и математическое ожидание; Частоты и поля таблицы.

Телескопирование неизвестных ожиданий

Для приближений P₀,…,Pᴸ с конечными вторыми моментами тождественно E(Pᴸ)=E(P₀)+Σₗ₌₁ᴸE(Pˡ−Pˡ⁻¹). Средние всех слагаемых могут быть неизвестными. На каждом уровне независимо оценивают своё ожидание средним nₗ прогонов. Тогда итог несмещён относительно выбранной конечной модели Pᴸ, даже если она сама смещена относительно идеальной величины P.

Внутри одной поправки две соседние модели строят на согласованном случайном входе. Их положительная ковариация способна сделать разность гораздо стабильнее каждого выхода. Независимость нужна между выборками разных уровней, а не между двумя моделями внутри одной разности. Перепутать эти два требования — значит потерять основной механизм метода.

Разброс и цена распределяются по уровням

Положим V₀=Var(P₀), Vₗ=Var(Pˡ−Pˡ⁻¹), а Cₗ — полная цена одного соответствующего прогона, включая обе модели поправки. При независимых уровнях дисперсия оценки равна ΣVₗ/nₗ, цена — ΣCₗnₗ. Непрерывный оптимум при фиксированном бюджете удовлетворяет nₗ∝√(Vₗ/Cₗ).

Неравенство Коши даёт сертификат: (ΣVₗ/nₗ)(ΣCₗnₗ)≥(Σ√(VₗCₗ))². Равенство достигается при указанном отношении объёмов. Реальные nₗ целые и положительные на используемых уровнях, поэтому после округления следует заново проверить бюджет и сравнить соседние допустимые планы; непрерывная формула сама не гарантирует целочисленный минимум.

Систематическая ошибка остаётся отдельной

Если цель EP отличается от EPᴸ, полная среднеквадратичная ошибка равна квадрату смещения EPᴸ−EP плюс дисперсия оценивания конечного уровня. Увеличение nₗ сокращает только вторую часть. Для уменьшения смещения нужен более точный последний уровень и обоснование сходимости моделей, а не только дополнительные повторы грубой схемы.

Цена связи двух уровней и дисперсия разности должны быть измерены для одной и той же конструкции. Использование малой дисперсии от хорошего сопряжения вместе с ценой другого дешёвого алгоритма создаёт фиктивную эффективность. Общие асимптотические скорости также требуют собственных предпосылок; конечное телескопическое тождество их не обеспечивает.

Двадцать четыре грубых прогона и три поправки

Условие. Пусть R,S — независимые симметричные знаки. P₀=1+2R, P₁=P₀+1+S/2. Цена одного P₀ равна одному, сопряжённой разности P₁−P₀ — четырём; прямой прогон P₁ также стоит четыре. При бюджете 36 найдите лучший целочисленный двухуровневый план.

  1. Грубый выход имеет среднее один и дисперсию V₀=4. Разность равна 1+S/2, имеет среднее один и дисперсию V₁=1/4; цель EP₁ равна двум.
  2. Оптимальное непрерывное отношение n₀/n₁=√(4/1)/√((1/4)/4)=8. Совместно с n₀+4n₁=36 оно даёт целые n₀=24,n₁=3.
  3. Дисперсия равна 4/24+(1/4)/3=1/4. Нижняя граница Коши составляет (√4+√1)²/36=9/36=1/4, поэтому найденный целый план глобально оптимален.
  4. Для сравнения, девять независимых P₁ по цене четыре имеют Var(P₁)=17/4 и дисперсию среднего 17/36. Независимое построение двух моделей внутри разности дало бы дисперсию 33/4 вместо 1/4.

Ответ. План (24,3) тратит весь бюджет и даёт дисперсию 1/4 против 17/36 у прямого оценивания тонкой модели.

Проверка. Перебор всех положительных целых n₁ с 4n₁<36 и n₀≤36−4n₁ подтверждает единственность плана. Независимый нижний предел Коши исключает любой лучший вещественный, а значит и целый план.

Где легко ошибиться. Нельзя назвать итог несмещённым относительно неизвестной идеальной модели только потому, что телескопическая сумма несмещённа относительно P₁. Здесь цель явно EP₁; связь с иным EP потребовала бы отдельной оценки смещения.

Проверьте понимание

Какова минимальная дисперсия двухуровневой оценки при бюджете 36 в этом примере?

Вопросы к этой главе

Нужны ли известные средние дешёвых уровней?

Нет. Они оцениваются собственными выборками и сокращаются телескопически по ожиданиям. Это отличает конструкцию от контроля с заранее известным точным средним.

Почему число дешёвых прогонов больше?

Оптимизируется цена достижения дисперсии. В примере грубая часть шумнее и дешевле, поэтому получает 24 повтора; малая дорогая поправка требует только три при сохранении общей цели.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Giles: Multilevel Monte Carlo, §§1.2–1.3

    Прочитаны PDF-страницы 3–4: сопряжённые разности, независимые выборки уровней, дисперсия/цена и непрерывное распределение прогонов. Собственная двухзнаковая модель имеет отдельный сертификат Коши и целочисленный перебор.

Контрольная поправка как регрессия с известным средним: роль свободного члена

Если среднее контрольной переменной известно, интеграл можно прочитать как свободный член регрессии в правильной системе координат. Центрирование по известному среднему и центрирование по выборке выполняют разные операции.

Перед началом: Условная вероятность; Точная арифметика.

Коэффициент и точка отсчёта разделены

Пусть требуется μ=EY, а для контроля C известно точное m=EC. При фиксированном β оценка равна Ȳ−β(C̄−m). Она несмещённа по линейности ожидания. Если записать регрессию Y≈a+β(C−m), то её подогнанный свободный член равен â=Ȳ−β̂(C̄−m). Это алгебраически та же контрольная поправка, но случайно оценённый β̂ может быть зависим от средних, и точная несмещённость уже не следует из одного равенства EC=m.

Обычный интерцепт соответствует другой цели

В регрессии Y≈b+βC свободный член равен b̂=Ȳ−β̂C̄. Значение модели при C=m равно b̂+β̂m. Именно оно совпадает с контрольной оценкой интеграла. Если m не ноль, один b̂ оценивает модельный ответ при C=0, а не среднее целевого закона. Центрирование по выборочному C̄ делает интерцепт равным Ȳ и потому вообще не реализует полезную поправку относительно известного внешнего среднего.

Качество линейной модели влияет на статистическое свойство

При точном условном отношении E(Y|C)=a+β(C−m) и независимых ошибках нулевого условного среднего обычная регрессия с полным рангом даёт условно несмещённые коэффициенты при фиксированных контролях. Тогда a действительно равно EY. При произвольном нелинейном Y(C) это основание исчезает, хотя контрольная идея остаётся применимой с заранее выбранным коэффициентом или независимой настройкой. Малый обучающий остаток сам по себе не доказывает ни отсутствие смещения, ни точность нового интеграла.

Разобранная задача

Условие. Известно EC=2. В трёх наблюдениях C=(0,1,3), Y=(1,3,7), и предполагается точная аффинная связь. Найдите регрессионный свободный член при исходном C и контрольную оценку среднего Y.

  1. Наблюдения лежат на прямой Y=1+2C, поэтому исходная регрессия даёт b̂=1 и β̂=2.
  2. Выборочные средние равны C̄=4/3 и Ȳ=11/3. Обычное среднее Y отличается от модельного среднего при известном EC.
  3. Контрольная поправка равна 11/3−2(4/3−2)=5. То же число получается как b̂+β̂m=1+2·2.
  4. В центрированных координатах C−2 связь имеет вид Y=5+2(C−2). Новый интерцепт равен пяти и соответствует искомому среднему при заявленной точной связи.

Ответ. Исходный интерцепт равен 1, но оценка интеграла равна 5. Внешнее известное среднее контроля выбирает нужную точку регрессионной прямой.

Проверка. Непосредственное ожидание точного равенства Y=1+2C даёт EY=1+2EC=5. Это проверяет ответ без выборочной регрессии и показывает, какое предположение делает пример точным.

Где легко ошибиться. Не выдавайте интерцепт регрессии на нецентрированный контроль за интеграл. Также не объявляйте случайно подогнанную контрольную оценку всегда несмещённой без условий на модель или независимость настройки.

Проверьте понимание

Какое число является оценкой EY в данной модели?

Вопросы к этой главе

Что будет при центрировании на выборочном среднем?

Интерцепт станет Ȳ=11/3. Это удобная координата для подгонки, но она не использует известное EC=2 и не даёт нужной поправки.

Нужен ли идеальный линейный контроль в общем случае?

Нет. Фиксированный коэффициент сохраняет несмещённость при любом совместном законе с нужными моментами. Точная линейность в примере лишь делает контрольную оценку безошибочной.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

Контрольная переменная из плотности: тождество Стейна и граничный член

Обычный контроль требует заранее известного среднего. Тождество Стейна позволяет конструировать такие функции из логарифмической производной плотности. Главный шаг здесь — проверить допустимость функции на границе: формально похожая производная без этого условия меняет искомый интеграл.

Перед началом: Интегрирование по частям; Контрольные переменные и нормальные моменты.

Производная произведения задаёт точное среднее

Положительная дифференцируемая плотность p на интервале, дифференцируемая функция g и интегрируемый оператор Ag=g′+g(log p)′. Граничные пределы gp проверяются явно.

На конечном отрезке [a,b] имеем pAg=p g′+p′g=(pg)′. После интегрирования E(Ag(X))=[g(x)p(x)]ₐᵇ. Для бесконечных концов сначала интегрируют на конечном подынтервале, затем обосновывают пределы и интегрируемость. Если оба граничных вклада исчезают, среднее контроля равно нулю.

В формуле участвует только score s(x)=(log p(x))′. Неизвестная постоянная нормировки сокращается при дифференцировании логарифма, поэтому контроль можно вычислить и для ненормированной плотности. Однако выборка всё равно должна иметь нужный закон p; доступность score не является способом автоматически получить независимые наблюдения из него.

Нормальная плотность превращает полиномы в контроли

Для стандартного нормального закона s(x)=−x, поэтому Ag=g′−xg. Любой фиксированный полином g допустим: произведение полинома с нормальной плотностью стремится к нулю на обоих концах. Например, g(x)=x даёт h(x)=1−x² и Eh=0. Здесь среднее контроля получено из оператора и границы, а не из предварительного усреднения наблюдённых значений.

Для цели f можно использовать f−βh с заранее фиксированным β. Минимизация дисперсии по β остаётся обычной ковариационной задачей. Новая часть метода предшествует этой оптимизации: выбирают пространство допустимых g и тем самым получают семейство достоверно центрированных h. Если коэффициент обучают, независимый пилот отделяет его подгонку от основного среднего.

Гладкость не заменяет граничного условия

Возьмём равномерную плотность на (0,1). Внутри интервала score равен нулю, поэтому формальный оператор даёт Ag=g′. Для g(x)=x он постоянно равен единице. Его среднее не ноль, поскольку gp на правом конце равно одному, а на левом нулю. Вычитание такого псевдоконтроля сдвинет результат на коэффициент β.

На ограниченном носителе можно выбирать g, обращающуюся в ноль на границе, например x(1−x) для этой равномерной плотности. Тогда h=1−2x действительно имеет нулевое среднее. Разрыв продолженной плотности за пределами интервала нельзя игнорировать, объявив её score нулевым на всей прямой. Носитель и следы на его границе являются частью доказательства.

Четвёртая степень и допустимый линейный g

Условие. X имеет стандартный нормальный закон, f(X)=X⁴. Постройте h из g(x)=x, найдите оптимальный фиксированный β для f−βh и сравните дисперсии. Используйте E X²=1, E X⁴=3, E X⁶=15, E X⁸=105.

  1. Score равен −x, поэтому h=1−X². Полином x умножается на убывающую нормальную плотность, и оба граничных предела нулевые; Eh=0.
  2. Var f=105−3²=96, а Var h=E(1−X²)²=1−2+3=2.
  3. Cov(f,h)=E(X⁴−X⁶)=3−15=−12. Отсюда β=−12/2=−6. Отрицательный коэффициент допустим.
  4. Исправленный вклад равен X⁴+6(1−X²)=X⁴−6X²+6. Его среднее остаётся 3, а дисперсия равна 96−(−12)²/2=24.
  5. Для проверки границы на другом носителе берём U∼Uniform(0,1), g(u)=u. Оператор внутри носителя равен 1 и имеет среднее 1: здесь условие нулевой границы нарушено.

Ответ. Нормальный контроль h=1−X² допустим; оптимальный β=−6 уменьшает дисперсию с 96 до 24, сохраняя среднее 3.

Проверка. Прямой квадрат исправленного полинома даёт второй момент 105−12·15+48·3−72·1+36=33. Вычитание среднего в квадрате возвращает 33−9=24 без ковариационной формулы.

Где легко ошибиться. Не объявляйте Ag центрированным только по виду дифференциальной формулы. Сначала вычислите граничный член для фактического носителя и проверьте нужные моменты.

Проверьте понимание

Каков оптимальный фиксированный β в разобранном нормальном примере f−βh, h=1−X²?

Вопросы к этой главе

Зачем нужна производная логарифма, если среднее контроля всё равно проверяют?

Она переводит производную произведения gp в вычисляемую функцию g′+gs. Проверка границы устанавливает среднее без вычисления неизвестного интеграла этой функции.

Достаточно ли нулевого среднего для уменьшения дисперсии?

Нет. Контроль должен быть связан с целью и иметь конечный второй момент; неудачный фиксированный коэффициент способен увеличить разброс. Граничная проверка обеспечивает сохранение среднего, а не оптимальность.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Oates, Girolami, Chopin: Control functionals for Monte Carlo integration, §2.2

    Формулирует оператор через score и граничное условие нулевого ожидания. Здесь использована его одномерная специализация; нормальный полиномиальный пример и контрпример на ограниченном носителе вычислены непосредственно.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться