Монте-Карло: оценка и уменьшение дисперсии

Оценка площади случайными точками, антитетические пары, контрольная величина, выборка по важности и стратификация с проверкой весов и неопределённости.

Задачи модуля

Случайная оценка содержит и ответ, и разброс. Начните с независимых равномерных точек и отделите число записей от числа независимых испытаний.

Затем сравните способы изменения выборки и связей между вычислениями. Калькулятор площади помогает исследовать базовый опыт; предпосылки методов уменьшения дисперсии разберите по примерам и проверкам в статьях.

  • Вычислять оценку площади и объяснять модельную стандартную ошибку при независимых точках.
  • Проверять, когда антитетическая пара или контрольная величина сохраняет цель и уменьшает дисперсию.
  • Согласовывать плотностные и стратификационные веса, замечая проблемы поддержки и бесконечного второго момента.

Методы Монте-Карло

Монте-Карло: стандартная ошибка среднего и требуемый объём

Численная оценка случайным моделированием тоже случайна. Её погрешность уменьшается как обратный квадратный корень числа независимых прогонов.

Перед началом: Среднее и дисперсия; Центральная предельная теорема.

Отделите цель от результата запуска

Пусть нужно оценить μ=E g(U), а независимые одинаково распределённые прогоны дают Yᵢ=g(Uᵢ) с конечной дисперсией σ². Оценка μ̂=ΣYᵢ/n несмещённа, её дисперсия равна σ²/n. Это ошибка моделирования при фиксированной вероятностной модели. Если сама модель неверна, увеличение числа прогонов не устранит систематическую ошибку постановки. Для интеграла на единичном отрезке равномерное U даёт именно среднее g(U); на другом интервале нужен множитель длины.

Для интеграла на [a,b] используют Y=(b−a)g(U) при равномерном U на этом интервале. Множитель длины входит и в среднее, и в стандартную ошибку.

Оцените стандартную ошибку

По данным используют выборочную дисперсию s²=Σ(Yᵢ−μ̂)²/(n−1) и MCSE=s/√n. При подходящих условиях центральная предельная теорема даёт приближённый интервал μ̂±z·MCSE. Он не является гарантированной детерминированной границей. Для индикаторного Y можно использовать биномиальную дисперсию p(1−p); верхняя оценка 1/4 даёт консервативное планирование масштаба ошибки. При редких событиях отсутствие успехов не оправдывает нулевую оценку неопределённости без дополнительного анализа.

Бюджет и зависимость прогонов

Чтобы уменьшить стандартную ошибку вдвое при прежней дисперсии, нужно примерно вчетверо больше независимых прогонов. Фиксированный seed делает запуск воспроизводимым, но не доказывает качество модели. Для зависимых выборок, например цепи MCMC, формула s/√n без поправки на автокорреляцию обычно неверна. Нужно оценивать долгосрочную дисперсию или эффективный объём. При адаптивной остановке по наблюдаемой ошибке также следует согласовать покрытие с правилом остановки, а не автоматически переносить фиксированный нормальный интервал.

Разобранная задача

Условие. После 400 независимых прогонов среднее равно 2,1, а выборочная дисперсия равна 9. Найдите MCSE, приближённую полуширину при z=1,96 и объём для целевой MCSE не выше 0,05 при той же дисперсии.

  1. Стандартное отклонение одного прогона s=3.
  2. MCSE=3/√400=3/20=0,15.
  3. Полуширина нормального приближения равна 1,96·0,15=0,294, интервал [1,806;2,394].
  4. Требование 3/√n≤0,05 даёт n≥(3/0,05)²=3600. Это план по пилотной оценке дисперсии, а не точная гарантия.

Ответ. MCSE=0,15; приближённый интервал [1,806;2,394]; плановый объём 3600 независимых прогонов.

Проверка. Объём увеличивается в девять раз, стандартная ошибка уменьшается в три раза: 0,15/3=0,05. Это согласуется с корневым законом.

Где легко ошибиться. Не делите стандартное отклонение на n вместо √n. И не называйте Monte Carlo-интервал границей ошибки исходной научной модели.

Проверьте понимание

Во сколько раз нужно увеличить n, чтобы снизить MCSE вдвое?

Вопросы к этой главе

Почему увеличение прогонов не исправляет неверные входные распределения?

Прогоны всё точнее оценивают ожидание выбранной модели. Смещение самой модели относится к другой неопределённости.

Можно ли считать каждый шаг цепи независимым прогоном?

Только при доказанной независимости. В обычной MCMC последовательные значения зависимы, поэтому нужна поправка на корреляцию.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Joseph Kadane: Principles of Uncertainty

    Joseph Kadane, Principles of Uncertainty, раздел 10.2, особенно antithetic variables: независимое моделирование и уменьшение дисперсии. Интегралы дисперсий в примере вычислены самостоятельно.

Антитетические пары: отрицательная ковариация уменьшает ошибку

Симметричное связывание двух входов может снизить дисперсию среднего. Сравнение нужно вести при одинаковом числе вычислений функции.

Перед началом: Ковариация; Интеграл по равномерному закону.

Пара сохраняет нужные маргинальные законы

Для U~Uniform(0,1) величина 1−U имеет тот же закон. Поэтому A=[g(U)+g(1−U)]/2 несмещённо оценивает μ=∫₀¹g(u)du. Два слагаемых зависимы специально. Независимые пары строят из независимых U, а стандартную ошибку считают по средним пар, не объявляя все связанные значения отдельными независимыми прогонами. Иначе оценка ошибки будет противоречить самой конструкции метода. Предположение конечной дисперсии функции остаётся необходимым для обычного сравнения дисперсий.

Ковариация определяет выигрыш

Если Var g(U)=σ² и Cov(g(U),g(1−U))=c, то Var A=(σ²+c)/2. Среднее двух независимых вычислений имело бы дисперсию σ²/2. Метод выгоден при c<0, бесполезен при c=0 и ухудшает результат при c>0. Для монотонной функции симметричная пара обычно даёт неположительную ковариацию. Для симметричной относительно 1/2 функции, напротив, значения пары могут совпадать и не давать выигрыша за второе вычисление.

При B независимых парах оценка есть среднее B значений A. Её дисперсия равна Var(A)/B, тогда как бюджет составляет 2B вычислений g. Эта запись делает сравнение с 2B независимыми одиночными вычислениями однозначным.

Оценивайте метод по рабочей функции

Нельзя переносить идеальный выигрыш линейной функции на произвольный интеграл. Например, для g(u)=u среднее пары всегда 1/2 и дисперсия равна нулю; для g(u)=(u−1/2)² обе половины совпадают. При одинаковом бюджете важно учитывать стоимость генерации входа и функции. Для нескольких независимых пар дисперсия общего среднего равна дисперсии одной пары, делённой на число пар. Метод уменьшает случайную ошибку, но не меняет цель интегрирования и не исправляет вычислительное смещение g.

Разобранная задача

Условие. Для интеграла g(u)=u² на [0,1] сравните среднее двух независимых значений с одной антитетической парой. Найдите обе дисперсии.

  1. E U²=1/3 и E U⁴=1/5, поэтому Var(U²)=1/5−1/9=4/45.
  2. Среднее двух независимых вычислений имеет дисперсию (4/45)/2=2/45.
  3. Среднее пары A=[U²+(1−U)²]/2=U²−U+1/2. Интегрирование даёт E A=1/3 и E A²=7/60.
  4. Следовательно Var A=7/60−1/9=1/180. Отношение независимой дисперсии к антитетической равно 8.

Ответ. При двух вычислениях дисперсия снижается с 2/45 до 1/180, то есть в восемь раз.

Проверка. E[U²(1−U)²]=1/30, поэтому ковариация равна 1/30−1/9=−7/90. Подстановка (4/45−7/90)/2=1/180 даёт независимую проверку.

Где легко ошибиться. Сравнение одной пары с одним вычислением функции использует разные бюджеты. И отрицательная ковариация не гарантируется любым отражением для любой функции.

Проверьте понимание

Какой знак ковариации обеспечивает выигрыш при одинаковых маргинальных дисперсиях?

Вопросы к этой главе

Почему стандартную ошибку считают по парам?

Внутри пары значения намеренно связаны. Независимыми единицами повторения являются средние пар, полученные из независимых исходных U.

Может ли метод дать нулевую дисперсию?

Да, для некоторых специальных функций, например линейной. Это частный результат симметрии, а не общая гарантия метода.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Joseph Kadane: Principles of Uncertainty

    Joseph Kadane, Principles of Uncertainty, раздел 10.2, особенно antithetic variables: независимое моделирование и уменьшение дисперсии. Интегралы дисперсий в примере вычислены самостоятельно.

Связанные методы

Как случайные точки оценивают площадь и её неопределённость

Если точки независимо равномерны в рамке площади A, площадь области оценивают как A·K/N. Индикатор попадания имеет вероятность p и дисперсию p(1−p), поэтому модельная стандартная ошибка оценки равна A√(p(1−p)/N).

Разобрать с примером

Когда противоположные случайные точки уменьшают дисперсию

Антитетическая пара использует зависимые значения с правильными маргинальными законами. Выигрыш относительно двух независимых вычислений появляется при отрицательной ковариации выходов функции, а не просто при симметрии входных точек.

Разобрать с примером

Как величина с известным ожиданием помогает оценить другую

Контрольная величина C с известным E(C)=c позволяет оценивать E(Y) средним Y−β(C−c). При фиксированном β ожидание сохраняется. Оптимальный коэффициент при Var(C)>0 равен Cov(Y,C)/Var(C).

Разобрать с примером

Темы по порядку

  1. Как случайные точки оценивают площадь и её неопределённостьКак доля случайных попаданий оценивает площадь внутри известной рамки, откуда берётся стандартная ошибка и почему один удачный запуск не является точным доказательством.
  2. Когда противоположные случайные точки уменьшают дисперсиюКак пары U и 1−U сохраняют нужный закон, когда ковариация уменьшает ошибку и почему симметричное расположение точек помогает не каждой функции.
  3. Как величина с известным ожиданием помогает оценить другуюКак центрированная величина с известным ожиданием сохраняет ответ и уменьшает разброс, зачем нужен коэффициент ковариации и чем опасна его подгонка на той же выборке.
  4. Почему изменение закона выборки требует весов плотностейПочему более частая выборка из важной области требует весов, как проверить носитель предложения и чем несмещённость отличается от конечной дисперсии.
  5. Почему разбиение области меняет веса и ошибку имитацииКак усреднять независимые выборки из частей области с правильными весами, почему одинаковое число точек не означает одинаковую площадь и как распределять вычислительные усилия.

Проверьте понимание

В рамке площадью 6 независимо равномерно выбрали 1000 точек, 300 попали в область. Какова оценка её площади методом доли попаданий?

Рассчитать и проверить

Частые вопросы

Почему результат умножается на площадь рамки?

Доля попаданий оценивает относительную площадь области внутри рамки. Для абсолютной площади требуется её масштаб.

Все ли симметричные пары уменьшают ошибку?

Нет. Важен знак ковариации значений функции. У симметричной относительно половины функции выходы могут даже совпадать.

Обязательно ли контроль положительно связан с Y?

Нет. Отрицательная ковариация даёт отрицательный оптимальный коэффициент и тоже может уменьшить дисперсию.