Вероятность и статистика · объяснение и практика
Почему разбиение области меняет веса и ошибку имитации
Как усреднять независимые выборки из частей области с правильными весами, почему одинаковое число точек не означает одинаковую площадь и как распределять вычислительные усилия.

В теме Случайные процессы и имитация: углубление · Учебная карта
В маршруте Вычислительные и планируемые эксперименты · 10 тем
Главная мысль
В стратифицированной оценке область делят на непересекающиеся части с известными вероятностными весами wₕ. Итог равен Σwₕμ̂ₕ, а при независимых выборках его дисперсия — Σwₕ²σₕ²/nₕ. Веса частей не заменяются долями выбранных точек.
Разбиваем область, сохраняя исходную меру
Нужно найти среднее f(U) при равномерной U на (0;1). Разобьём интервал на две половины и независимо выберем по десять равномерных точек внутри каждой. В обеих частях вычислим своё среднее функции. Итог равен половине одного среднего плюс половине другого, потому что исходная вероятность каждой части равна половине.
Если граница разбиения стоит в точке 0,2, вероятностные веса уже равны 0,2 и 0,8. Даже при десяти точках в каждой части они не становятся равными. Мы намеренно выбираем число вычислений, но оно не меняет площадь области интегрирования. Простое среднее двух средних без весов в таком случае обычно оценивает другую величину.
Изолируем разброс внутри частей
Для f(u)=u исходный интеграл равен половине. На двух половинах условные средние равны 1/4 и 3/4, а условные дисперсии одинаковы: квадрат длины интервала, делённый на двенадцать, то есть 1/48. Дисперсия взвешенной оценки при десяти точках в каждой части равна 2·(1/2)²·(1/48)/10=1/960.
Двадцать обычных независимых точек на всём интервале дали бы дисперсию (1/12)/20=1/240. Разбиение в этом примере уменьшает её вчетверо, поскольку колебание между низкой и высокой половиной больше не зависит от случайного числа попавших туда точек. Однако результат каждой части всё ещё случаен; мы не подменяли интеграл значением функции в одной фиксированной точке.
Пример
Вес частей равен 0,2 и 0,8, а их оценённые средние — 3 и 7. Каков итог?
Получаем 0,2·3+0,8·7=6,2. Число пять было бы невзвешенным средним частей и не учитывало бы их разные размеры.
Количество точек и оценка ошибки решают разные задачи
При фиксированной общей стоимости и одинаковой цене вычисления выгодное теоретическое распределение числа точек пропорционально wₕσₕ, если внутренние разбросы известны. Части с большим весом и большей вариативностью требуют больше внимания. На практике разбросы можно предварительно оценить, сохранив прозрачный план основного расчёта.
В каждой используемой части должно быть положительное число точек. Для обычной выборочной оценки её дисперсии нужны хотя бы два независимых значения; одна точка не сообщает внутренний разброс. Разбиение не гарантирует выигрыш при любом произвольном распределении усилий. Поэтому проверяют веса, независимость между выборками частей, число вычислений и способ оценки неопределённости, а не только красивую равномерную картинку.
От чтения к действию
А теперь — вы
Частые вопросы
Веса равны долям всех сгенерированных точек?
Не обязательно. Они задаются исходной вероятностью частей, а число точек можно распределять иначе ради точности.
Почему дисперсии умножаются на квадраты весов?
Дисперсия умноженного среднего масштабируется квадратом коэффициента. При независимых частях затем складываются эти вклады.
Углублённый разбор
Целочисленное распределение по стратам: точная предельная выгода
При малом вычислительном бюджете непрерывная формула распределения по стратам требует целочисленной проверки. Округление пропорций не всегда даёт оптимальный допустимый план.
Перед началом: Ожидание, дисперсия и ковариация; Независимые выборки и взвешенные средние.
Определение и постановка
Для независимых страт с весами wₕ и известными дисперсиями σₕ² вклад в дисперсию оценки равен aₕ/nₕ, где aₕ=wₕ²σₕ². Числа nₕ должны быть положительными целыми.
Вывод и вычислительный критерий
Добавление одного вычисления в страту h уменьшает дисперсию на aₕ/nₕ−aₕ/(nₕ+1)=aₕ/[nₕ(nₕ+1)]. Это точная предельная выгода, а не производная в непрерывном приближении.
При одинаковой цене вычислений можно начать с одного обязательного наблюдения в каждой страте, затем каждый следующий прогон отдавать наибольшей текущей выгоде. По мере роста nₕ выгода в одной страте убывает, поэтому последовательный выбор согласуется с оптимизацией суммы убывающих выигрышей.
Обменный аргумент проверяет оптимум: если перенос последнего прогона из одной страты в другую уменьшает дисперсию, исходный план ещё не оптимален. В конечной маленькой задаче можно независимо перечислить все допустимые распределения и сравнить точные дроби.
Условия и границы вывода
Если внутренние дисперсии неизвестны и оцениваются одной точкой, планирующая формула не получает надёжной оценки σₕ². Теоретическое распределение требует известных величин либо обоснованного пилотного этапа.
Обязательное положительное nₕ относится к ненулевому весу страты. Пропуск такой страты без нового правила создаёт отсутствие оценки её вклада и обычно меняет целевое среднее.
Разные цены вычислений изменяют дискретную задачу: один дополнительный прогон уже расходует неодинаковый бюджет, и простой жадный выбор по прежней формуле не имеет той же гарантии. Непрерывное распределение, целочисленная оптимизация и практическая настройка неизвестных дисперсий должны оставаться явно различимыми этапами.
Жадное добавление оправдывается убыванием предельных выгод: a/[n(n+1)] уменьшается с n. Если очередная единица назначена меньшей выгоде, пока в другой страте доступна большая, обмен этих двух назначений уменьшает дисперсию. При одинаковой стоимости и заданных обязательных минимумах такой обменный критерий сертифицирует целочисленный оптимум.
Разобранная задача
Условие. Две страты имеют веса1/2,1/2 и дисперсии1,4. Всего можно сделать пять независимых вычислений одинаковой цены, хотя бы одно в каждой страте. Найдите оптимальные n₁,n₂.
- Коэффициенты дисперсии равны a₁=1/4,a₂=1. Начальный план(1,1).
- Первые две дополнительные точки идут во вторую страту: её выгоды1/2 и1/6 больше текущей выгоды первой1/8.
- Теперь план(1,3); следующая выгода первой1/8 больше выгоды второй1/12, поэтому получаем(2,3).
- Его дисперсия равна(1/4)/2+1/3=11/24.
Ответ. Оптимальный целочисленный план равен(2,3), дисперсия11/24.
Проверка. Все четыре допустимых плана(1,4),(2,3),(3,2),(4,1) дают дисперсии1/2,11/24,7/12,17/16. Точное сравнение подтверждает минимум независимо от жадных шагов.
Где легко ошибиться. Округлять непрерывные пропорции отдельно нельзя без проверки общей суммы и предельных выгод соседних целых планов.
Проверьте понимание
Вопросы к этой главе
Почему выгод больше у шумной страты?
Коэффициент aₕ учитывает её дисперсию и квадрат веса. Но после нескольких добавленных точек знаменатель nₕ(nₕ+1) растёт, и приоритет способен перейти другой страте.
Что если осталось одно вычисление?
Нужно сравнить точные конечные уменьшения обеих дисперсий, а не значения непрерывных производных. При малых n различие между ними особенно заметно.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Art Owen: Monte Carlo, chapter 8
Веб-ридер дал timeout; PDF прочитан через urllib и pypdf. Проверены §8.2 антитетики, §8.4 стратификация и стоимость, §8.6 общие числа, §8.9 несколько контролей. Примеры и перекрёстная проверка собственные.
Разные стоимости страт: оптимизация при бюджете вычислений
Неодинаковая стоимость вычислений меняет оптимальное распределение по стратам. Дорогое наблюдение должно оправдываться снижением дисперсии на единицу ресурса.
Перед началом: Ожидание, дисперсия и ковариация; Независимые выборки и взвешенные средние.
Определение и постановка
Минимизируем V=Σwₕ²σₕ²/nₕ при ограничении Σcₕnₕ=B, где cₕ>0 — цена одного вычисления. Сначала рассматриваем непрерывные положительные nₕ.
Вывод и вычислительный критерий
Условия Лагранжа дают−wₕ²σₕ²/nₕ²+λcₕ=0. Поэтому nₕ пропорционально wₕσₕ/√cₕ. Цена входит под квадратным корнем, а не напрямую и не в квадрате.
Нормировка по бюджету даёт nₕ=B(wₕσₕ/√cₕ)/Σwⱼσⱼ√cⱼ. Минимальная дисперсия равна(Σwₕσₕ√cₕ)²/B. Это выражение можно независимо получить из неравенства Коши для двух векторов wσ/√n и√(cn).
Важно различать число наблюдений и потраченный бюджет. При одинаковых n дорогая страта расходует больше ресурса. Равенство бюджетных долей не означает равных численностей, а пропорция Неймана для равной цены не сохраняется при изменении c.
Условия и границы вывода
Непрерывное решение может оказаться дробным. Реальный целочисленный план проверяют отдельно, учитывая обязательные минимумы, неделимые затраты и возможный остаток бюджета. Если одна страта получила меньше одного наблюдения, формальное решение не является готовой процедурой оценивания.
Формула предполагает известные внутренние дисперсии и независимые выборки страт. Плата за предварительное определение дисперсий должна войти в общий бюджет, когда она существенна.
Снижение статистической дисперсии не оправдывает использование неверных весов исходной меры. Даже оптимально распределённые количества наблюдений не меняют целевые wₕ. Ошибка подмены весов долями вычислений способна дать более стабильную оценку другой величины.
Условие равенства в неравенстве Коши совпадает с полученной пропорциейnₕ. Поэтому это не только необходимая стационарная точка: положительный план достигает общей нижней границы. Дополнительная целочисленная проверка в данном примере завершена тем, что обе непрерывные численности уже целые.
Разные цены нарушают простое правило добавления одной строки по наибольшему абсолютному снижению дисперсии. Для общего целочисленного бюджета приходится учитывать, какие наборы расходов реально доступны. Непрерывная нижняя граница остаётся полезной: если найденный допустимый целочисленный план её достигает, доказательство глобальной оптимальности завершено без перебора остальных планов.
Разобранная задача
Условие. Две страты имеют веса1/2,1/2, стандартные отклонения1,2 и цены1,4. Бюджет20. Найдите непрерывный оптимум и проверьте, допустим ли он целочисленно.
- Числители пропорции wσ/√c равны1/2 и(1/2·2)/2=1/2, поэтому оптимальные количества одинаковы.
- Бюджетное равенство n₁+4n₂=20 при n₁=n₂ даёт n₁=n₂=4.
- Дисперсия равна(1/4)/4+1/4=5/16.
- Формула нижней границы даёт[(1/2)·1·1+(1/2)·2·2]²/20=(5/2)²/20=5/16.
Ответ. План(4,4) расходует ровно20единиц и достигает минимальной дисперсии5/16.
Проверка. Условие равенства в Коши выполнено, а план целочисленный. Следовательно, он достигает непрерывной нижней границы и не может проиграть никакому допустимому целочисленному плану.
Где легко ошибиться. Пропорция wσ без поправки на цену относится к другому ограничению и может расходовать бюджет неэффективно.
Проверьте понимание
Вопросы к этой главе
Почему дорогая страта не исчезла из плана?
Её стандартное отклонение вдвое больше, что компенсирует квадратный корень из четырёхкратной цены. Ненулевой целевой вес также требует оценить её вклад.
Что происходит при одинаковых ценах?
Общий корень цены сокращается в относительных количествах. Тогда непрерывная пропорция возвращается к wₕσₕ, но целочисленная проверка по-прежнему нужна.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Art Owen: Monte Carlo, chapter 8
Веб-ридер дал timeout; PDF прочитан через urllib и pypdf. Проверены §8.2 антитетики, §8.4 стратификация и стоимость, §8.6 общие числа, §8.9 несколько контролей. Примеры и перекрёстная проверка собственные.
Страты с разной ценой: точный целочисленный бюджетный план
При разных ценах наблюдений бюджет нельзя заменить общим числом выбранных единиц. Найдём точный целочисленный план при минимальных и максимальных численностях, используя конечную таблицу состояний и отдельно проверяя достижимость бюджета.
Перед началом: Дисперсия среднего и целочисленные ограничения.
Оптимизируется дисперсия конкретного плана
Страта h содержит Nₕ единиц конечной совокупности. Заранее задана Sₕ²=Σᵢ(yₕᵢ−ȳₕ)²/(Nₕ−1), то есть дисперсия конечной совокупности с делителем Nₕ−1, а вес в общем среднем равен Wₕ=Nₕ/ΣN. При независимом простом случайном отборе без возврата дисперсия оценки среднего составляет ΣWₕ²Sₕ²(1/nₕ−1/Nₕ). Именно эту величину минимизируем, не меняя целевую совокупность вслед за планом. Для Nₕ=1 условно полагаем Sₕ²=0. Делитель Nₕ вместо Nₕ−1 дал бы другую величину и потребовал бы изменить формулу дисперсии выборочного среднего.
Цена cₕ оплачивается за каждое наблюдение. Требуется Σcₕnₕ≤B и целые границы lₕ≤nₕ≤uₕ≤Nₕ. Минимум может возникнуть с неиспользованной частью бюджета: денег бывает недостаточно для следующего допустимого увеличения. Неизрасходованный остаток поэтому не доказывает неоптимальность.
Состояние хранит точные расходы
Обозначим D(h,b) минимальную сумму дисперсионных вкладов первых h страт при точных затратах b. Начальное состояние D(0,0)=0; остальные расходы сначала недостижимы. Для каждой допустимой численности k добавляем вклад текущей страты и переходим к расходам b+cₕk.
Среди переходов в одинаковое состояние оставляем наименьшую дисперсию. Это безопасно: будущие допустимые численности зависят только от оставшихся страт и бюджета, а будущие вклады прибавляются одинаково. Индукция по числу обработанных страт доказывает, что таблица не потеряет лучший полный план. Ответ берём по всем достижимым b≤B, а не только по последнему столбцу.
Что удостоверяет конечный оптимум
Вместе со значением сохраняем выбранные численности. Прямая подстановка проверяет расходы, пределы и исходную формулу дисперсии. Для небольшой задачи полный перебор всех целочисленных векторов даёт независимый сертификат: он не повторяет сжатие состояний динамического программирования.
Непрерывное распределение усилий по множителям Лагранжа остаётся полезным ориентиром, но его округление не решает данную задачу с пределами и разной ценой. Кроме того, оптимальность относится к заданным Sₕ². Ошибка предварительной оценки этих характеристик меняет сам критерий, даже когда бюджетный алгоритм выполнен без арифметических ошибок.
Две страты при бюджете 8
Условие. Две страты имеют N₁=N₂=10, S₁²=9 и S₂²=1. Цены равны 3 и 1, бюджет 8. Для обеих страт допускается от одного до четырёх наблюдений. Найдите лучший целочисленный план.
- Веса обеих страт равны 1/2. Условие расходов принимает вид 3n₁+n₂≤8, поэтому n₁ может быть только 1 или 2.
- При n₁=1 возможны n₂=1,2,3,4; при n₁=2 — только n₂=1,2. Получено ровно шесть допустимых планов.
- Для планов первой группы дисперсии равны 9/4, 17/8, 25/12 и 33/16. Для второй группы получаем 9/8 и 1 соответственно.
- Минимум 1 единственный и достигается при (2,2). Его стоимость 3·2+2=8. Все шесть планов удовлетворяют верхним пределам конечных совокупностей.
Ответ. Оптимальный план (n₁,n₂)=(2,2), затраты 8, дисперсия оценки среднего 1.
Проверка. Полный конечный список даёт строгий разрыв до следующего результата: 9/8−1=1/8. Подстановка в исходную формулу отдельно даёт (1/4)[9(1/2−1/10)+(1/2−1/10)]=1.
Где легко ошибиться. Нельзя сравнивать планы по дисперсии невзвешенного объединения всех наблюдений. Такое объединение меняет веса страт вместе с численностями и оценивает иную величину. Также нельзя без проверки заменять ограничение неравенством на обязательное равенство расходов бюджету.
Точный целочисленный план стратифицированной выборки
До 6 страт: каждая строка N, S², цена, минимум n, максимум n. Независимый простой случайный отбор без возврата внутри страт. Веса равны N/ΣN. Бюджет до 300 целых единиц; максимум n≤30. S²=Σ(y−ȳ)²/(N−1), при N=1 задайте S²=0. Это заданные характеристики совокупностей, а не оценки инструмента.
Проверьте понимание
Вопросы к этой главе
Допустима ли одна единица в страте?
В этой задаче дисперсия совокупности известна извне, поэтому да. Если её нужно оценить по той же выборке, одного наблюдения недостаточно для обычной несмещённой оценки дисперсии.
Почему нельзя сохранять только лучший план без учёта потраченной суммы?
План с меньшей текущей дисперсией может стоить дороже и оставить недостаточно средств будущим стратам. Для продолжения существенны оба состояния: число обработанных страт и точный расход.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Statistics Canada: Survey Methods and Practices, §8.2.2.2.4–8.2.3
Прочитаны PDF-страницы 181–184: разные цены, непрерывное оптимальное распределение, верхние и минимальные размеры страт. Конечный бюджетный DP и собственный пример выведены здесь; весь учебник не прочитан.
Пустая постстрата: условный пробел и смещение заполнения
При постстратификации численности групп в выборке случайны. Даже известные размеры групп в совокупности не гарантируют, что каждая группа будет представлена. Различим отсутствие условной информации, неопределённость формулы и смещение выбранного правила заполнения.
Перед началом: Условные вероятности и математическое ожидание; Частоты и поля таблицы.
Случайный знаменатель появляется после отбора
Пусть совокупность разбита на известные группы с долями Wₕ, сумма которых равна единице. После отбора без заранее фиксированных групповых объёмов естественная постстратифицированная оценка среднего равна ΣWₕȳₕ. Здесь ȳₕ — выборочное среднее наблюдений группы, а число таких наблюдений nₕ случайно. Если nₕ=0, соответствующее среднее не определено.
Известная доля Wₕ не подсказывает неизвестный отклик пустой группы. По одному и тому же наблюдённому набору можно построить разные совместимые совокупности с разными значениями ненаблюдённой части. Это условный пробел информации, а не доказательство невозможности любых несмещённых оценок по исходному плану отбора.
Заполнение нулём определяет другую оценку
Чтобы алгоритм всегда возвращал число, нужно заранее выбрать правило для пустой группы. Если недостающий средний отклик заменить нулём, вклад группы будет появляться только при её фактическом попадании в выборку. При репрезентативном внутреннем отборе это умножает её ожидаемый вклад на вероятность непустой группы и обычно создаёт смещение.
Отбрасывание пустой группы с перенормировкой остальных весов тоже меняет цель конкретной реализации. Оно может случайно дать несмещённость в симметричном специальном примере, но не является общим доказательством. Объединение соседних групп, иммутация моделью или иной план отбора требуют собственных предпосылок и анализа неопределённости.
Дизайн и условная интерпретация различаются
Если исходный план — простая случайная выборка без возврата из конечной совокупности, обычное среднее остаётся несмещённым по всем возможным выборкам. Это не означает, что оно точно восстанавливает среднее ненаблюдённой группы в конкретном исходе. Дизайн-несмещённость усредняет ошибки по повторному отбору; условное знание после пустой группы — иной вопрос.
Отбрасывать все выборки с пустыми группами и продолжать отбор до заполнения означает менять эксперимент. Новые вероятности включения и стоимость процедуры должны быть пересчитаны. Если групповые отклики имеют известные содержательные границы, можно честно сообщить диапазон совместимых средних, но он не заменяет вероятностный доверительный интервал без дополнительной модели.
Шесть пар и две пустые постстраты
Условие. В совокупности четыре единицы: группа A содержит значения 0,2, группа B — 4,6. Из всех четырёх равновероятно выбирают две без возврата. Доли групп известны и равны 1/2. Найдите ожидание постстратифицированной оценки, если среднее пустой группы заменяется нулём.
- Имеется шесть равновероятных пар. Четыре пары пересекают обе группы, а пары (0,2) и (4,6) оставляют другую группу пустой.
- Для четырёх смешанных пар оценки равны (0+4)/2=2, (0+6)/2=3, (2+4)/2=3, (2+6)/2=4.
- Для пары из A заполнение нулём даёт (1/2)·1=1/2. Для пары из B оно даёт (1/2)·5=5/2.
- Среднее шести оценок равно (2+3+3+4+1/2+5/2)/6=5/2. Настоящее среднее совокупности равно трём, поэтому смещение равно −1/2.
Ответ. Нулевое заполнение имеет ожидание 5/2 и смещение −1/2; вероятность полностью представленных групп равна 2/3.
Проверка. Каждая группа попадает хотя бы раз с вероятностью 5/6. Её ожидаемое выборочное среднее при непустой группе равно собственному групповому среднему, поэтому Eоценки=(5/6)·3=5/2. Это независимая проверка полного перебора.
Где легко ошибиться. Фраза «веса известны» относится только к размерам постстрат. Она не заполняет случайный нулевой знаменатель и не устраняет смещение произвольной иммутации отклика.
Проверьте понимание
Вопросы к этой главе
Можно ли всё же получить несмещённую оценку?
Да: в этом простом случайном плане обычное среднее двух выбранных единиц несмещённо по всем шести парам. Оно использует исходный дизайн, а не нулевое заполнение постстрат.
Помогает ли маленькая общая ошибка весов?
Даже совершенно точные Wₕ не решают проблему пустого nₕ. Нужны данные об откликах группы, содержательная модель или другой заранее обоснованный способ оценивания.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Statistics Canada: Poststratification, §2
Прочитан первичный §2 о известных размерах постстрат и оценке с постстратификационными весами. Проблема пустого знаменателя и собственный шестиисходный контрпример разобраны здесь, без переноса примеров источника.
Страты по пилотной выборке: условная корректность второго этапа
Границы страт могут быть случайными, если они построены по отдельному пилоту. Условно на пилот новая независимая выборка интегрирует уже фиксированное разбиение, и полная вероятность сохраняет несмещённость.
Перед началом: Условная вероятность; Точная арифметика.
Пилот выбирает геометрию, основной этап оценивает
Требуется интеграл функции f на [0,1]. Пилот по любым данным выбирает границу B, лежащую строго между нулём и единицей. После этого независимо от пилота генерируют U₁ равномерно на [0,B] и U₂ равномерно на [B,1]. Оценка Î=Bf(U₁)+(1−B)f(U₂) учитывает случайные длины обоих интервалов. При условии B=b эти длины фиксированы, а среднее равно сумме двух интегралов исходной f.
Условная корректность проходит через ожидание
Если интегрируемость позволяет брать ожидания, E(Î|B)=∫₀¹f(u)du не зависит от b. По формуле полного ожидания безусловная оценка несмещённа. Для дисперсии получаем E Var(Î|B), поскольку условное среднее постоянно. При фиксированных двух точках условная дисперсия равна b²Var(f(U)|U∈[0,b])+(1−b)²Var(f(U)|U∈[b,1]). Случайное разбиение влияет на эффективность, но не создаёт дополнительной дисперсии условного среднего.
Повторное использование пилота меняет доказательство
Если точку, определившую B, затем объявить равномерной основной точкой внутри выбранной ею страты, условный закон уже обычно неверен. Событие выбора границы содержит информацию о значении пилота. Для использования таких данных нужна другая корректная весовая схема или отдельное доказательство. Излишне узкие случайные страты также могут усложнять вычисления и повышать условную дисперсию при другом распределении числа точек. Корректность и полезность адаптации надо проверять отдельно, по реальной схеме генерации.
Разобранная задача
Условие. Пилот независимо выбирает B=1/4 или B=3/4 с равными шансами. Основной этап берёт по одной независимой равномерной точке в каждой страте. Для f(u)=u найдите ожидание и дисперсию взвешенной оценки.
- При B=b средние точек равны b/2 и (1+b)/2. Взвешенное среднее равно b²/2+(1−b)(1+b)/2=1/2.
- Дисперсии равномерных точек равны b²/12 и (1−b)²/12. После внешних весов получаем [b⁴+(1−b)⁴]/12.
- Для b=1/4 значение равно [1/256+81/256]/12=41/1536. При b=3/4 оно то же по симметрии.
- Условное среднее постоянно, поэтому итоговая дисперсия равна среднему этих одинаковых условных дисперсий, то есть 41/1536.
Ответ. Ожидание равно 1/2, дисперсия — 41/1536. Случайность симметричного выбора границы не создаёт смещения.
Проверка. Интеграл ∫₀¹u du равен 1/2 непосредственно. Для сравнения две независимые равномерные точки на всём интервале дали бы дисперсию среднего 1/24, что больше 41/1536; это отдельная проверка эффективности в конкретной функции.
Где легко ошибиться. Не забывайте веса длин B и 1−B. Простое среднее двух значений при неравных стратах оценивает смесь с равными весами страт, а не равномерный интеграл исходного интервала.
Проверьте понимание
Вопросы к этой главе
Должен ли пилот быть несмещённым оценивателем интеграла?
Нет. Он только выбирает допустимое разбиение. Для доказательства важны независимость основного этапа и корректные условные законы внутри выбранных страт.
Можно ли выбирать B по прежним вычислениям f?
Да, если основной этап затем независим и условные веса соответствуют выбранным длинам. Использование прежних точек в самом итоге требует отдельного анализа.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Art B. Owen: Monte Carlo Theory, Methods and Examples, chapter8
Стратифицированное интегрирование; случайные границы от независимого пилота рассматриваются условно на пилот.
Включить пилот без смещения: предсказуемое взвешивание адаптивной выборки
Если удачный ранний результат заставляет чаще выбирать ту же категорию, простое среднее меняет целевое распределение. Отбрасывать пилот необязательно: каждый вклад можно исправить его собственной предсказуемой вероятностью выбора. Корректность тогда устанавливается условно перед каждым новым наблюдением.
Перед началом: Условное ожидание по истории; Важностное взвешивание и мартингальные разности.
Вероятность должна быть известна до нового результата
Конечные категории с фиксированными целевыми весами wⱼ и значениями fⱼ. На каждом такте категория выбирается с положительными вероятностями qₜⱼ, вычисленными только по прошлому; число тактов заранее фиксировано.
Пусть история перед тактом t задаёт qₜⱼ=P(Jₜ=j|прошлое). Эти числа можно менять по прежним значениям f, но нельзя выбирать после просмотра текущего результата. Для цели μ=Σwⱼfⱼ используем Hₜ=w_{Jₜ}f_{Jₜ}/qₜ,Jₜ. Положительность q нужна во всех категориях с ненулевым целевым вкладом.
Условно по прошлому E(Hₜ|прошлое)=Σqₜⱼwⱼfⱼ/qₜⱼ=μ. Следовательно Hₜ−μ являются мартингальными разностями. Среднее всех Hₜ за фиксированное число тактов несмещённо, включая первый пилотный такт. Оно не требует считать прежние точки новой условной выборкой из разбиения, которое они сами помогли выбрать.
Вес хранит историю генерации
К каждому наблюдению нужно сохранить именно породившее его qₜⱼ. Нельзя позднее перевзвесить все прежние точки последним предложением: это предложение зависит от самих наблюдений и обычно не является их исходным условным законом. Также отношение к случайной сумме весов даёт другую, самонормированную процедуру, несмещённость которой этим доказательством не установлена.
При конечных вторых моментах разные центрированные вклады некоррелированы: для s<t произведение Hₛ−μ известно перед тактом t, а условное среднее Hₜ−μ равно нулю. Поэтому дисперсия среднего равна n⁻²ΣE Var(Hₜ|прошлое). Независимости и одинакового распределения между всеми тактами здесь нет; обычная формула для независимой одинаковой выборки нуждается в замене.
Адаптация не гарантирует экономию
Малые q могут породить большие веса. Нижний предел qₜⱼ≥εwⱼ с ε>0 ограничивает отношение w/q величиной 1/ε и помогает контролировать вторые моменты ограниченной функции. Но произвольное усиление уже увиденного большого значения не обязано быть хорошим выбором по дисперсии. Несмещённость — свойство взвешивания, эффективность — дополнительный вопрос.
Если внутри категории ответ также случаен, требуется новый результат с правильным условным средним при выбранной категории, без подсматривания до выбора. Остановка по удачному текущему среднему меняет ещё и знаменатель числа тактов; доказательство для заранее фиксированного n не переносится на такую остановку автоматически.
Пилот усиливает категорию с единицей
Условие. Две категории A,B имеют целевые веса по 1/2 и значения f_A=0,f_B=1. Первый выбор равновероятен. После A второй выбор B имеет вероятность 1/2; после B — 3/4. Оба такта включаются в среднее. Найдите ожидания простого и исправленного среднего.
- Четыре пути AA,AB,BA,BB имеют вероятности 1/4,1/4,1/8,3/8. Их сумма равна единице; второй выбор зависит от первого.
- Простые средние на этих путях равны 0,1/2,1/2,1. Ожидание равно 1/8+1/16+3/8=9/16, хотя целевая средняя равна 1/2.
- На первом такте H₁ совпадает с f. На втором вклад B после A равен (1/2)/(1/2)=1, а после B равен (1/2)/(3/4)=2/3. Вклад A равен нулю.
- Исправленные двухтактные средние равны 0,1/2,1/2,5/6. Их взвешенное среднее 1/8+1/16+5/16=1/2. Первый результат сохранён, но его вероятность не переписана задним числом.
- Условная дисперсия H₂ равна 1/4 после A и 1/12 после B. Вместе с VarH₁=1/4 получаем дисперсию итогового среднего (1/4+1/6)/4=5/48.
Ответ. Простое среднее смещено вверх: E=9/16. Исправленное имеет точное среднее 1/2 и дисперсию 5/48.
Проверка. Перебор четырёх исправленных значений даёт второй момент 17/48. После вычитания (1/2)² остаётся 5/48, независимо подтверждая условную дисперсионную формулу.
Где легко ошибиться. Не используйте последнюю адаптивную вероятность для всех прошлых наблюдений: у каждого вклада свой предсказуемый закон выбора.
Проверьте понимание
Вопросы к этой главе
Почему пилот не нужно удалять?
Его собственная вероятность известна до его результата, поэтому его вклад имеет то же корректное условное среднее. Удаление необходимо лишь в других схемах, которые не доказывают корректного включения.
Можно ли вычислить q после получения f и назвать это адаптацией?
Для этого доказательства нельзя. q должно быть определено по прошлому до выбора текущей категории; иначе условная сумма с сокращением q не описывает действительную генерацию.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Delyon, Portier: Asymptotic optimality of adaptive importance sampling, Algorithm 1
Определяет обновление предложения по прошлым этапам и накопление вкладов с плотностью, использованной при генерации. Здесь конечная категориальная версия доказана условным ожиданием и проверена полным деревом двух тактов.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как случайные точки оценивают площадь и её неопределённость
Как доля случайных попаданий оценивает площадь внутри известной рамки, откуда берётся стандартная ошибка и почему один удачный запуск не является точным доказательством.
Открыть темуКак величина с известным ожиданием помогает оценить другую
Как центрированная величина с известным ожиданием сохраняет ответ и уменьшает разброс, зачем нужен коэффициент ковариации и чем опасна его подгонка на той же выборке.
Открыть тему