Вероятность и статистика · объяснение и практика

Что меняется при выборе без возвращения

Как считать последовательные выборы без возвращения: изменение состава, условный второй шаг и отличие совместной вероятности от отдельного шанса второго выбора.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Комбинаторика и пространство исходов · Учебная карта

Главная мысль

При выборе без возвращения состав набора после известного первого результата меняется. Вероятность конкретной последовательности равна вероятности первого шага, умноженной на условную вероятность второго. Нельзя автоматически использовать исходную долю на обоих шагах, как при независимом возвращении предмета.

Как обновить состав после первого выбора

В мешке четыре зелёных и два жёлтых одинаковых жетона. Выбирают два по очереди без возвращения. Вероятность зелёного на первом шаге равна четырём шестым. Если первый жетон действительно зелёный, в мешке остаются три зелёных и два жёлтых, всего пять. Для второго зелёного на этой ветви вероятность равна трём пятым.

Уменьшились и общее число жетонов, и число зелёных. Если изменить только знаменатель и оставить четыре зелёных в числителе, получится описание другого набора. Полезно после каждого известного выбора кратко записывать остаток по цветам. Эта запись помогает контролировать, какое условие уже известно и к какому состоянию относится следующая дробь.

Как вычислить вероятность всей последовательности

Для двух зелёных подряд перемножаем четыре шестых и три пятых. Получаем двенадцать тридцатых, то есть две пятых. Первое число описывает вход на нужную ветвь, второе — продолжение этой ветви после зелёного. Их произведение относится к совместному событию двух шагов, а не только к вероятности второго выбора самого по себе.

Если бы первый жетон возвращали и снова равномерно перемешивали набор, на втором шаге снова было бы четыре зелёных из шести. Тогда для двух зелёных получилось бы произведение двух одинаковых долей. Различие ответов возникает из процедуры возвращения, а не из выбора более удобного правила. Сначала прочитайте, что происходит с предметом между попытками.

Пример

P(два зелёных) = (4/6) × (3/5) = 2/5.

Дробь три пятых является условной вероятностью после первого зелёного. Она не описывает все возможные состояния мешка перед вторым выбором.

Как не перепутать условный и общий второй шанс

Если первый цвет неизвестен, перед вторым выбором возможны разные состояния. После зелёного осталось три зелёных из пяти, после жёлтого — четыре из пяти. Для общего второго шанса зелёного нужно учитывать обе ветви с их вероятностями. Нельзя объявить три пятых универсальным шансом второго зелёного вне зависимости от того, что произошло раньше.

В симметричном равномерном выборе отдельная вероятность зелёного на второй позиции равна исходным четырём шестым, хотя два выбора зависимы. Это не противоречие: условные вероятности по известным первым цветам различаются, а их взвешенное объединение даёт общий результат. Зависимость проверяется изменением шанса при дополнительной информации, а не обязательным отличием всех отдельных позиционных вероятностей.

Если требуется один зелёный и один жёлтый без указания порядка, учитываются две последовательности: зелёный, затем жёлтый, и жёлтый, затем зелёный. Их вероятности складывают, потому что одновременно эти порядки в одном опыте не происходят. Событие «два зелёных» имеет лишь одну цветовую ветвь, поэтому дополнительного умножения на два там нет.

От чтения к действию

А теперь — вы

В мешке три красных и два белых жетона. Первый вынутый жетон красный и не возвращён. Каков шанс красного следующим?

Частые вопросы

Почему знаменатель на втором шаге становится пять?

Один из шести жетонов уже вынут и не возвращён. Следующий выбор выполняется из пяти оставшихся объектов.

Два выбора зависимы, если отдельный шанс зелёного на второй позиции такой же?

Да, они могут быть зависимы. Важны условные шансы после известного первого результата, а не только совпадение общих вероятностей по позициям.

Углублённый разбор

Отрицательная ковариация индикаторов при выборе без возврата

Отбор без возвращения создаёт отрицательную ковариацию индикаторов включения. Присутствие одного объекта немного уменьшает шанс присутствия другого.

Перед началом: Комбинаторный подсчёт конечных исходов; Индикаторы и независимые испытания.

Определение и постановка

В простой случайной выборке размера n из N разных объектов индикатор Iᵢ имеет ожидание n/N. Для двух разных объектов E(IᵢIⱼ)=n(n−1)/(N(N−1)).

Вывод и вычислительный критерий

Вторая формула считает вероятность включить обе метки: сначала одну с вероятностью n/N, затем вторую с условной вероятностью (n−1)/(N−1). Вычитая (n/N)², получаем Cov(Iᵢ,Iⱼ)=−n(N−n)/(N²(N−1)).

Сумма всех N индикаторов детерминированно равна n, поэтому её дисперсия нулевая. Положительные индивидуальные дисперсии точно компенсируются отрицательными попарными ковариациями.

Условия и границы вывода

Формула относится к разным меткам и равновероятным подмножествам фиксированного размера. При отборе с возвращением индикатор «хотя бы раз включён» имеет другой закон. При случайном размере выборки знак зависимости может измениться.

Граничные случаи n=0 и n=N дают нулевые дисперсии и ковариации. Формула требует N>1, поскольку для единственного объекта пары разных меток нет.

Вероятность включить вторую метку после известного включения первой равна одной четверти. Она ниже безусловных двух пятых. После известного невключения первой метки шанс второй равен половине, потому что два места распределяются среди четырёх оставшихся объектов. Взвешивание двух условий возвращает две пятых: две пятых на одну четверть плюс три пятых на половину. Эти три значения непосредственно показывают отрицательную связь и проверяют знаменатели. Для выборки размера один совместное включение разных меток невозможно, но маргинальные вероятности положительны; ковариация тогда строго отрицательна без необходимости вычислять сложные сочетания.

Полный перебор десяти пар даёт четыре пары с первой меткой, четыре со второй и одну общую. Поэтому проверка использует одинаковое пространство исходов для всех трёх вероятностей, что исключает незаметную смену знаменателя.

Разобранная задача

Условие. Из пяти объектов равновероятно выбирают два. Найдите ковариацию включения первой и второй меток.

  1. Всего C(5,2)=10 допустимых пар. Первая метка встречается в четырёх парах.
  2. Каждый индивидуальный шанс равен 2/5. Обе метки встречаются в одной паре из десяти.
  3. Произведение средних равно 4/25, совместное среднее равно 1/10.
  4. Ковариация равна 1/10−4/25=−3/50.

Ответ. Ковариация индикаторов двух разных меток равна −3/50.

Проверка. Каждый индикатор имеет дисперсию 6/25. Проверка постоянной суммы: 5·6/25+20·(−3/50)=0. Вторая сумма считает упорядоченные разные пары.

Где легко ошибиться. Нельзя путать отсутствие возвращения с независимыми включениями объектов: фиксированный размер непосредственно связывает индикаторы.

Проверьте понимание

Какова дисперсия суммы индикаторов включения при фиксированном n?

Вопросы к этой главе

Насколько сильна зависимость при малом n/N?

Для отдельных пар ковариация может быть мала, но это приближение не делает точное пространство выборки независимым. Суммарная поправка иногда остаётся существенной.

Почему нужен множитель N−1?

После фиксации одной метки остаётся именно N−1 возможная другая метка. Использование N повторно описало бы другую схему отбора.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • SciPy: отбор без возвращения

    HTML определение и Notes проверены: конечная совокупность, размер отбора и гипергеометрическая масса. Метки N,K,n в главе объявлены отдельно от соглашений API.

Дополнение выборки: задача о большом отборе через малый остаток

Большую выборку без возвращения удобно описывать малым дополнением. Число успехов в отобранной части равно общему запасу успехов минус число успехов в остатке.

Перед началом: Комбинаторный подсчёт конечных исходов; Индикаторы и независимые испытания.

Определение и постановка

Если X считает успехи в n выбранных из N объектов, а K — число успехов в генеральной совокупности, то Y=K−X считает успехи среди N−n невыбранных.

Вывод и вычислительный критерий

Операция дополнения является биекцией между подмножествами размера n и N−n. Поэтому Y имеет гипергеометрический закон с теми же N,K и новым размером N−n. Равенство событий X≥k и Y≤K−k меняет направление хвоста.

Этот приём уменьшает число слагаемых при почти полном отборе и одновременно даёт проверку носителя: X не может быть меньше K−(N−n), поскольку в остатке помещается не больше N−n успехов.

Условия и границы вывода

Дополнение должно строиться относительно той же конечной совокупности. При заменах или повторных попаданиях тождество X+Y=K исчезает. Нельзя использовать преобразование для независимой новой выборки того же размера.

Симметрия относится к распределению состава, а не к независимости двух частей. Отобранная часть и остаток полностью связаны суммой K, поэтому их ковариация отрицательна.

Минимальный возможный счёт отмеченных в отобранной восьмёрке равен двум. В остатке всего два места, поэтому больше двух из четырёх отмеченных скрыть нельзя. Максимум равен четырём. Полный закон большого отбора поэтому содержит только три значения: два, три и четыре, с массами две пятнадцатых, восемь пятнадцатых и одна треть соответственно. Среднее равно шестнадцати пятым и совпадает с восемью, умноженными на долю отмеченных четыре десятых. Такое сравнение носителя и среднего полезно до вычисления хвоста: ответ с ненулевой вероятностью нуля или единицы был бы невозможен независимо от арифметики.

Разобранная задача

Условие. В партии десять объектов, из них четыре отмечены. Отбирают восемь без возвращения. Найдите вероятность получить не менее трёх отмеченных через состав остатка.

  1. Остаток содержит два объекта и Y отмеченных; X=4−Y.
  2. Условие X≥3 равносильно Y≤1. Единственный запрещённый случай остатка — две отмеченные метки.
  3. Его вероятность равна C(4,2)/C(10,2)=6/45=2/15.
  4. Искомая вероятность равна 1−2/15=13/15.

Ответ. Вероятность получить не менее трёх отмеченных равна 13/15.

Проверка. Прямой подсчёт больших выборок даёт [C(4,3)C(6,5)+C(4,4)C(6,4)]/C(10,8)=(24+15)/45=13/15.

Где легко ошибиться. При переходе к остатку верхний хвост становится нижним. Сохранение направления неравенства выбирает другое событие.

Проверьте понимание

Если X=K−Y, чему равносильно X≥k?

Вопросы к этой главе

Что происходит с дисперсией?

У X и Y одинаковая дисперсия, поскольку X=K−Y и K постоянно. Их средние различны и в сумме дают K.

Нужно ли выписывать порядок объектов?

Нет. Биекция действует на неупорядоченных подмножествах. Добавление порядков одновременно в числитель и знаменатель лишь усложнит тот же расчёт.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • SciPy: отбор без возвращения

    HTML определение и Notes проверены: конечная совокупность, размер отбора и гипергеометрическая масса. Метки N,K,n в главе объявлены отдельно от соглашений API.

Неравновероятный отбор без возврата: оценка Хорвица—Томпсона

При неравновероятном отборе среднее выбранных значений может систематически отличаться от среднего совокупности. Для оценки общего итога будем учитывать вероятность включения каждой единицы и отдельно проверим роль совместного включения в дисперсии.

Перед началом: Конечная модель вероятностей; Математическое ожидание и дисперсия.

Вероятность выборки и вероятность включения различаются

Совокупность состоит из N фиксированных единиц со значениями yᵢ. Случайность задаётся планом выбора подмножества S. Обозначим Iᵢ индикатор попадания единицы i в S, πᵢ=E Iᵢ её положительную вероятность включения. Вероятность отдельной выборки обычно не равна πᵢ: одна единица может входить в несколько разных возможных подмножеств.

Оценка общего итога имеет вид T̂=ΣᵢIᵢyᵢ/πᵢ. Усреднение по плану даёт E T̂=Σᵢyᵢ, поскольку E Iᵢ=πᵢ. Независимость индикаторов не требуется. Значения совокупности здесь фиксированы, а ожидание относится именно к процедуре отбора, не к модели случайных значений y.

Совместный план задаёт неопределённость

Для дисперсии нужны πᵢⱼ=E(IᵢIⱼ). На диагонали πᵢᵢ=πᵢ; вне диагонали это вероятность совместного включения двух разных единиц. Раскрытие дисперсии суммы даёт ΣᵢΣⱼ(πᵢⱼ−πᵢπⱼ)yᵢyⱼ/(πᵢπⱼ). Отбрасывание парных членов в общем случае неверно.

Для плана с постоянным размером выборки существует эквивалентная запись через квадраты разностей yᵢ/πᵢ. Но при переменном размере она требует отдельной проверки условий. Теоретическая дисперсия и её несмещённая оценка по одной выборке тоже различаются: нулевые совместные вероятности могут мешать последней, не разрушая несмещённость самого итога.

Все исходы данного плана отбора
Выбранная параВероятностьОценка итога
1,21/28
1,31/456/3
2,31/464/3

Положительное включение является условием идентификации

Если πᵢ=0, процедура никогда не увидит yᵢ. Произвольное изменение только этого значения оставит закон наблюдений прежним, но изменит итог. Поэтому без дополнительных сведений нельзя получить универсальную несмещённую оценку неизвестного общего итога. Это содержательная невозможность, а не неудобство деления на ноль.

Даже при положительных πᵢ очень малые вероятности создают большие веса и потенциально большой разброс. Нормировать готовые веса до единицы без изменения названия оцениваемой величины нельзя: такая случайная нормировка обычно задаёт другую оценку. Для среднего известной совокупности достаточно разделить оценку итога на фиксированное N.

Три единицы и три возможные пары

Условие. Совокупность имеет значения (2,4,8). План выбирает пары {1,2}, {1,3}, {2,3} с вероятностями 1/2,1/4,1/4. Найдите несмещённую оценку итога на каждой выборке, её среднее и дисперсию.

  1. Вероятности включения равны π₁=3/4, π₂=3/4, π₃=1/2. Каждая получается суммированием вероятностей содержащих единицу пар.
  2. Взвешенные итоги для трёх пар равны 2/(3/4)+4/(3/4)=8, затем 56/3 и 64/3. Истинный итог совокупности равен 14.
  3. Среднее по плану равно (1/2)8+(1/4)(56/3+64/3)=14, что подтверждает несмещённость.
  4. Прямое среднее квадратов отклонений от 14 равно (1/2)36+(1/4)(14/3)²+(1/4)(22/3)²=332/9. Обычное расширение невзвешенной суммы множителем 3/2 имело бы среднее 51/4.

Ответ. Возможные оценки итога: 8,56/3,64/3; ожидание 14, дисперсия 332/9.

Проверка. Для фиксированного размера два парная формула даёт вклады 4/9,200/9,128/9, сумма которых 332/9. Это независимая проверка прямого трёхисходного распределения оценки.

Где легко ошибиться. Не используйте вероятность конкретной пары как вес включённой единицы. Например, единица 1 встречается в двух парах и имеет вероятность включения 3/4. Подстановка 1/2 вместо неё меняет оценку и разрушает показанное равенство ожидания итогу.

Проверьте понимание

Каково математическое ожидание оценки Хорвица—Томпсона в задаче?

Вопросы к этой главе

Нужно ли считать каждую единицу случайной?

Нет. В дизайн-ориентированном расчёте значения yᵢ фиксированы. Случайна выборка и её индикаторы; другая модель со случайной совокупностью требует явно отделить два источника усреднения.

Положительных πᵢ достаточно для несмещённости?

Для приведённой оценки неизвестного итога — да, при известном плане и конечных значениях. Для несмещённого оценивания её дисперсии по одной выборке дополнительно важны совместные вероятности и наблюдаемость пар.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Aronow–Samii, Survey Methodology 2013, §2–2.2

    Прочитаны определение включения, оценка итога, ковариационная формула дисперсии и различие нулевых одиночных/парных вероятностей. Трёхисходный план и числа составлены отдельно.

Последовательный взвешенный отбор и условный отбор фиксированного размера

Слова «выбрать два объекта с весами» не задают единственную вероятность пары. Последовательное исключение уже выбранного объекта и условие фиксированного числа независимых включений дают разные законы.

Перед началом: Условная вероятность; Точная арифметика.

Последовательная схема помнит первый выбор

Пусть положительные веса объектов равны wᵢ. Сначала выбирают один объект пропорционально весу, затем другой пропорционально оставшимся весам. Вероятность неупорядоченной пары {i,j} получается суммой двух порядков: wᵢ/W·wⱼ/(W−wᵢ)+wⱼ/W·wᵢ/(W−wⱼ). Знаменатель второго шага зависит от того, кто был выбран первым. Поэтому итоговая масса пары обычно не пропорциональна только произведению двух весов.

Условное включение устроено иначе

Можно независимо включать объекты с шансами pᵢ=wᵢ/(1+wᵢ), а затем оставить только реализации ровно нужного размера. Вероятность подмножества S до условия равна общему множителю ∏(1−pᵢ), умноженному на ∏ᵢ∈S wᵢ. После условия на размер общий множитель сокращается. Для пар получаем массы, пропорциональные wᵢwⱼ. Это другая конструкция выборки без возвращения; одно и то же слово «вес» не делает её эквивалентной последовательной.

План нужен до оценки итогов

Вероятность включения отдельного объекта получают суммированием масс всех допустимых подмножеств, содержащих его. Она зависит от полного плана, а не равна автоматически выбранному весу, делённому на сумму весов. Если затем строится оценка Хорвица—Томпсона, подстановка шансов другой схемы разрушает её обоснование. Для небольшого набора полный перечень подмножеств предоставляет независимую проверку алгоритма; для большого нужны соответствующие конкретному плану рекурсии или специальные генераторы.

Разобранная задача

Условие. Из трёх объектов с весами (1,1,2) выбирают два. Найдите вероятность пары первых двух и вероятность включения третьего при последовательной схеме и при условной схеме независимых включений.

  1. В последовательной схеме первые два могут идти в порядке 1,2 или 2,1. Каждая ветвь имеет вероятность (1/4)(1/3)=1/12. Поэтому их пара имеет массу 1/6.
  2. Другие две пары симметричны и вместе имеют массу 5/6. Каждая равна 5/12; вероятность включения третьего равна 5/6.
  3. В условной схеме произведения весов трёх пар равны 1,2,2. Нормировка даёт массы 1/5,2/5,2/5.
  4. Третий входит во вторую и третью пары, поэтому его включение имеет вероятность 4/5. Оба ответа отличаются от последовательных.

Ответ. Для пары {1,2} получаем 1/6 против 1/5, для включения третьего — 5/6 против 4/5. Ни одна схема не является автоматически единственной правильной интерпретацией весов.

Проверка. В каждой схеме сумма трёх вероятностей пар равна единице. Сумма индивидуальных вероятностей включения равна двум, поскольку размер каждой реализованной выборки точно равен двум; это проверяет учёт пар независимо от порядка генерации.

Где легко ошибиться. Не переносите вероятности включения между разными алгоритмами только потому, что оба используют одинаковые исходные веса. План включает порядок рандомизации и условие отбора, а не только список чисел.

Проверьте понимание

Какова масса пары первых двух в условной схеме?

Вопросы к этой главе

Когда эти две схемы совпадут?

При равных положительных весах все подмножества заданного размера симметричны. Обе конструкции дают равномерный отбор, хотя реализуются по-разному.

Можно ли заменить вторую вероятность формулой 2wᵢ/W?

В примере для третьего это дало бы единицу, тогда как точные планы дают 5/6 и 4/5. Такая подстановка не следует из определения ни одной схемы.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Yves Tille et al.: Conditional Poisson Sampling

    Условная пуассоновская выборка фиксированного объёма; закон пары сопоставлен с последовательным выбором без возвращения.

  • R Core: Random Samples and Permutations

    Последовательное применение весов к оставшимся объектам при выборе без возвращения.

Конечное ожидание успехов: отрицательный гипергеометрический закон

В партии из девяти объектов четыре отмечены. До второй отметки в среднем нужны четыре извлечения; вероятность закончить ровно на четвёртом равна 5/21. Независимая отрицательно-биномиальная модель с p=4/9 дала бы другое среднее.

Перед началом: Сочетания и случайные подмножества; Остановка на заданном числе успехов.

Останавливаемся в случайной перестановке конечного набора

Известная конечная партия N с K отмеченными объектами; равномерная случайная перестановка без возвращения, остановка на r-й отметке,1≤r≤K.

Разложим N объектов в равномерно случайном порядке и будем просматривать их слева направо. K из них отмечены. Время Tᵣ — позиция r-й отметки, включая завершающее извлечение. Ранний успех уменьшает долю оставшихся отмеченных, поэтому очередные попытки не независимы. При этом все K позиций отметок образуют равновероятное подмножество множества 1,…,N.

Поддержка срока конечна: r≤Tᵣ≤N−K+r. Наибольшая позиция получается, если все N−K неотмеченных встретились до r-й отметки. Если K<r, требуемая остановка невозможна; формулу нельзя продолжать за эту границу. Если все объекты отмечены, срок равен r без случайного разброса. Эти случаи отличаются от бесконечной независимой серии с постоянной вероятностью успеха.

Фиксируем завершающую позицию и считаем остальные отметки

Событие Tᵣ=t требует r−1 отмеченную позицию среди первых t−1, отметку точно на t и ещё K−r отметок среди оставшихся N−t. Поэтому P(Tᵣ=t)=C(t−1,r−1)C(N−t,K−r)/C(N,K). Все множества успешных позиций равновозможны; отдельного множителя постоянной вероятности последнего успеха здесь нет.

Среднее особенно прозрачно через промежутки. Между K отметками, до первой и после последней стоят K+1 групп неотмеченных объектов G₀,…,G_K с суммой N−K. Каждому набору их размеров соответствует ровно одно подмножество позиций отметок. Равномерный выбор делает эти промежутки обменными, поэтому E[Gⱼ]=(N−K)/(K+1). Они не независимы, поскольку сумма фиксирована.

Два представления дают независимые проверки срока

До r-й отметки проходят r отмеченных объектов и первые r промежутков. Следовательно E[Tᵣ]=r+Σⱼ₌₀ʳ⁻¹E[Gⱼ]=r(N+1)/(K+1). Это не сумма r независимых геометрических ожиданий. Даже когда отдельная позиция имеет маргинальную вероятность K/N, предыдущие наблюдения меняют её условное значение.

Для проверки хвоста используйте Tᵣ≤m тогда и только тогда, когда в первых m позициях находятся хотя бы r отметок. Последний счёт имеет обычный гипергеометрический закон. Таким образом, один вопрос решается подсчётом специальных остановленных позиций, другой — гипергеометрическим хвостом фиксированного блока. Они должны дать одинаковую вероятность события срока. Важно отдельно объявлять, считается ли полный срок Tᵣ или число неотмеченных Tᵣ−r: некоторые библиотеки используют именно сдвинутую переменную.

Вторая отметка в партии из девяти

Условие. N=9,K=4,r=2. Найдите P(T₂=4), средний полный срок и вероятность закончить не позже четвёртого извлечения.

  1. Четыре отмеченные позиции равномерно выбираются среди C(9,4)=126 подмножеств. Поддержка T₂ — от 2 до 7.
  2. При T₂=4 одна отметка должна стоять среди первых трёх позиций, одна точно на четвёртой и ещё две среди последних пяти. Число вариантов C(3,1)C(5,2)=30; вероятность 30/126=5/21.
  3. Пять промежутков содержат всего пять неотмеченных объектов и имеют среднее по одному. До второй отметки учитываются два промежутка, поэтому E[T₂]=2+2=4.
  4. Для T₂≤4 суммируем случаи двух, трёх или четырёх отметок в первых четырёх: [C(4,2)C(5,2)+C(4,3)C(5,1)+C(4,4)C(5,0)]/126=81/126=9/14.
  5. Проверка по отдельным срокам даёт P(T₂=2)=21/126 и P(T₂=3)=30/126. Вместе с 30/126 для срока 4 получаем те же 81/126.

Ответ. P(T₂=4)=5/21; E[T₂]=4 извлечения; P(T₂≤4)=9/14.

Проверка. Полный перебор 126 подмножеств успешных позиций выделяет вторую наименьшую позицию каждого набора. Их среднее равно 4, ровно 30 наборов имеют вторую позицию 4, а 81 — позицию не больше 4.

Где легко ошибиться. Число C(t,r) не фиксирует последний успех на позиции t. Оно включает порядки, где остановка произошла раньше, поэтому не даёт вероятность точного срока.

Проверьте понимание

Какова вероятность T₂=4 в разобранном примере статьи с N=9 и K=4?

Вопросы к этой главе

Почему нельзя использовать p=K/N в отрицательно-биномиальном законе?

Эта p относится к отдельной случайной позиции. После извлечений состав остатка меняется, независимости нет. В примере независимая формула дала бы r/p=9/2 вместо точных 4.

Что происходит при r=K?

Сроком становится позиция последней отметки. Верхняя граница достигает N, а формула среднего даёт K(N+1)/(K+1); завершающий промежуток после последней отметки в срок не входит.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • SciPy, scipy.stats.nhypergeom: definition and probability mass

    Отбор без возвращения до заданного числа объектов выбранного типа. Документация считает другой тип до остановки; здесь явно используется полный срок и самостоятельно выводится его сдвиг и среднее.

Кластеры вместо отдельных единиц: точная дисперсия и выбор масштаба отбора

Двенадцать наблюдений не описывают план полностью: важно, из скольких кластеров они получены. Условная дисперсия отделяет ошибку выбора кластеров от ошибки обследования внутри каждого и даёт две разные поправки на конечность.

Перед началом: Дисперсия простого случайного среднего; Формула полной дисперсии.

Среднее остаётся одним и тем же при смене плана

Конечная совокупность из N кластеров одинакового размера M. Простой случайный отбор без возврата проводится на обеих ступенях; вторые ступени независимы условно по выбранным кластерам.

Значения yᵢⱼ считаются фиксированными; случайность создаёт только отбор. Вначале выбираем n из N кластеров равновероятно. В каждом выбранном независимо выбираем m из M единиц. При одинаковых размерах оценка общего среднего — среднее n выборочных кластерных средних. Она несмещённа для среднего всех NM значений, а не только для обследованных групп.

Обозначим истинное среднее кластера μᵢ, среднее всей совокупности μ. Межкластерная дисперсия S²_B=Σ(μᵢ−μ)²/(N−1). Внутри кластера S²ᵢ=Σ(yᵢⱼ−μᵢ)²/(M−1), а средняя внутрикластерная дисперсия равна S²_W=ΣS²ᵢ/N. Эти величины определены по конечной совокупности и имеют разные делители.

Условие по первой ступени раскрывает два источника ошибки

Если известен набор выбранных кластеров, условное среднее оценки равно среднему их истинных μᵢ. Его дисперсия при выборе кластеров составляет (1−n/N)S²_B/n. Условная дисперсия самой оценки равна сумме n внутрикластерных дисперсий средних, делённой на n². Усреднение этой суммы по первой ступени даёт (1−m/M)S²_W/(nm).

Следовательно, V(n,m)=(1−n/N)S²_B/n+(1−m/M)S²_W/(nm). Второй член не получает дополнительный множитель 1−n/N. Если выбрать все кластеры, но лишь часть единиц в каждом, внутрикластерная ошибка остаётся. Если обследовать каждый выбранный кластер полностью, исчезает только второй член. Эти два предельных случая проверяют структуру формулы.

Цена доступа к кластеру меняет выгодное распределение усилий

Пусть доступ в кластер стоит c₀, а каждое измерение c₁. Тогда расходы n(c₀+c₁m). Дополнительная единица внутри уже открытого кластера снижает только второй вклад, тогда как новый кластер уменьшает также первый. Поэтому одинаковые расходы и даже одинаковое число измерений не гарантируют одинаковой точности. При большом различии кластерных средних расширение географического охвата может оказаться важнее плотности измерений.

Оптимальность нужно заявлять по явно заданному меню планов или по всем целым допустимым n,m, перечислив ограничения. Нельзя переносить эту формулу на неравные размеры кластеров простым невзвешенным объединением: тогда меняются веса целевого среднего. Также здесь известны проектные характеристики совокупности. Их оценивание по одной маленькой выборке — отдельная задача, для которой нужно учитывать обе ступени.

Два плана за одинаковые двенадцать условных единиц

Условие. Есть четыре кластера по четыре значения: (−1,0,0,1), (1,2,2,3), (3,4,4,5), (5,6,6,7). Доступ к кластеру стоит 2, наблюдение 1. Сравните два разрешённых плана (n,m)=(2,4) и (3,2), каждый стоимостью 12.

  1. Кластерные средние равны 0,2,4,6; общее среднее 3. Поэтому S²_B=(9+1+1+9)/3=20/3.
  2. В каждом кластере отклонения от своего среднего равны −1,0,0,1, значит S²ᵢ=2/3 и S²_W=2/3.
  3. При (2,4) внутри выбранных кластеров проводится перепись. Получаем V=(1−2/4)(20/3)/2=5/3.
  4. При (3,2) межкластерный вклад равен 5/9, внутрикластерный — (1−2/4)(2/3)/(3·2)=1/18. Всего V=11/18.
  5. Оба расхода равны 12: 2(2+4)=3(2+2). Среди этих двух разрешённых вариантов второй снижает дисперсию в 30/11 раза, хотя измеряет только шесть единиц вместо восьми.

Ответ. Выбираем (3,2): его дисперсия 11/18 против 5/3 у (2,4), при одинаковой стоимости.

Проверка. Первый план имеет шесть равновероятных наборов кластеров, второй — 4·6³=864 равновероятных двухступенчатых выборки. Прямой перебор оценок даёт среднее 3 в обоих случаях и дисперсии 5/3,11/18; он не использует формулу разложения.

Где легко ошибиться. Поправка на отбор кластеров не обнуляет внутрикластерную ошибку при n=N. Дополнительное умножение второго вклада на 1−n/N неверно даже по этому граничному случаю.

Проверьте понимание

Какова дисперсия плана (3,2) в разобранном примере статьи?

Вопросы к этой главе

Почему внутри кластеров нельзя считать все наблюдения независимой простой выборкой?

Вероятности совместного включения двух единиц зависят от того, принадлежат ли они одному кластеру. Выбранный кластер приносит сразу группу потенциальных наблюдений; это другая схема отбора.

Утверждается ли здесь оптимальность среди любых планов за 12?

Нет, меню условия содержит два варианта. План с другим m или иной ценой открытия нужно добавить в допустимое множество и сравнить отдельно; число 11/18 удостоверяет только выполненное сравнение.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Victoria University of Wellington, STAT392, §§11.2 и 11.5

    Поддерживает различие страт и кластеров, две ступени отбора и условные вероятности включения. Формула для равных размеров здесь выведена непосредственно полной дисперсией и проверена конечным перебором.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться