Вероятность и статистика · объяснение и практика

Неравенство Пэли — Зигмунда: нижняя граница через два момента

Доказываем нижнюю оценку вероятности превысить долю среднего, используя индикатор события и Коши; отделяем второй момент от дисперсии и объясняем, почему большого ожидания недостаточно.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Случайные величины и распределения · Учебная карта

Главная мысль

Пусть X≥0, m=E[X]>0 и s₂=E[X²]<∞. Для 0≤θ<1 выполняется P(X>θm)≥(1−θ)²m²/s₂. Это нижняя граница вероятности, а не точный закон. При θ=0 получаем метод второго момента: P(X>0)≥m²/s₂.

Большое среднее может держаться на очень редком исходе

Положительное ожидание гарантирует, что неотрицательная величина не равна нулю всегда, но само по себе плохо ограничивает частоту положительных значений. Например, X=n² с вероятностью 1/n и ноль иначе. Среднее равно n и растёт, а вероятность положительного результата равна 1/n и уменьшается. Редкое большое значение одновременно объясняет обе особенности.

Второй момент s₂ учитывает размеры таких редких вкладов сильнее, чем среднее. Он не равен дисперсии: s₂=Var(X)+m². Поэтому отношение m²/s₂ лежит между нулём и единицей. Подстановка одной дисперсии в знаменатель может дать число больше единицы и ложный вывод. Условие m>0 также нужно до деления; неотрицательная величина с нулевым средним равна нулю почти наверное и рассматривается отдельно.

Оставшееся ожидание вынуждает событие иметь достаточную вероятность

Обозначим через A событие X>θm и через Iₐ его индикатор. На дополнении X≤θm, поэтому E[X·Iₐ]=m−E[X·I вне A]≥(1−θ)m. Это вклад события в полное ожидание; он не равен условному среднему E[X|A], которое ещё делится на P(A).

По вероятностному неравенству Коши (E[X·Iₐ])²≤E[X²]E[Iₐ²]=s₂P(A). Для конечного распределения оно получается из обычного Коши для координат xᵢ√pᵢ и Iₐ(i)√pᵢ. Обе стороны прежней нижней оценки неотрицательны, поэтому можно возвести её в квадрат и объединить с этим верхним ограничением. После деления на положительное s₂ получается заявленная нижняя граница. Независимость X и индикатора не предполагается: индикатор определяется самим X.

Пример

X принимает 0 с вероятностью 1/2, 2 с вероятностью 1/4 и 6 с вероятностью 1/4. Сравните границу для X>m/2 с точной вероятностью.

Среднее m=0+2/4+6/4=2. Второй момент s₂=4/4+36/4=10. При θ=1/2 нижняя граница равна (1/4)·4/10=1/10. Порог равен единице, поэтому точная вероятность X>1 равна 1/2: подходят значения 2 и 6. Неравенство 1/2≥1/10 верно, но граница не обязана достигаться; для положительного результата θ=0 оно даёт 4/10.

Выбираем долю среднего и читаем направление оценки

Чем ближе θ к единице, тем меньше множитель (1−θ)². Оценка гарантирует некоторое количество значений, превышающих более низкий порог; она не обещает большую вероятность быть выше самого среднего. При θ=0 прямо получается граница положительной вероятности без предельного перехода, поскольку вне события X>0 вклад неотрицательной величины нулевой.

Умножение X на положительную константу не меняет оценку для доли собственного среднего: среднее умножится на c, второй момент на c², и отношение сократится. Добавление константы так не действует, поскольку меняются и событие, и отношение моментов. Если дополнительно известно полное распределение, его вероятность обычно точнее универсальной границы. Нельзя заменять знак «не меньше» равенством только потому, что в задаче перечислены два момента.

Для числа событий нужны также попарные пересечения

Если величина считает наступившие события, она является суммой их индикаторов. Квадрат такой суммы равен сумме самих индикаторов плюс удвоенная сумма их попарных произведений. Поэтому второй момент собирается из отдельных вероятностей и вероятностей пересечения каждой пары. Независимость событий для этого тождества не нужна, но без сведений о пересечениях первый момент обычно не определяет второй.

Когда события почти всегда наступают вместе, число наступивших может быть большим в редких случаях, и нижняя граница остаётся слабой. Малый относительный второй момент, напротив, мешает спрятать всё ожидание в редких всплесках. Именно поэтому метод применяют для доказательства существования хотя бы одного подходящего объекта в случайном выборе: положительная нижняя граница исключает отсутствие всех объектов во всех исходах.

От чтения к действию

А теперь — вы

У неотрицательной X среднее 3, второй момент 15. Какую нижнюю границу даёт этот метод для P(X>1)?

Частые вопросы

Можно ли заменить второй момент дисперсией?

Нет. В доказательстве возникает E[X²], равное дисперсии плюс квадрат среднего. Удаление квадрата среднего меняет формулу и может нарушить границу вероятности.

Почему индикатор не должен быть независимым от X?

Коши работает для зависимых величин тоже. Здесь связь необходима: индикатор отбирает именно значения X выше выбранного порога.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться