Вероятность и статистика · объяснение и практика

Зачем выборочную дисперсию делят на n минус один

Объясните знаменатель n−1 в оценке дисперсии и отличите оценку неизвестного распределения от описания конечного списка.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Средние и разброс · Учебная карта

Главная мысль

Для независимых одинаково распределённых наблюдений с конечной дисперсией сумма квадратов отклонений от выборочного среднего имеет ожидание (n−1)σ². Поэтому деление на n−1 при n>1 даёт несмещённую оценку σ².

Центр уже оценён по тем же наблюдениям

Если среднее распределения неизвестно, его заменяют выборочным средним. Такой центр специально подстроен под наблюдённые данные: сумма отклонений от него равна нулю. Поэтому квадратные отклонения в среднем меньше, чем отклонения от заранее известного настоящего среднего. Поправка Бесселя компенсирует именно этот эффект при оценке дисперсии распределения.

Термин «одна степень свободы потеряна» можно понимать буквально как линейное ограничение: после выбора первых n−1 отклонений последнее определяется их суммой. Но это не означает, что один конкретный участник удалён из данных. Все n наблюдений остаются в числителе. Исправляется нормировка оценки, а не размер фактически использованного списка.

Два знаменателя решают разные задачи

Для списка 2, 4, 6 среднее равно четырём, сумма квадратов отклонений — восемь. Описательная дисперсия равновероятного эмпирического списка равна 8/3. Исправленная оценка неизвестной дисперсии по независимой одинаковой выборке равна 8/2=4. Обе величины могут быть корректными ответами на разные вопросы, поэтому знаменатель надо назвать.

Несмещённость означает равенство ожидания оценки истинному параметру при повторении выборки. Она не обещает точного совпадения с параметром для текущего набора. Кроме того, квадратный корень несмещённой оценки дисперсии вообще не становится автоматически несмещённой оценкой стандартного отклонения: нелинейное преобразование меняет это свойство.

Пример

Для выборки 1, 3, 5, 7 найдите исправленную выборочную дисперсию.

Среднее равно 4. Сумма квадратов 9+1+1+9=20. При n=4 делим на 3 и получаем 20/3. Стандартное отклонение выборки — корень из этого числа, а не само число.

Условия нельзя заменить большим объёмом

Классический вывод использует независимость и одинаковое распределение с конечным вторым моментом. Для повторных измерений одного объекта с зависимостью или неодинаковых весов обычное деление на n−1 может не обеспечивать указанную несмещённость. Нужно учитывать дизайн данных, а не считать знаменатель универсальным исправлением любого разброса.

При единственном наблюдении неизвестную дисперсию таким способом не оценить: знаменатель равен нулю, а отклонение от собственного среднего нулевое. Если настоящее среднее заранее известно, можно усреднять квадраты отклонений от него с делением на n; это другая исходная информация. Проверка того, какой центр использован, объясняет выбор формулы лучше механической замены знаменателей.

От чтения к действию

А теперь — вы

Для двух наблюдений 0 и 2 найдите исправленную выборочную дисперсию с делением на n−1.

Частые вопросы

Поправка удаляет одно наблюдение?

Нет. Все значения участвуют в сумме. Знаменатель меняется из-за оценки среднего по тем же данным и связанного ограничения отклонений.

Исправленная дисперсия всегда ближе к истине в текущем наборе?

Нет. Несмещённость относится к среднему результату по повторным выборкам, а не гарантии меньшей ошибки в каждом конкретном случае.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться