Вероятность и статистика · объяснение и практика
Зачем выборочную дисперсию делят на n минус один
Объясните знаменатель n−1 в оценке дисперсии и отличите оценку неизвестного распределения от описания конечного списка.

В теме Средние и разброс · Учебная карта
Главная мысль
Для независимых одинаково распределённых наблюдений с конечной дисперсией сумма квадратов отклонений от выборочного среднего имеет ожидание (n−1)σ². Поэтому деление на n−1 при n>1 даёт несмещённую оценку σ².
Центр уже оценён по тем же наблюдениям
Если среднее распределения неизвестно, его заменяют выборочным средним. Такой центр специально подстроен под наблюдённые данные: сумма отклонений от него равна нулю. Поэтому квадратные отклонения в среднем меньше, чем отклонения от заранее известного настоящего среднего. Поправка Бесселя компенсирует именно этот эффект при оценке дисперсии распределения.
Термин «одна степень свободы потеряна» можно понимать буквально как линейное ограничение: после выбора первых n−1 отклонений последнее определяется их суммой. Но это не означает, что один конкретный участник удалён из данных. Все n наблюдений остаются в числителе. Исправляется нормировка оценки, а не размер фактически использованного списка.
Два знаменателя решают разные задачи
Для списка 2, 4, 6 среднее равно четырём, сумма квадратов отклонений — восемь. Описательная дисперсия равновероятного эмпирического списка равна 8/3. Исправленная оценка неизвестной дисперсии по независимой одинаковой выборке равна 8/2=4. Обе величины могут быть корректными ответами на разные вопросы, поэтому знаменатель надо назвать.
Несмещённость означает равенство ожидания оценки истинному параметру при повторении выборки. Она не обещает точного совпадения с параметром для текущего набора. Кроме того, квадратный корень несмещённой оценки дисперсии вообще не становится автоматически несмещённой оценкой стандартного отклонения: нелинейное преобразование меняет это свойство.
Пример
Для выборки 1, 3, 5, 7 найдите исправленную выборочную дисперсию.
Среднее равно 4. Сумма квадратов 9+1+1+9=20. При n=4 делим на 3 и получаем 20/3. Стандартное отклонение выборки — корень из этого числа, а не само число.
Условия нельзя заменить большим объёмом
Классический вывод использует независимость и одинаковое распределение с конечным вторым моментом. Для повторных измерений одного объекта с зависимостью или неодинаковых весов обычное деление на n−1 может не обеспечивать указанную несмещённость. Нужно учитывать дизайн данных, а не считать знаменатель универсальным исправлением любого разброса.
При единственном наблюдении неизвестную дисперсию таким способом не оценить: знаменатель равен нулю, а отклонение от собственного среднего нулевое. Если настоящее среднее заранее известно, можно усреднять квадраты отклонений от него с делением на n; это другая исходная информация. Проверка того, какой центр использован, объясняет выбор формулы лучше механической замены знаменателей.
От чтения к действию
А теперь — вы
Частые вопросы
Поправка удаляет одно наблюдение?
Нет. Все значения участвуют в сумме. Знаменатель меняется из-за оценки среднего по тем же данным и связанного ограничения отклонений.
Исправленная дисперсия всегда ближе к истине в текущем наборе?
Нет. Несмещённость относится к среднему результату по повторным выборкам, а не гарантии меньшей ошибки в каждом конкретном случае.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Чем стандартная ошибка среднего отличается от разброса отдельных наблюдений
Отделите разброс отдельных значений от неопределённости выборочного среднего и проверьте, когда действует деление на квадратный корень объёма.
Открыть темуКак усечённое среднее меняет влияние крайних наблюдений
Рассчитайте симметричное усечённое среднее после сортировки и объясните, какую часть данных оно описывает вместо молчаливого удаления «неудобных» значений.
Открыть тему