Вероятность и статистика · объяснение и практика
Как разделить разброс внутри групп и между их средними
Разделите дисперсию смеси на средний разброс внутри групп и различие групповых средних; не ограничивайтесь средним условных дисперсий.

В теме Случайные величины и распределения · Учебная карта
Главная мысль
При конечной дисперсии Var(X)=E[Var(X|G)]+Var(E[X|G]). Первая часть описывает разброс внутри групп, вторая — различие их условных средних с теми же вероятностными весами.
Два источника отклонения от общего среднего
Пусть известны группа наблюдения и числовой результат. Результат может отклоняться от среднего своей группы, а среднее группы — от общего среднего. Полная дисперсия учитывает оба механизма. Если просто усреднить групповые дисперсии, различия между центрами групп потеряются, и общая неоднородность будет занижена.
Обозначим условное среднее через m(G), общее — через μ. Тогда X−μ=(X−m(G))+(m(G)−μ). После возведения в квадрат и усреднения смешанный член исчезает: внутри каждой группы среднее X−m(G) равно нулю. Остаются средняя условная дисперсия и дисперсия группового среднего. Это разложение относится к одной и той же модели вероятностей групп.
Вычислите оба слагаемых отдельно
Пусть группы выбираются с вероятностями 1/4 и 3/4, их средние равны двум и шести, дисперсии — одному и девяти. Общее среднее равно пяти. Внутригрупповой вклад составляет (1/4)·1+(3/4)·9=7. Межгрупповой — (1/4)(2−5)²+(3/4)(6−5)²=3. Полная дисперсия равна десяти.
Каждый вклад неотрицателен, поэтому полная дисперсия не меньше среднего условных дисперсий. Равенство возникает, когда групповые средние совпадают с общим почти наверное. При этом отдельные наблюдения всё ещё могут сильно различаться внутри групп. Нулевой межгрупповой вклад не означает нулевую общую дисперсию.
Пример
Две группы выбираются поровну, средние 0 и 4, дисперсии обеих равны 1. Найдите общую дисперсию.
Общее среднее 2. Средний внутренний вклад — 1, вклад средних — ((0−2)²+(4−2)²)/2=4. Итого 5, а не 1.
Не смешивайте формулы для модели и выборки
Здесь дисперсии заданы как параметры распределений с вероятностными весами. Если вместо них имеются оценки из конечных выборок с делением на n−1, механическая подстановка без учёта размеров групп не даёт точного тождества для объединённой исправленной выборочной дисперсии. Сначала выясняют, какое определение использовано в исходной таблице.
Единица дисперсии является квадратом единицы X. После извлечения корня получается стандартное отклонение, но корень суммы вкладов не равен сумме их корней. Разложение не устанавливает причинную роль группы: оно описывает математическое распределение отклонений. Для интерпретации результата полезно подписать оба вклада и только затем сообщить общий разброс.
От чтения к действию
А теперь — вы
Частые вопросы
Можно ли сложить стандартные отклонения двух вкладов?
Нет. Разложение аддитивно для дисперсий. Стандартное отклонение всего результата — корень из суммы дисперсионных вкладов.
Что если внутри каждой группы значение постоянно?
Тогда внутренний вклад нулевой, но между разными групповыми средними может оставаться положительная полная дисперсия.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как условные средние складываются в общее ожидание
Восстановите среднее для смешанной группы по условным средним и вероятностям попадания в каждую часть; проверьте единицу наблюдения.
Открыть темуКак знак ковариации описывает совместные отклонения
Найдите ковариацию через центрированные произведения и объясните её знак, зависимость от единиц и ограниченность как меры связи.
Открыть тему