Вероятность и статистика · объяснение и практика

Как знак ковариации описывает совместные отклонения

Найдите ковариацию через центрированные произведения и объясните её знак, зависимость от единиц и ограниченность как меры связи.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Связь признаков и регрессия · Учебная карта

Главная мысль

Ковариация равна E[(X−E[X])(Y−E[Y])]=E[XY]−E[X]E[Y]. Положительный знак показывает склонность отклонений совпадать по направлению, но нулевая ковариация не доказывает независимость.

Сравниваются отклонения от своих средних

Для каждой пары значений вычитают соответствующие средние и перемножают отклонения. Совпадение знаков даёт положительный вклад, противоположные знаки — отрицательный. Ковариация усредняет эти вклады по вероятностям пар. Сами большие значения обеих переменных не означают положительную связь: важны отклонения от их собственных центров.

В конечной равновероятной таблице можно делить сумму центрированных произведений на число строк и получить ковариацию эмпирического распределения. Для исправленной выборочной оценки используется другой знаменатель. Эти соглашения надо называть, особенно если сравниваются результаты программ. В данной статье численные примеры описывают точную вероятностную модель, а не неизвестную генеральную совокупность.

Расчёт через произведение ожиданий

Раскрытие скобок даёт удобное равенство Cov(X,Y)=E[XY]−E[X]E[Y]. Сначала считают произведение в каждой совместной паре и его ожидание. Подменять E[XY] произведением отдельных средних без независимости нельзя: именно разница между ними и измеряется. Отдельные списки значений без информации о парности могут не определять ковариацию.

Пусть с вероятностью одна вторая получается пара (0;4), с той же вероятностью — (2;0). Средние равны одному и двум, а произведение в обеих парах нулевое. Ковариация равна минус двум. Замена единицы X на величину в сто раз меньшую умножит числовую ковариацию на сто, поэтому её размер нельзя трактовать без единиц.

Пример

X равновероятно принимает −1, 0, 1, а Y=X². Найдите ковариацию и проверьте независимость.

E[X]=0, E[Y]=2/3, E[XY]=E[X³]=0, поэтому ковариация нулевая. Но при X=0 значение Y обязательно ноль, а при X=1 обязательно единица: зависимость остаётся и полностью задана формулой.

Ноль не означает отсутствия всякой структуры

Пример с квадратом показывает, что положительные и отрицательные вклады могут компенсироваться у сильной нелинейной связи. Поэтому фраза «ковариация ноль — связи нет» слишком сильна. Независимость требует факторизации всего совместного распределения, а не только одного среднего произведения. При независимости и конечных вторых моментах ковариация нулевая, но обратный вывод недопустим.

Ковариация симметрична: перестановка X и Y не меняет результат. Добавление постоянной к одной величине тоже не меняет центрированные отклонения, а умножение на коэффициент масштабирует ковариацию с его знаком. Для безразмерного сравнения линейной связи используют нормированную корреляцию, если обе дисперсии положительны. Причинный вывод ни одна из этих операций сама по себе не обеспечивает.

От чтения к действию

А теперь — вы

Известны E[X]=3, E[Y]=4 и E[XY]=14. Чему равна ковариация?

Частые вопросы

Почему единицы влияют на величину ковариации?

Она имеет единицу произведения единиц двух величин. При масштабировании одной переменной тем же коэффициентом масштабируется и ковариация.

Нулевая ковариация исключает функциональную зависимость?

Нет. В симметричном примере Y=X² она нулевая, хотя Y однозначно определяется по X.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться