Вероятность и статистика · объяснение и практика
Как знак ковариации описывает совместные отклонения
Найдите ковариацию через центрированные произведения и объясните её знак, зависимость от единиц и ограниченность как меры связи.

В теме Связь признаков и регрессия · Учебная карта
Главная мысль
Ковариация равна E[(X−E[X])(Y−E[Y])]=E[XY]−E[X]E[Y]. Положительный знак показывает склонность отклонений совпадать по направлению, но нулевая ковариация не доказывает независимость.
Сравниваются отклонения от своих средних
Для каждой пары значений вычитают соответствующие средние и перемножают отклонения. Совпадение знаков даёт положительный вклад, противоположные знаки — отрицательный. Ковариация усредняет эти вклады по вероятностям пар. Сами большие значения обеих переменных не означают положительную связь: важны отклонения от их собственных центров.
В конечной равновероятной таблице можно делить сумму центрированных произведений на число строк и получить ковариацию эмпирического распределения. Для исправленной выборочной оценки используется другой знаменатель. Эти соглашения надо называть, особенно если сравниваются результаты программ. В данной статье численные примеры описывают точную вероятностную модель, а не неизвестную генеральную совокупность.
Расчёт через произведение ожиданий
Раскрытие скобок даёт удобное равенство Cov(X,Y)=E[XY]−E[X]E[Y]. Сначала считают произведение в каждой совместной паре и его ожидание. Подменять E[XY] произведением отдельных средних без независимости нельзя: именно разница между ними и измеряется. Отдельные списки значений без информации о парности могут не определять ковариацию.
Пусть с вероятностью одна вторая получается пара (0;4), с той же вероятностью — (2;0). Средние равны одному и двум, а произведение в обеих парах нулевое. Ковариация равна минус двум. Замена единицы X на величину в сто раз меньшую умножит числовую ковариацию на сто, поэтому её размер нельзя трактовать без единиц.
Пример
X равновероятно принимает −1, 0, 1, а Y=X². Найдите ковариацию и проверьте независимость.
E[X]=0, E[Y]=2/3, E[XY]=E[X³]=0, поэтому ковариация нулевая. Но при X=0 значение Y обязательно ноль, а при X=1 обязательно единица: зависимость остаётся и полностью задана формулой.
Ноль не означает отсутствия всякой структуры
Пример с квадратом показывает, что положительные и отрицательные вклады могут компенсироваться у сильной нелинейной связи. Поэтому фраза «ковариация ноль — связи нет» слишком сильна. Независимость требует факторизации всего совместного распределения, а не только одного среднего произведения. При независимости и конечных вторых моментах ковариация нулевая, но обратный вывод недопустим.
Ковариация симметрична: перестановка X и Y не меняет результат. Добавление постоянной к одной величине тоже не меняет центрированные отклонения, а умножение на коэффициент масштабирует ковариацию с его знаком. Для безразмерного сравнения линейной связи используют нормированную корреляцию, если обе дисперсии положительны. Причинный вывод ни одна из этих операций сама по себе не обеспечивает.
От чтения к действию
А теперь — вы
Частые вопросы
Почему единицы влияют на величину ковариации?
Она имеет единицу произведения единиц двух величин. При масштабировании одной переменной тем же коэффициентом масштабируется и ковариация.
Нулевая ковариация исключает функциональную зависимость?
Нет. В симметричном примере Y=X² она нулевая, хотя Y однозначно определяется по X.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как вычисляется коэффициент корреляции по парам наблюдений
Посчитайте коэффициент Пирсона по парным данным, сохраните соответствие наблюдений и проверьте случай нулевого разброса.
Открыть темуПочему дисперсии суммы складываются не всегда
Рассчитайте разброс суммы зависимых величин, учитывая ковариацию и знак коэффициентов; проверьте случай совпадающих измерений.
Открыть тему