Вероятность и статистика · объяснение и практика
Как вычисляется коэффициент корреляции по парам наблюдений
Посчитайте коэффициент Пирсона по парным данным, сохраните соответствие наблюдений и проверьте случай нулевого разброса.

В теме Связь признаков и регрессия · Учебная карта
Главная мысль
Коэффициент Пирсона равен сумме произведений центрированных пар, делённой на корень из произведения сумм квадратов отклонений. Он определён при ненулевом разбросе обоих признаков и измеряет линейную связь.
Пары нельзя сортировать независимо
У каждого наблюдаемого объекта есть два значения, поэтому данные хранятся парами. Если отсортировать каждый столбец отдельно, соответствие объектов изменится, и получится другая связь. Перед расчётом находят среднее каждого столбца, затем для каждой исходной строки — два отклонения и их произведение. Знак суммы произведений задаёт знак коэффициента.
Обозначим центрированные суммы через Sxx, Syy и Sxy. Формула r=Sxy/√(Sxx·Syy) не требует отдельного выбора между делением на n и n−1: одинаковые множители в ковариации и двух дисперсиях сократятся. Но это верно только при согласованном использовании одной и той же таблицы и одного набора наблюдений.
Неполная и точная линейная связь
Для пар (1;2), (2;1), (3;3) оба средних равны двум. Суммы квадратов отклонений равны двум, сумма попарных произведений — одному. Поэтому r=1/2. Это положительная, но не идеальная линейная связь. Коэффициент не сообщает, что каждое увеличение одного признака обязательно сопровождается увеличением другого.
Если все точки с ненулевым разбросом лежат на прямой с положительным наклоном, коэффициент равен единице; при отрицательном наклоне — минус единице. Прибавление постоянной и положительная смена масштаба не меняют значение. Отрицательное масштабирование одного столбца меняет знак, поскольку переворачивает направление соответствующих отклонений.
Пример
Для пар (0;5), (1;3), (2;1) найдите r без длинного вычисления.
Все пары удовлетворяют точному равенству y=5−2x, а x меняется. Связь линейная с отрицательным наклоном, поэтому r=−1. Отрицательная величина не означает слабую связь: модуль здесь максимален.
Неопределённость и ограничения интерпретации
Если один столбец постоянен, его сумма квадратов отклонений нулевая и знаменатель исчезает. Корреляция тогда не равна нулю, а не определена. Программа не должна молча подставлять нулевое значение вместо отсутствующей характеристики. Малое число точек и выбросы также требуют осторожности: отдельное экстремальное наблюдение способно заметно изменить результат.
Нулевой коэффициент не исключает нелинейную зависимость. Высокий коэффициент не устанавливает причинность: общая причина, временной тренд или отбор могут создавать совместное изменение. Для содержательного вывода сначала смотрят диаграмму пар и происхождение данных, затем используют число как краткое описание линейной структуры, а не как универсальную оценку любой связи.
От чтения к действию
А теперь — вы
Частые вопросы
Что означает r=−1?
Все пары с ненулевым разбросом лежат на одной прямой с отрицательным наклоном. Это идеальная обратная линейная связь, а не отсутствие связи.
Почему нельзя вычислить r для постоянного столбца?
Его разброс равен нулю, поэтому нормирующий знаменатель нулевой. Обычный коэффициент Пирсона в этом случае не определён.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как знак ковариации описывает совместные отклонения
Найдите ковариацию через центрированные произведения и объясните её знак, зависимость от единиц и ограниченность как меры связи.
Открыть темуПочему статистическая значимость не задаёт величину эффекта
Сравните оценку эффекта с её неопределённостью и заранее выбранной полезной величиной; не читайте малое p как большой практический результат.
Открыть тему