Взвешенный метод наименьших квадратов

Найти прямую y = a + bx по точкам с положительными весами, проверить взвешенные остатки и показать вклад каждой строки.

Ваш пример

Введите свои данные. Дроби: 1/3; десятичная запись: 0.25 или 0,25. В таблицах разделяйте числа пробелами, строки — переносом.

Разбор примера

y = (5/4) + (1/2)·x

Остатки по исходным строкам
xyВесОстаток y−ŷ
011-1/4
1221/4
221-1/4
  1. Сумма весов 4; взвешенные средние x̄ = 1, ȳ = 7/4.
  2. Взвешенный разброс x равен 2. Наклон b = 1/2.
  3. Свободный член a = ȳ−bx̄ = 5/4.
  4. Проверены равенства Σwᵢeᵢ = 0 и Σwᵢxᵢeᵢ = 0; это условия минимума взвешенной суммы квадратов.
Взвешенная сумма квадратов остатков
1/4

Метод и условия расчёта

Минимизируем сумму wᵢ(yᵢ−a−bxᵢ)². Веса влияют на критерий и на взвешенные средние.

Нормальные уравнения дают наклон через взвешенную ковариацию и разброс x. Все x одинаковы — наклон определить нельзя.

Теория к методу

Взвешенный МНК для прямой y=a+bx минимизирует сумму wᵢ(yᵢ−a−bxᵢ)² при положительных весах. При ненулевом взвешенном разбросе x наклон равен взвешенной ковариации, делённой на разброс x, а свободный член равен ȳw−b·x̄w. Вес меняет цену ошибки в критерии, а не само наблюдённое значение.

В обычном методе наименьших квадратов одинаковые вертикальные отклонения вносят одинаковый вклад независимо от строки. Во взвешенном варианте такой вклад умножается на заданное положительное число. Больший вес сильнее наказывает отклонение именно в этой строке. Нельзя сначала умножить только значения y на веса и затем считать обычную регрессию: это будет другая задача с изменённой шкалой наблюдений.

Пример: Остатки взвешенной прямой равны 4/11, −8/11 и 2/11. Их взвешенная сумма 4/11−8/11+2·2/11=0. Вторая проверка даёт −8/11+2·2·2/11=0. Взвешенная сумма квадратов равна 8/11.

Умножение всех трёх весов на пять не изменит средние и отношение ковариации к разбросу, поэтому коэффициенты останутся прежними. Только значение критерия увеличится в пять раз до 40/11. Это удобная проверка реализации и смысла общего масштаба весов.

Вопросы по теме

Как задавать веса по погрешностям?

Когда известны независимые стандартные отклонения ошибок y и модель это допускает, часто выбирают w = 1/σ². Сам инструмент не подтверждает такую статистическую модель.

Можно ли умножить все веса на одно число?

Да. При положительном общем множителе коэффициенты прямой сохраняются, а значение взвешенной суммы квадратов масштабируется.

Можно ли задать отрицательный вес?

В рассматриваемом методе нет: критерий строится с положительными весами. Отрицательное слагаемое может разрушить свойство минимума и не обозначает повышенную надёжность.

Малые остатки подтверждают причинное влияние x на y?

Нет. Подгонка оценивает заданный критерий для выбранной модели. Причинный вывод требует устройства исследования и дополнительных предпосылок.

Основа объяснения

Объяснения и примеры подготовлены для erudeet. По ссылкам можно сверить определения и условия модели.