Взвешенный метод наименьших квадратов
Найти прямую y = a + bx по точкам с положительными весами, проверить взвешенные остатки и показать вклад каждой строки.
Ваш пример
Разбор примера
y = (5/4) + (1/2)·x
| x | y | Вес | Остаток y−ŷ |
|---|---|---|---|
| 0 | 1 | 1 | -1/4 |
| 1 | 2 | 2 | 1/4 |
| 2 | 2 | 1 | -1/4 |
- Сумма весов 4; взвешенные средние x̄ = 1, ȳ = 7/4.
- Взвешенный разброс x равен 2. Наклон b = 1/2.
- Свободный член a = ȳ−bx̄ = 5/4.
- Проверены равенства Σwᵢeᵢ = 0 и Σwᵢxᵢeᵢ = 0; это условия минимума взвешенной суммы квадратов.
- Взвешенная сумма квадратов остатков
- 1/4
Метод и условия расчёта
Минимизируем сумму wᵢ(yᵢ−a−bxᵢ)². Веса влияют на критерий и на взвешенные средние.
Нормальные уравнения дают наклон через взвешенную ковариацию и разброс x. Все x одинаковы — наклон определить нельзя.
Теория к методу
Взвешенный МНК для прямой y=a+bx минимизирует сумму wᵢ(yᵢ−a−bxᵢ)² при положительных весах. При ненулевом взвешенном разбросе x наклон равен взвешенной ковариации, делённой на разброс x, а свободный член равен ȳw−b·x̄w. Вес меняет цену ошибки в критерии, а не само наблюдённое значение.
В обычном методе наименьших квадратов одинаковые вертикальные отклонения вносят одинаковый вклад независимо от строки. Во взвешенном варианте такой вклад умножается на заданное положительное число. Больший вес сильнее наказывает отклонение именно в этой строке. Нельзя сначала умножить только значения y на веса и затем считать обычную регрессию: это будет другая задача с изменённой шкалой наблюдений.
Пример: Остатки взвешенной прямой равны 4/11, −8/11 и 2/11. Их взвешенная сумма 4/11−8/11+2·2/11=0. Вторая проверка даёт −8/11+2·2·2/11=0. Взвешенная сумма квадратов равна 8/11.
Умножение всех трёх весов на пять не изменит средние и отношение ковариации к разбросу, поэтому коэффициенты останутся прежними. Только значение критерия увеличится в пять раз до 40/11. Это удобная проверка реализации и смысла общего масштаба весов.
Вопросы по теме
Как задавать веса по погрешностям?
Когда известны независимые стандартные отклонения ошибок y и модель это допускает, часто выбирают w = 1/σ². Сам инструмент не подтверждает такую статистическую модель.
Можно ли умножить все веса на одно число?
Да. При положительном общем множителе коэффициенты прямой сохраняются, а значение взвешенной суммы квадратов масштабируется.
Можно ли задать отрицательный вес?
В рассматриваемом методе нет: критерий строится с положительными весами. Отрицательное слагаемое может разрушить свойство минимума и не обозначает повышенную надёжность.
Малые остатки подтверждают причинное влияние x на y?
Нет. Подгонка оценивает заданный критерий для выбранной модели. Причинный вывод требует устройства исследования и дополнительных предпосылок.
Основа объяснения
Объяснения и примеры подготовлены для erudeet. По ссылкам можно сверить определения и условия модели.