Регрессия: критерий потерь, остатки и веса наблюдений
Постройте линейную модель, проверьте знаки остатков и смысл квадратичных потерь. Затем сравните обычную и взвешенную подгонку, не смешивая веса с частотами ошибок.
Задачи модуля
Регрессия начинается с выбора того, какое расхождение считать ошибкой. Разберём вертикальные остатки, квадрат потери и роль среднего: эти шаги объясняют, почему найденная прямая зависит от критерия, а не только от рисунка точек.
После обычной подгонки введём положительные веса и проверим взвешенные суммы остатков. Калькуляторы строят конкретную прямую; закономерность остатков и обоснованность самих весов требуют отдельного анализа данных.
Различать остаток, квадрат остатка и среднюю квадратичную потерю.
Сравнивать обычную и взвешенную линейную подгонку при неодинаковой роли наблюдений.
Проверять коэффициенты подстановкой и условиями на взвешенные остатки.
Регрессия и диагностика
Взвешенная регрессия: известные дисперсии задают цену остатка
Если измерения имеют разную известную точность, одинаковые веса неэффективны. Для общего уровня оптимальные веса обратно пропорциональны дисперсиям.
Перед началом: Дисперсия линейной комбинации; Минимизация квадратичной функции.
Какая модель делает веса осмысленными
Пусть yᵢ=μ+εᵢ, ошибки независимы, имеют нулевые средние и известные положительные дисперсии σᵢ². Ищем общий неизменный уровень μ. Взвешенный критерий Σwᵢ(yᵢ−μ)² при wᵢ=1/σᵢ² сильнее штрафует остатки точных приборов. Делить нужно на дисперсию, а не на стандартное отклонение. Независимость необходима для простой диагональной схемы; при коррелированных ошибках используют обратную ковариационную матрицу, а не отдельные веса без учёта связей.
Вывод оценки и её дисперсии
Производная критерия по μ равна −2Σwᵢ(yᵢ−μ). Её ноль даёт μ̂=Σwᵢyᵢ/Σwᵢ. Вторая производная 2Σwᵢ положительна, поэтому минимум единственный. Оценка несмещённая, а дисперсия равна Σwᵢ²σᵢ²/(Σwᵢ)²=1/Σwᵢ. Среди линейных несмещённых оценок с независимыми ошибками такие веса минимизируют дисперсию. Нормальность для этих утверждений не нужна, но понадобится для некоторых точных распределительных интервалов.
Минимальность дисперсии можно увидеть из неравенства Коши: для любых коэффициентов aᵢ с суммой один имеем 1≤(Σaᵢ²σᵢ²)(Σσᵢ⁻²). Равенство достигается именно при aᵢ пропорциональных σᵢ⁻². Поэтому полученное среднее оптимально в классе линейных несмещённых оценок при заданных дисперсиях.
Диагностика после подгонки
Даже правильные веса не исправляют систематический сдвиг прибора или неверное предположение об общем уровне. Полезно смотреть стандартизованные остатки (yᵢ−μ̂)/σᵢ и связь остатка с условием наблюдения. Если σ² известны лишь с точностью до общей константы, относительные веса дают ту же оценку, а масштаб её дисперсии нужно оценивать отдельно. Нулевую заданную дисперсию нельзя просто превратить в бесконечный машинный вес: она означает точное ограничение и требует отдельной согласованной постановки.
Разобранная задача
Условие. Два независимых прибора измерили общий уровень: y₁=10 с дисперсией 1, y₂=14 с дисперсией 4. Найдите взвешенную оценку и её дисперсию; сравните с обычным средним.
Веса равны w₁=1 и w₂=1/4. Их сумма равна 5/4.
Оценка μ̂=(10+14/4)/(5/4)=13,5/1,25=10,8.
Её дисперсия равна 1/(5/4)=4/5=0,8.
Обычное среднее равно 12 и имеет дисперсию (1+4)/4=1,25. В данной модели взвешивание уменьшает дисперсию.
Ответ. Взвешенная оценка 10,8 с дисперсией 0,8; обычное среднее имеет дисперсию 1,25.
Проверка. Взвешенный остаточный баланс равен (10−10,8)+(14−10,8)/4=−0,8+0,8=0. Это проверяет условие минимума.
Где легко ошибиться. Не назначайте веса как обратные наблюдаемым значениям только потому, что большие значения кажутся менее надёжными. Нужна модель дисперсии ошибок.
Проверьте понимание
Вопросы к этой главе
Можно ли умножить все веса на одну константу?
Да, оценка не изменится, поскольку константа сокращается в отношении. Но абсолютную формулу дисперсии надо согласовать с исходными σ².
Обязательно ли результат лежит между измерениями?
Для общего уровня с положительными весами да: это выпуклое среднее. Для произвольной регрессии такое простое утверждение о предсказаниях неверно.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
NIST 4.4.3.2: критерий взвешенных квадратов и роль весов. Оценка общего уровня и доказательство минимальной дисперсии выведены здесь.
Рычаг наблюдения: малый остаток не означает малое влияние
Точка с крайним x может притянуть линию к себе. Её остаток в общей подгонке уменьшится, хотя прогноз после удаления изменится сильно.
Перед началом: Линейная регрессия с константой; Матрица проекции.
Рычаг зависит от входных координат
Для полной по рангу матрицы плана X матрица H=X(XᵀX)⁻¹Xᵀ переводит ответы y в подогнанные значения. Диагональ hᵢᵢ называют рычагом. Она зависит от расположения входных признаков, а не от самих ответов. Имеем 0≤hᵢᵢ≤1 и Σhᵢᵢ=p, где p число оценённых коэффициентов. В простой регрессии с константой hᵢᵢ=1/n+(xᵢ−x̄)²/Σ(xⱼ−x̄)². Далёкие по x точки получают больший рычаг.
Средний рычаг равен p/n. Поэтому порог большого рычага зависит от числа параметров и размера плана, а одно универсальное число не подходит всем регрессиям.
Удалённый остаток раскрывает притяжение
Обычный остаток eᵢ=yᵢ−ŷᵢ вычисляется по модели, которая уже использовала это наблюдение. Если после удаления точки оставшийся план сохраняет ранг и hᵢᵢ<1, остаток прогноза для удалённой точки равен eᵢ/(1−hᵢᵢ). При большом рычаге знаменатель мал: маленький общий остаток может соответствовать большой ошибке прогноза без этой точки. Это точное алгебраическое соотношение, а не отдельная гипотеза о нормальности ошибок. При h=1 удаление требует отдельного анализа.
Рычаг, выброс и влияние различаются
Большой рычаг сам по себе не означает плохое наблюдение. Точка может быть достоверной и расширять полезную область плана. Большой вертикальный остаток характеризует несогласие ответа с моделью, а влияние — изменение оценки при удалении. Диагностику нужно связывать с содержанием данных: ошибки единиц, уникальный режим или неверная линейная форма. Автоматическое удаление всех крайних x меняет исследуемую область и может скрыть реальное поведение. Для прогнозов вне наблюдавшегося диапазона неопределённость обычно возрастает.
Разобранная задача
Условие. Для x=(0,1,4), y=(0,0,5) найдите рычаг третьей точки, её обычный и удалённый остатки.
Среднее x̄=5/3, сумма квадратов отклонений Sxx=26/3. Поэтому h₃₃=1/3+(7/3)²/(26/3)=25/26.
Обычная линия имеет наклон Sxy/Sxx=35/26 и константу −15/26.
Подогнанное третье значение равно 125/26, остаток e₃=5/26.
После удаления остаются две нулевые точки, линия становится y=0. Удалённый остаток равен 5; формула (5/26)/(1/26) даёт то же.
Проверка. Прямая подгонка на оставшихся точках независимо подтверждает удалённый остаток. Сильное отличие от e₃ показывает, как точка притянула исходную линию.
Где легко ошибиться. Не ранжируйте влияние только по модулю обычного остатка. Точка с высоким рычагом участвует в формировании собственного прогноза.
Проверьте понимание
Вопросы к этой главе
Рычаг изменится при замене y?
Нет, если матрица входных признаков X не меняется. Но остатки и фактическое влияние на коэффициенты могут измениться.
Можно ли всегда делить на 1−h?
Нет. При h=1 знаменатель нулевой, и удаление может лишить план ранга. Требуется проверить существование удалённой подгонки.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
statsmodels OLSInfluence: hat_matrix_diag, resid_press и удаление наблюдений. Формула и пример проверены прямой повторной подгонкой после удаления.
Нехватка модели и чистая ошибка: повторные измерения разделяют суммы квадратов
Повторы при одинаковом x позволяют отделить случайный разброс измерений от систематического несогласия выбранной функции со средними откликами.
Перед началом: Остаточная сумма квадратов; F-распределение.
Повторы создают независимую оценку шума
Пусть в m различных входных точках есть nᵢ повторов, всего n наблюдений. Подгоняется линейная по коэффициентам модель с p параметрами и полным рангом. Среднее в каждой точке обозначим ȳᵢ. Чистая ошибка SS_PE=ΣᵢΣⱼ(yᵢⱼ−ȳᵢ)² измеряет разброс повторов вокруг собственного среднего. Её степени свободы равны n−m. Без повторов этот компонент нельзя получить таким разложением; гладкий график остатков не заменяет независимую оценку чистой ошибки.
Разложение использует исчезновение смешанного члена
Поскольку суммы отклонений повторов от ȳᵢ равны нулю, остаточная сумма модели распадается: SS_E=SS_PE+SS_LOF, где SS_LOF=Σnᵢ(ȳᵢ−ŷᵢ)². Компонент нехватки модели имеет m−p степеней свободы. При независимых нормальных ошибках с общей дисперсией и верной форме среднего отношение F=[SS_LOF/(m−p)]/[SS_PE/(n−m)] имеет соответствующее F-распределение. Большое отношение говорит о несогласии формы среднего с шумом, а не просто о ненулевых остатках.
Проверяйте, что именно повторяется
Повторное считывание одной и той же уже сохранённой цифры не даёт новых независимых ошибок. Повторы должны соответствовать реальному механизму измерения, для которого оценивают шум. При разных дисперсиях групп обычное отношение требует изменения. Если чистая ошибка нулевая, деление на неё нельзя интерпретировать как обычную конечную F-статистику без анализа модели точности. Незначимый результат не доказывает линейность: данных может быть мало, а исследованный диапазон узок. Следует показать сами средние и структуру повторов.
Разобранная задача
Условие. При x=0 наблюдены 0 и 2, при x=1 — 2 и 4, при x=2 — 8 и 10. Для прямой с константой найдите SS_PE, SS_LOF и F.
Групповые средние равны 1,3,9. В каждой паре отклонения ±1, поэтому SS_PE=6 при n−m=3 степенях свободы.
При равных повторностях линия через данные имеет наклон 4 и константу 1/3. Прогнозы равны 1/3,13/3,25/3.
Отклонения средних равны 2/3,−4/3,2/3. Умножаем квадраты на два повтора: SS_LOF=16/3.
Здесь m−p=1, поэтому F=(16/3)/(6/3)=8/3. Полная SS_E=6+16/3=34/3.
Ответ. SS_PE=6; SS_LOF=16/3; F=8/3 со степенями свободы (1,3).
Проверка. Прямое суммирование шести квадратов остатков линии даёт 34/3. Разность с чистой ошибкой точно восстанавливает 16/3.
Где легко ошибиться. Сравнивайте средние квадраты, а не голые суммы. У двух компонентов разные степени свободы, поэтому отношение SS_LOF/SS_PE не является нужным F.
Проверьте понимание
Вопросы к этой главе
Почему средние групп взвешены nᵢ?
Каждое отклонение среднего относится ко всем повторам этой точки. При разном числе повторов вклад группы меняется пропорционально nᵢ.
Что означает отсутствие значимости?
Недостаточно свидетельств нехватки выбранной формы при данной мощности и предпосылках. Это не доказательство точной линейности процесса.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
NIST 4.4.4.6: разложение lack-of-fit/pure error и отношение средних квадратов. Повторы и все суммы квадратов в задаче составлены самостоятельно.
Связанные методы
Как квадраты ошибок определяют критерий подбора прямой
Метод наименьших квадратов выбирает параметры, минимизирующие сумму (y−ŷ)². Для прямойŷ = a+bx при непостоянных x решение можно найти через центрированные суммы. Критерий оценивает вертикальные ошибки, а не произвольные расстояния.
Как остатки показывают расхождение наблюдения и прогноза
Остаток e = y−ŷ — разность наблюдённого и предсказанного значения. Положительный остаток означает заниженный прогноз, отрицательный — завышенный. Систематическая структура остатков может показать непригодность модели.
Почему среднее минимизирует сумму квадратов расстояний
Для непустого конечного набора сумма Q(c)=Σ(xᵢ−c)² имеет единственный минимум при c=x̄, где x̄ — арифметическое среднее. Точное тождество Q(c)=Q(x̄)+n(c−x̄)² показывает, насколько увеличится потеря при другом центре. Второе слагаемое неотрицательно и обращается в ноль только при совпадении центра со средним.