Вероятность и статистика · объяснение и практика

Как квадраты ошибок определяют критерий подбора прямой

Сравниваем линии по сумме квадратов вертикальных остатков, находим простую линейную подгонку и различаем минимум выбранного критерия с доказанной истинностью модели.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Связь признаков и регрессия · Учебная карта

Главная мысль

Метод наименьших квадратов выбирает параметры, минимизирующие сумму (y−ŷ)². Для прямойŷ = a+bx при непостоянных x решение можно найти через центрированные суммы. Критерий оценивает вертикальные ошибки, а не произвольные расстояния.

Почему нельзя минимизировать простую сумму

Для точек (0;1), (1;2), (2;2) проверим линиюŷ = 1+0,5x. Прогнозы 1; 1,5; 2 дают остатки 0; 0,5; 0. Сумма квадратов 0,25. Горизонтальная линияŷ = 1 даёт остатки 0,1,1 и сумму квадратов 2, поэтому по выбранному критерию первая линия лучше второй.

Простая сумма остатков не подходит: отклонения разных знаков компенсируются. Возведение в квадрат делает все вклады неотрицательными и сильнее наказывает крупные ошибки. Ошибка величиной 4 даёт вклад 16, то есть не вдвое, а вчетверо больше ошибки 2. Это свойство определяет чувствительность метода к крайним наблюдениям.

Как найти и проверить лучшую прямую

Средние в примере равны x̄ = 1 иȳ = 5/3. Сумма (x−x̄)² равна 2, сумма (x−x̄)(y−ȳ) равна 1. Поэтому b = 1/2, a = ȳ−bx̄ = 7/6. Прогнозы 7/6,5/3,13/6 дают остатки −1/6,1/3, −1/6. Сумма их квадратов 1/6 меньше 0,25 у прежней линии.

Коэффициент a не обязательно равен первому наблюдению y при x = 0. Лучшая линия ищет компромисс по всем точкам, а не обязана пройти через крайние. Она проходит через точку средних при обычной невзвешенной подгонке со свободным членом. Если все x одинаковы, наклон по этой формуле не определён: знаменатель нулевой, и данных для оценки изменения по x нет.

Пример

Наблюдения 2 и 4 сравнивают с прогнозами 1 и 5. Какова сумма квадратов остатков?

Остатки 1 и −1, их сумма 0, но сумма квадратов 1+1 = 2. Компенсация знаков не делает подгонку точной.

Что минимизация не обещает

Лучшая прямая среди прямых может плохо описывать кривую зависимость. Минимум критерия существует и для данных с пропущенным важным фактором. Поэтому после подгонки проверяют остатки, диапазон x и содержательную правдоподобность. Хорошая численная оптимизация не заменяет выбор подходящей модели и не доказывает причинность связи.

Для оценки неопределённости коэффициентов нужны дополнительные предположения об ошибках и способе получения наблюдений. Саму вычислительную задачу минимума можно решить и без нормальности, но это не даёт автоматически корректных доверительных интервалов. Если разные наблюдения имеют разную точность, может потребоваться взвешенный критерий. Тогда веса должны иметь обоснование, а не подбираться для того, чтобы неудобные точки меньше влияли на желаемую линию.

От чтения к действию

А теперь — вы

Остатки двух наблюдений равны 2 и −2. Какова сумма их квадратов?

Частые вопросы

Прямая обязана пройти через каждую точку?

Нет. При несовпадающих данных она минимизирует общую сумму квадратов, сохраняя ненулевые остатки.

Нормальность нужна для самого вычисления минимума?

Нет. Она может требоваться для конкретных статистических выводов о неопределённости, а не для определения критерия.

Углублённый разбор

Регуляризация гребня: устойчивость цены смещения

Гребневая регуляризация меняет целевую функцию, штрафуя большие коэффициенты. Ненулевые остатки могут быть оптимальными, если уменьшение коэффициента снижает общий штраф.

Перед началом: Квадратичный критерий и линейная модель; Производные, ранг и положительная ковариационная матрица.

Определение и постановка

Для одной регрессии через начало координат минимизируют Q(b)=Σ(yᵢ−bxᵢ)²+λb² при λ>0. Свободный член здесь отсутствует по условию, а λ выбран заранее.

Вывод и вычислительный критерий

После раскрытия квадратов коэффициент при b² равен Sxx+λ, линейный член равен−2Sxy b. Поэтому b̂_λ=Sxy/(Sxx+λ). В матричной версии нормальное уравнение содержит XᵀX+λI, что устраняет вырожденность штрафуемых направлений.

Штраф не означает, что найденное число является истинным физическим наклоном. При модели EY=Xb* среднее регуляризованной оценки равно Sxx b*/(Sxx+λ), то есть сдвинуто к нулю. Взамен независимые ошибки одинаковой дисперсии σ² дают Varb̂_λ=σ²Sxx/(Sxx+λ)².

Снижение дисперсии не гарантирует снижение средней квадратичной ошибки для каждого b*. Нужно сложить дисперсию с квадратом смещения. Большой истинный коэффициент способен сделать чрезмерное сжатие невыгодным, даже если оценка стала визуально стабильнее.

Условия и границы вывода

Масштаб признака влияет на смысл штрафа. Если x заменить тысячекратно большей численной величиной, коэффициент уменьшится в тысячу раз, а тот же численный λ уже задаст другую относительную регуляризацию. Поэтому масштабирование и обработку свободного члена объявляют вместе с методом.

Нельзя сравнивать только невзвешенную сумму квадратов регуляризованной и обычной прямых и объявлять регуляризацию проигравшей. Она минимизирует другую сумму со штрафом. Проверять следует выбранный критерий либо прогнозную ошибку на отдельной проверке.

Если λ настраивается по известным проверочным ответам, итоговая независимая оценка качества требует отдельного разделения данных. Само замкнутое решение нормальных уравнений не защищает от такой подгонки.

При фиксированной матрице признаков и λ>0 штраф делает критерий строго выпуклым по штрафуемым коэффициентам. Если свободный член не штрафуется, для его различимости нужна хотя бы одна наблюдаемая строка. В пределе λ→∞ наклон стремится к нулю, а свободный член остаётся средним отклика, не обязательно нулём.

Разобранная задача

Условие. Для x=(−1,0,1), y=(−2,0,2) найдите регуляризованный наклон при λ=2 и полный минимум Q. Сравните с обычным наклоном2.

  1. Sxx=1+0+1=2, Sxy=2+0+2=4.
  2. Регуляризованный наклон равен4/(2+2)=1.
  3. Остатки равны(−1,0,1), сумма квадратов2, штраф2·1²=2; Q=4.
  4. У обычного наклона2 остатки нулевые, но штраф равен8, поэтому по новому критерию он хуже.

Ответ. Оптимум b=1, полная потеряQ=4.

Проверка. Точное тождество Q(b)=2(b−2)²+2b²=4(b−1)²+4 доказывает глобальный единственный минимум для любого действительного b.

Где легко ошибиться. Проверка обычных нормальных уравнений без штрафа неверна для ridge: оптимальный остаток уже не обязан быть ортогонален признаку.

Проверьте понимание

Какое выражение минимизирует ridge в объявленной задаче?

Вопросы к этой главе

Что будет при λ→0 и Sxx>0?

Наклон стремится к обычному МНК Sxy/Sxx. При нулевом Sxx исходная задача остаётся неидентифицируемой, хотя положительный штраф выбирает нулевой коэффициент.

Можно ли штрафовать свободный член?

Можно как новую объявленную модель. Часто его исключают из штрафа, поэтому матрица регуляризации тогда не является единичной на всех координатах.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • scikit-learn: ridge regression

    Прочитана формула остаточной суммы квадратов со штрафом L2 и смысл коэффициента регуляризации. Выделение свободного члена, одномерный минимум и зависимость от шкалы разобраны на собственных данных.

Вертикальные и ортогональные расстояния: разные прямые

Ортогональная регрессия минимизирует кратчайшие расстояния до прямой. Она решает другую метрическую задачу, чем вертикальный МНК при фиксированном x.

Перед началом: Квадратичный критерий и линейная модель; Производные, ранг и положительная ковариационная матрица.

Определение и постановка

После вычитания центра облака составим матрицу рассеяния S=Σzᵢzᵢᵀ для двумерных координат zᵢ. Для единичной нормали n сумма квадратов перпендикулярных расстояний равна nᵀSn.

Вывод и вычислительный критерий

Минимум частного Рэлея достигается на собственном векторе S с наименьшим собственным значением. Этот вектор задаёт нормаль, а направление прямой соответствует наибольшему собственному значению. Прямая проходит через центр облака.

Вертикальная регрессия вместо этого минимизирует Σ(y−a−bx)² и выделяет x как объясняющую координату без ошибки в выбранном критерии. Наклон Sxy/Sxx обычно не совпадает с направлением главной оси облака.

Для прямой y=bx через центр перпендикулярное расстояние от точки равно |y−bx|/√(1+b²). Поэтому сравнение разных наклонов по одним вертикальным остаткам не является проверкой ортогонального критерия: нормирующий знаменатель меняется вместе с линией.

Условия и границы вывода

Евклидово расстояние осмысленно только после объявления шкал обеих координат. Если x измерен в метрах, а y в миллиметрах, численная геометрия зависит от выбора единиц. Известные разные погрешности обычно требуют взвешенной геометрии либо модели Деминга, а не безусловного выбора обычного TLS.

Если собственные значения одинаковы, направление не единственно: облако не выделяет предпочтительную ось. При почти равных значениях ориентация чувствительна к малым изменениям данных.

Ни вертикальный, ни ортогональный минимум сам по себе не доказывает причинность и не устанавливает механизм ошибок измерения. Выбор критерия должен соответствовать тому, что реально наблюдается с неопределённостью, и желаемому смыслу прогноза.

В двумерном случае сумма двух собственных значений равна общему центрированному квадрату расстояний. Выбор направления прямой с максимальной объяснённой суммой автоматически оставляет минимальную поперечную сумму. При проверке важно отличать направляющий вектор от нормали: они соответствуют противоположным собственным значениям одной и той же матрицы.

Разобранная задача

Условие. Для точек(−1,0),(0,1),(1,−1) найдите вертикальную и ортогональную прямые через их центр. Сравните суммы квадратов перпендикулярных расстояний.

  1. Средние обеих координат равны0. Матрица рассеяния равна((2,−1),(−1,2)).
  2. Вертикальный наклон равен−1/2; ортогональное направление(1,−1) имеет собственное значение3, нормаль(1,1) — значение1.
  3. Ортогональная прямая y=−x даёт сумму(y+x)²/2=1.
  4. Для вертикальной прямой y=−x/2 сумма вертикальных квадратов3/2 делится на1+1/4, давая6/5.

Ответ. Вертикальная прямая y=−x/2, ортогональная y=−x; по перпендикулярному критерию1<6/5.

Проверка. Разложение S по взаимно перпендикулярным векторам(1,1),(1,−1) даёт значения1 и3. Любая единичная нормаль имеет критерий между ними, поэтому значение1 является глобальным минимумом.

Где легко ошибиться. Малые вертикальные остатки нельзя прямо сравнивать с перпендикулярными расстояниями: это разные величины и разные оптимумы.

Проверьте понимание

Какое собственное значение задаёт минимум суммы квадратов расстояний для единичной нормали?

Вопросы к этой главе

Почему не требуется конечный наклон?

Описание нормалью допускает и вертикальную прямую. Формула y=a+bx не охватывает её конечным b, поэтому спектральная запись геометрически полнее.

Что означает равенство собственных значений?

Все направления имеют одинаковую ортогональную потерю. Единственный наклон тогда не определяется данными, даже если алгоритм вернул какое-то численное направление.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • SciPy: orthogonal distance regression

    Прочитано описание модели с ошибками в обеих координатах и роли весов. Источник используется для постановки задачи, не для рекомендации устаревающего API; собственное решение TLS проверено спектром матрицы рассеяния.

Удаление влияния сопутствующего признака: теорема Фриша—Во—Ловелла

В многомерной регрессии коэффициент целевого признака можно получить из остатков после удаления сопутствующих столбцов. Это точное алгебраическое тождество МНК, а не приближённая поправка корреляции и не самостоятельное доказательство причинного эффекта.

Перед началом: Линейный МНК и проекция; Математическое ожидание, дисперсия и ковариация.

Нужно остаточно преобразовать признак

Пусть Z — матрица сопутствующих признаков полного столбцового ранга, x — целевой столбец. Обозначим M=I−Z(ZᵀZ)⁻¹Zᵀ. Это симметричная идемпотентная матрица, которая удаляет проекцию на пространство Z. Предположим xᵀMx>0: после удаления Z в целевом признаке остаётся различимая вариация.

Для каждого фиксированного β минимум по сопутствующим коэффициентам α в ||y−Zα−xβ||² равен ||M(y−xβ)||². Поэтому β̂=(xᵀMx)⁻¹xᵀMy. Его можно получить регрессией My на Mx без дополнительного столбца единиц, если константа уже входила в Z. Оставить исходный x при остаточном y означало бы поменять знаменатель.

Что сохраняется, а что нужно восстановить

Остаток полной модели совпадает с My−Mxβ̂. Сопутствующие коэффициенты восстанавливаются по α̂=(ZᵀZ)⁻¹Zᵀ(y−xβ̂). Поэтому метод не выбрасывает их содержательный вклад: он временно отделяет интересующее направление от уже представленного пространства признаков.

Число степеней свободы полной остаточной дисперсии равно n−rank(Z)−1 для одного нового столбца. Программа, увидевшая только остаточную регрессию с одним столбцом, может поделить на n−1 и дать неверную стандартную ошибку. Равенство коэффициентов не освобождает от учёта ранее оценённых сопутствующих параметров.

Граница алгебраического вывода

Тождество не требует нормальности ошибок или правильной статистической модели: это свойство квадратичной минимизации при данных числах. Для несмещённости, стандартных ошибок и причинной интерпретации нужны отдельные предпосылки о механизме данных. Если x полностью выражается через Z, остаток Mx нулевой и самостоятельный коэффициент не идентифицируется.

При весах нужно использовать согласованную взвешенную проекцию либо сначала отбелить все столбцы и отклик. Нельзя удалить влияние Z невзвешенным способом, а затем сравнивать с полной взвешенной регрессией. Аналогично, регуляризация меняет критерий, и обычное тождество следует применять лишь после проверки соответствующего штрафного вывода.

Два групповых уровня и один общий наклон

Условие. Четыре записи имеют z=(0,0,1,1), x=(0,1,1,3), y=(1,3,2,5). В полной модели y=a+γz+βx найдите β через удаление константы и z, затем восстановите остальные коэффициенты.

  1. Удаление константы и z равносильно центрированию внутри двух групп. Получаем Mx=(−1/2,1/2,−1,1), My=(−1,1,−3/2,3/2).
  2. Скалярное произведение остаточных столбцов равно четырём, квадрат нормы Mx равен 5/2. Значит β=4/(5/2)=8/5.
  3. В группе z=0 средние x,y равны 1/2 и двум: a=2−(8/5)(1/2)=6/5. В группе z=1 средние равны двум и 7/2: a+γ=3/10, поэтому γ=−9/10.
  4. Полные остатки равны (−1/5,1/5,1/10,−1/10). Они ортогональны константе, z и x. Простая регрессия y только на x с константой дала бы иной наклон 25/19.

Ответ. Коэффициенты полной модели: β=8/5, a=6/5, γ=−9/10.

Проверка. Прямая подстановка возвращает четыре остатка, и все три нормальных уравнения дают ноль. Полная матрица признаков имеет ранг три; это независимо подтверждает единственность решения.

Где легко ошибиться. Центрирование только y не устраняет из знаменателя ту часть x, которую объясняют сопутствующие признаки. Если регрессировать My на исходный x без константы, получится 4/11 вместо 8/5.

Проверьте понимание

Каков коэффициент β при x в полной модели указанных четырёх записей?

Вопросы к этой главе

Можно ли оставить исходный y и остаточный x?

Для коэффициента да: (Mx)ᵀy=(Mx)ᵀMy. Но остатки этой короткой регрессии не совпадают с полными, поэтому её стандартные ошибки нельзя переносить автоматически.

Удаление влияния z делает эффект причинным?

Нет. Оно определяет частный линейный коэффициент при выбранных столбцах. Скрытые смешивающие факторы, ошибки измерения и направление причинности этим тождеством не проверяются.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Peng Ding: FWL theorem for standard errors, §§2.1–2.2

    Прочитаны PDF-страницы 1–3: полная и остаточная регрессии, Theorem 1 и оговорки о степенях свободы/исходном y. Собственные четыре записи проверены полными нормальными уравнениями.

Обобщённая перекрёстная проверка: средний рычаг вместо диагонали

Обобщённая перекрёстная проверка заменяет индивидуальные рычаги одним средним значением. Критерий удобно считать для линейного сглаживателя, но он может заметно отличаться от настоящей ошибки исключённого наблюдения. Разберём точный трёхточечный контрпример.

Перед началом: Линейный МНК и проекция; Математическое ожидание, дисперсия и ковариация.

От индивидуальных знаменателей к следу

Для фиксированной линейной процедуры подгонки ŷ=Sy обучающая невязка равна e=(I−S)y. В обычном МНК при сохранении ранга после удаления наблюдения ошибка его прогноза равна eᵢ/(1−hᵢᵢ), где H — проекционная матрица. Поэтому средняя LOOCV-ошибка использует сумму разных квадратов с разными индивидуальными знаменателями.

GCV определяется как [||y−Sy||²/n]/[1−tr(S)/n]² при ненулевом знаменателе. Он заменяет индивидуальные диагональные влияния их средним следом. Для семейства сглаживателей Sλ можно выбирать λ по минимуму этого критерия, но GCV не становится буквальной LOOCV лишь благодаря похожему обозначению.

Что даёт и что теряет усреднение

Если в обычном МНК все hᵢᵢ одинаковы, замена точна и GCV совпадает с LOOCV. При неодинаковых рычагах точка с большим hᵢᵢ может иметь особенно большую ошибку после исключения, которую средний знаменатель сглаживает. Совпадение следа двух матриц не означает совпадения распределения их диагоналей.

Для ортогонального изменения координат наблюдений y*=Qy,S*=QSQᵀ евклидова невязка и след сохраняются, поэтому GCV инвариантен. LOOCV относится к исключению исходных отдельных строк, а эти строки после смешивания Q меняются. Такая инвариантность объясняет название обобщённого критерия, но не доказывает его точность для любого дизайна.

Критерий сравнивают при одной цели предсказания

Линейность предполагается при фиксированном λ и фиксированной матрице дизайна. Когда λ выбирается по y, итоговая процедура уже не обязательно задаётся одной фиксированной S. Анализ риска после такого выбора требует учёта настройки, а минимум наблюдённого критерия не является точным математическим ожиданием будущей ошибки.

При tr(S) близком к n знаменатель мал, и критерий крайне чувствителен к невязке. Для интерполирующей S=I получается неопределённость 0/0, а не доказательство нулевой прогнозной ошибки. Зависимые наблюдения, временные ряды и групповые ограничения требуют подходящей схемы валидации: арифметическая формула GCV не заменяет план допустимого исключения данных.

Разные рычаги трёх точек

Условие. По точкам x=(0,1,2), y=(0,1,3) подберите прямую с константой. Вычислите обучающую MSE, точную LOOCV-MSE и GCV. Все удаления сохраняют ранг.

  1. МНК даёт наклон 3/2 и константу −1/6. Остатки равны (1/6,−1/3,1/6), их сумма квадратов равна 1/6; обучающая MSE равна 1/18.
  2. Рычаги прямой с константой равны (5/6,1/3,5/6). Ошибки исключённых точек eᵢ/(1−hᵢᵢ) равны (1,−1/2,1).
  3. Точная LOOCV-MSE равна (1+1/4+1)/3=3/4. Прямые по оставшимся двум точкам дают те же три ошибки.
  4. След H равен двум, поэтому GCV=(1/18)/(1−2/3)²=1/2. Он выше обучающей ошибки, но ниже точной LOOCV: средний рычаг не передаёт сильное влияние крайних точек.

Ответ. Обучающая MSE=1/18, LOOCV-MSE=3/4, GCV=1/2. Последние два критерия в этом дизайне различаются.

Проверка. Независимая подгонка трёх прямых по двум оставшимся точкам даёт прогнозы в удалённых позициях −1,3/2,2. Их квадраты ошибок суммируются в 9/4, подтверждая LOOCV без матричной формулы.

Где легко ошибиться. Нельзя заменить каждый знаменатель своим средним уже после деления и ожидать тот же результат. Нелинейность возведения обратного влияния в квадрат как раз делает отдельные высокие рычаги существенными.

Проверьте понимание

Чему равен GCV для трёх указанных точек?

Вопросы к этой главе

Когда совпадение с LOOCV точно?

Для обычного МНК при одинаковых рычагах, меньших единицы, и сохранении ранга после каждого удаления. Для более общей процедуры сначала нужно проверить саму формулу удаления.

Можно ли назвать GCV оценкой ошибки каждой точки?

Нет. Это один агрегированный критерий. Он не выдаёт индивидуальные ошибки и не позволяет восстановить их только из следа S и общей суммы невязок.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Golub–Heath–Wahba: Generalized Cross-Validation, 1979

    Проверены первичная авторская библиография и индексированное введение статьи о GCV и ridge. PDF — скан без извлекаемого текста; полного чтения нет. Формула критерия определена явно, собственное сравнение с тремя независимыми удалениями проверено точно.

Инструментальная переменная: момент вместо ортогональности ошибки регрессору

Когда ошибка связана с регрессором, обычное условие МНК нарушено. Инструментальная переменная заменяет его другим моментным уравнением, но требует одновременно связи с регрессором и отсутствия связи с ошибкой.

Перед началом: Условная вероятность; Точная арифметика.

Какая ортогональность нужна

Пусть Y=βX+u после удаления средних. МНК использует E[Xu]=0 и тогда β=E[XY]/E[X²]. Если X содержит эндогенную компоненту, это равенство даёт смещённую цель. Инструмент Z должен удовлетворять E[Zu]=0 и E[ZX]≠0. Умножение исходной модели на Z и усреднение даёт β=E[ZY]/E[ZX]. Первое условие является содержательной предпосылкой исключения, второе — требованием релевантности; ненулевая корреляция с X сама не доказывает первое.

Ошибка измерения объясняет один механизм

Пусть истинный регрессор X* наблюдается как X=X*+η. Предположим конечные вторые моменты, Cov(X*,u)=0, Var(X*)>0 и независимость η от (X*,u). Тогда уравнение через наблюдаемый X имеет ошибку u−βη, коррелирующую с X. Пусть также ошибка второго измерения ν независима от (X*,u,η). Тогда Z=X*+ν может служить инструментом: ковариация Z с новой ошибкой нулевая, а с X равна Var(X*). Если ошибки двух измерений имеют общий компонент, это основание нарушается. Называть любую вторую колонку инструментом нельзя.

Слабый знаменатель усиливает неопределённость

В выборке отношение моментов может резко меняться, когда ΣZiXi близко к нулю. Даже правильная нулевая связь с ошибкой не обеспечивает точный результат при малой релевантности. Добавление свободного члена требует центрировать данные или включить константу в набор инструментов. Ниже рассматриваются заданные модельные моменты, а не оценка причинного эффекта из наблюдательной таблицы. Для практического вывода нужны обоснование инструмента, условия выборки и подходящий анализ конечной неопределённости.

Разобранная задача

Условие. Пусть Y=2X*+ε, Var(X*)=1, Var(η)=1. Наблюдаются X=X*+η и Z=X*+ν; все компоненты центрированы, X*,η,ν,ε взаимно независимы. Найдите популяционные коэффициенты МНК Y на X и инструментального момента с Z.

  1. Ковариация X с Y равна Cov(X*+η,2X*+ε)=2Var(X*)=2. Дисперсия наблюдаемого X равна двум.
  2. Популяционный МНК-коэффициент равен 2/2=1. Это меньше структурного коэффициента два из-за ошибки измерения.
  3. Инструментальный знаменатель Cov(Z,X) равен Var(X*)=1, числитель Cov(Z,Y)=2. Отношение равно двум.
  4. Новая ошибка в наблюдаемом уравнении равна ε−2η. Её ковариация с Z нулевая по независимости, а с X равна −2, подтверждая различие условий.

Ответ. МНК по наблюдаемому X имеет цель 1, инструментальное отношение — 2 при заявленных независимых ошибках.

Проверка. Разложим E[X(Y−bX)]=2−2b и E[Z(Y−bX)]=2−b. Первое уравнение зануляется при b=1, второе при b=2; это независимая проверка обоих решений непосредственно по моментным условиям.

Где легко ошибиться. Нельзя проверить условие исключения лишь большой корреляцией Z и X. Общий шум измерений или прямое влияние Z на Y нарушают E[Zu]=0 и могут сделать отношение неверной целью.

Проверьте понимание

Каков инструментальный коэффициент в модели?

Вопросы к этой главе

Нужна ли известная дисперсия ошибки ν?

Для этих популяционных ковариаций её величина не входит в отношение при независимости. Однако она влияет на качество выборочного инструмента и неопределённость.

Что будет при Var(X*)=0?

Знаменатель Cov(Z,X) станет нулём. Инструмент не идентифицирует коэффициент, и формула отношения неприменима.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

Удаление группы наблюдений: блочная формула остатков и сингулярность

Совместное исключение нескольких наблюдений может менять подгонку сильнее, чем отдельные удаления. Блочная матрица рычагов учитывает их взаимную поддержку и выявляет потерю идентифицируемости.

Перед началом: Условная вероятность; Точная арифметика.

Блок хранит перекрёстное влияние

Пусть матрица X имеет полный столбцовый ранг, H=X(XᵀX)⁻¹Xᵀ, e=y−Hy. Для группы индексов G обозначим HGG её главный блок. Если после удаления G оставшийся дизайн сохраняет полный ранг, вектор ошибок предсказания удалённых точек по оставшейся подгонке равен e_G^delete=(I−HGG)⁻¹e_G. Диагональных hᵢᵢ недостаточно: внедиагональные элементы описывают, как точки группы совместно поддерживали свою подгонку.

Формула следует из согласованного изменения прогноза

Удаление группы меняет коэффициент на величину, определяемую остатками всех её точек. Ограничив изменение прогнозов теми же строками XG, получаем уравнение (I−HGG)e_G^delete=e_G. Оно обобщает одиночное eᵢ/(1−hᵢᵢ). Если матрица вырождена, оставшиеся данные не определяют прежнюю модель единственным образом; обращение маленького блока нельзя выполнять автоматически. Близость к вырождению показывает чувствительность совместного удаления даже при умеренных отдельных диагоналях.

Условие ранга проверяется до интерпретации

Большой удалённый остаток является диагностикой влияния и предсказания, а не доказательством ошибочности точки. Группа может содержать единственные наблюдения определённого диапазона признака. Тогда её исключение меняет область идентифицируемости модели. Ниже используется только свободный член, чтобы прямой пересчёт был прозрачным. Для реальной регрессии нужны согласованные группы, полный дизайн и явное решение, какой прогноз оценивается после исключения.

Разобранная задача

Условие. Подгоняется общий уровень по y=(0,0,3). Удалите одновременно первые две точки и найдите их ошибки предсказания по оставшейся подгонке. Сравните с отдельным удалением одной нулевой точки.

  1. Исходное среднее равно единице, поэтому e_G=(−1,−1). Все элементы матрицы H равны 1/3.
  2. Блок I−HGG равен ((2/3,−1/3),(−1/3,2/3)), его обратная матрица — ((2,1),(1,2)).
  3. Умножение обратной на (−1,−1) даёт (−3,−3). Оставшаяся единственная точка задаёт среднее три.
  4. При удалении только одной нулевой точки оставшиеся значения (0,3) имеют среднее 3/2. Её отдельный удалённый остаток равен −3/2, вдвое меньше по модулю.

Ответ. Совместные удалённые остатки равны −3 и −3, отдельный — −3/2. Внедиагональная связь группы существенно меняет результат.

Проверка. Прямой пересчёт среднего по оставшемуся набору из единственного значения 3, даёт предсказание 3 для обеих удалённых нулевых точек. Это независимо проверяет блочную инверсию.

Где легко ошибиться. Не применяйте одиночную формулу к каждой точке группы и не складывайте результаты как совместное удаление. При одновременном исключении меняется одна общая подгонка, учитывающая все перекрёстные рычаги.

Проверьте понимание

Каков остаток первой точки при совместном удалении первых двух?

Вопросы к этой главе

Почему оставшаяся одна точка допустима здесь?

Модель имеет только один параметр — общий уровень. Одной ненулевой строки константы достаточно для полного ранга, хотя оценка дисперсии шума уже не получится.

Что случится при удалении всех трёх?

Оставшийся дизайн не содержит данных для уровня. Матрица совместного удаления выродится, и единственного предсказания не будет.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • statsmodels: OLSInfluence

    Рычаги и влияние удаления наблюдений в МНК; блочное удаление выводится как отдельное матричное расширение.

Локальная прямая у границы: отрицательные веса и устранение наклона

У края области наблюдения располагаются преимущественно с одной стороны. Положительное локальное среднее тогда сдвигается вслед за наклоном функции. Локальная прямая воспроизводит любой линейный тренд точно, но её итоговые коэффициенты при наблюдениях могут иметь отрицательный знак.

Перед началом: Взвешенный метод наименьших квадратов; Условное смещение линейной оценки.

Точка оценки становится началом локальной координаты

Фиксированные координаты xᵢ, целевая точка x₀, неотрицательные локальные веса Kᵢ и полный ранг двух столбцов 1,xᵢ−x₀ на положительных весах. Для дисперсии ошибки независимы с общей дисперсией σ².

Положим dᵢ=xᵢ−x₀ и минимизируем ΣKᵢ(yᵢ−a−bdᵢ)². Искомое значение в x₀ есть свободный член a, а не вся прямая, предназначенная для дальнейшего глобального продолжения. Обозначим Sᵣ=ΣKᵢdᵢʳ и Tᵣ=ΣKᵢdᵢʳyᵢ. Нормальные уравнения дают a=(S₂T₀−S₁T₁)/D, где D=S₀S₂−S₁².

Условие D>0 означает наличие различающихся координат с положительным весом. Тогда a=Σℓᵢyᵢ, где ℓᵢ=Kᵢ(S₂−S₁dᵢ)/D. Это эквивалентные веса прогноза. Их нельзя путать с исходными Kᵢ: первые могут быть отрицательными, хотя квадратичный критерий использовал только неотрицательные веса.

Два моментных равенства объясняют границу

Из формулы немедленно следуют Σℓᵢ=1 и Σℓᵢdᵢ=0. Поэтому для точной линейной функции m(xᵢ)=m(x₀)+bdᵢ условное среднее оценки равно m(x₀). Нормированное локальное постоянное среднее имеет веса Kᵢ/S₀ и оставляет линейное смещение bS₁/S₀, когда локальные координаты не сбалансированы вокруг нуля.

Если все dᵢ строго положительны, одновременные равенства суммы один и первого момента ноль невозможны для исключительно неотрицательных ℓᵢ. Отрицательный коэффициент здесь обеспечивает линейную точность, а не является отрицательной вероятностью. Внутри симметричного расположения S₁ может быть нулём; тогда ℓᵢ=Kᵢ/S₀ и обе оценки совпадают.

Устранение наклона не устраняет кривизну и шум

Для дважды гладкой m разложение около x₀ показывает ведущий вклад кривизны (m″(x₀)/2)Σℓᵢdᵢ². Он не обязан быть нулевым. Малое окно уменьшает расстояния, но оставляет меньше эффективных наблюдений; слишком узкое окно может вовсе потерять ранг. Эти ограничения нужно проверять по выбранному набору координат.

При независимых одинаково точных ошибках Var(a|x)=σ²Σℓᵢ². Отрицательные веса способны увеличить эту величину по сравнению с положительным средним, одновременно убрав его линейное смещение. Поэтому сравнение методов ведут по задаче и полной ошибке, а не объявляют локальную прямую всегда менее шумной. Веса, подобранные по самим y, требуют дополнительного анализа.

Три точки справа от нуля

Условие. Оценивается m(0). Наблюдения стоят в x=(1,2,4), все Kᵢ=1. Истинная локальная функция m(x)=2+3x. Выведите веса оценки в нуле, сравните её с локальной константой и найдите дисперсию при независимом шуме σ².

  1. Локальные расстояния равны 1,2,4. Получаем S₀=3,S₁=7,S₂=21 и D=63−49=14>0.
  2. Эквивалентные веса равны (21−7xᵢ)/14, то есть (1,1/2,−1/2). Их сумма 1, первый момент 1+1−2=0.
  3. Отклики без шума равны (5,8,14). Оценка 5+8/2−14/2=2 точно возвращает m(0). Локальная константа равна 27/3=9 и имеет линейное смещение 7.
  4. Дисперсия локальной прямой равна σ²(1+1/4+1/4)=3σ²/2. Для среднего трёх независимых ошибок она равна σ²/3: меньший линейный сдвиг здесь оплачен большим разбросом.
  5. Если добавить к функции член cx², оценка изменится на c(1+2−8)=−5c. Таким образом, точность для прямой не означает точность для произвольной кривой.

Ответ. Веса (1,1/2,−1/2) дают точное линейное значение 2 вместо локального среднего 9; дисперсия равна 3σ²/2.

Проверка. Прямая через три безошибочные точки имеет наклон 3 и свободный член 2. Её нулевая сумма квадратов независимо подтверждает решение нормальных уравнений и полученное значение в нуле.

Где легко ошибиться. Не трактуйте эквивалентные веса как вероятности и не обрезайте отрицательные значения до нуля: это нарушит моментное условие, ради которого строилась локальная прямая.

Проверьте понимание

Какие эквивалентные веса имеет оценка m(0) в разобранном примере статьи?

Вопросы к этой главе

Почему Kᵢ положительны, а ℓᵢ отрицательны?

K задают цену квадрата остатка, а ℓ описывают прогноз после совместного оценивания наклона и уровня. Это разные математические объекты с разными ограничениями.

Можно ли далеко продолжать найденную локальную прямую?

Алгебра позволяет, но её локальное обоснование относится к выбранному окну около x₀. Большая экстраполяция требует отдельной модели формы функции.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Yen-Chi Chen, UW STAT535: Nonparametric Regression, Local Polynomial Regression

    Определяет локальный взвешенный линейный критерий и матричную формулу сглаживателя. Здесь скалярные эквивалентные веса выведены из двух нормальных уравнений и проверены на одностороннем наборе координат.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться