Вероятность и статистика · объяснение и практика
Как остатки показывают расхождение наблюдения и прогноза
Считаем остаток как наблюдение минус прогноз, читаем знак и рисунок отклонений и отличаем нулевую сумму остатков от отсутствия ошибок модели.

В теме Связь признаков и регрессия · Учебная карта
Главная мысль
Остаток e = y−ŷ — разность наблюдённого и предсказанного значения. Положительный остаток означает заниженный прогноз, отрицательный — завышенный. Систематическая структура остатков может показать непригодность модели.
Как связать знак с конкретным наблюдением
Модель времени задаётŷ = 2x+1. При x = 3 прогноз 7, наблюдение 9, поэтому остаток 2. Модель недооценила время на 2 единицы. При том же x и наблюдении 6 остаток −1: модель завысила время на 1. Знак относится к порядку вычитания, а не к моральной оценке удачности результата.
Остаток измеряется в единицах отклика y. Если это минуты, разность тоже в минутах. Его не следует путать с горизонтальным расстоянием до линии или кратчайшим геометрическим расстоянием между точкой и прямой. В обычной регрессии y по x оценивают вертикальное отклонение при данном x, поскольку роли переменных в модели различаются.
Почему нулевая сумма не доказывает точность
Пусть остатки равны −2,0,2. Их сумма нулевая, но два наблюдения не совпали с прогнозом. Сумма квадратов равна 8 и показывает ненулевое расхождение. У обычной невзвешенной линейной подгонки методом наименьших квадратов со свободным членом сумма остатков равна нулю из условий оптимизации, а не из доказательства идеального соответствия данных.
Если в модели нет свободного члена, есть веса или ограничения, это свойство нельзя переносить автоматически. Поэтому проверка «остатки сложились в ноль» слишком слаба для оценки качества. Нужно смотреть их величины и распределение относительно x, предсказания, времени или других содержательных факторов. Один итоговый показатель может скрыть направленную ошибку.
Пример
Прогнозы равны 5,7,9, наблюдения 6,6,12. Найдите остатки.
Вычитаем прогноз из наблюдения:1, −1,3. Последний прогноз занижен на 3, второй завышен на 1. Сумма 3 не равна нулю, и это допустимо для произвольно заданной модели.
Какие узоры требуют проверки
Если при малых и больших x остатки положительны, а в середине отрицательны, возможна пропущенная кривизна связи. Если разброс растёт с прогнозом, предположение одинаковой дисперсии может быть неверно. Последовательные серии положительных и отрицательных остатков во времени могут указывать на зависимость или изменение процесса.
Эти рисунки дают направления диагностики, но не устанавливают единственную причину. Выброс, ошибка измерения, пропущенный фактор и неверная функциональная форма требуют содержательной проверки. Случайно выглядящие остатки тоже не доказывают истинность модели во всех новых условиях. Особенно осторожно нужно переносить результат за диапазон наблюдений. Полезный отчёт соединяет график, численные масштабы ошибок и описание того, где модель проверялась, вместо одной фразы о хорошем коэффициенте подгонки.
От чтения к действию
А теперь — вы
Частые вопросы
Положительный остаток означает завышение прогноза?
Нет. При e = y−ŷ положительное значение означает, что наблюдение выше прогноза: прогноз занижен.
Нулевая сумма остатков означает, что все равны нулю?
Нет. Положительные и отрицательные отклонения могут взаимно компенсироваться.
Углублённый разбор
Расстояние Кука: изменение всех прогнозов после удаления наблюдения
Расстояние Кука измеряет, насколько удаление наблюдения сдвигает весь вектор подогнанных значений. Оно отличается от одного удалённого остатка.
Перед началом: Квадратичный критерий и линейная модель; Производные, ранг и положительная ковариационная матрица.
Определение и постановка
Для обычного линейного МНК с p параметрами и s²=SSE/(n−p) определим Dᵢ=Σⱼ(ŷⱼ−ŷⱼ₍₋ᵢ₎)²/(ps²). Прогнозы после удаления оценивают на тех же исходных строках матрицы признаков.
Вывод и вычислительный критерий
В невырожденной задаче формула сокращается до Dᵢ=[eᵢ²/(ps²)]·hᵢᵢ/(1−hᵢᵢ)². Здесь eᵢ — обычный остаток, а hᵢᵢ — диагональ проекционной матрицы. Большой остаток и большой рычаг усиливают влияние по разным механизмам.
Сам удалённый остаток eᵢ/(1−hᵢᵢ) относится только к прогнозу удалённой строки. В D дополнительно суммируется изменение всех прогнозов и появляется масштабирование числом параметров и остаточной дисперсией. Поэтому два показателя не являются синонимами.
Геометрически удаление меняет оценку коэффициентов, а матрица X переводит это изменение в сдвиг fitted values. Норма X(β̂−β̂₍₋ᵢ₎) учитывает то, какие различия коэффициентов реально проявляются на исходном дизайне, а не произвольную численную норму координат β.
Условия и границы вывода
Требуются n>p, положительная s² и сохранение ранга после удаления. При hᵢᵢ=1 знаменатель исчезает: удаление может уничтожить различимость части коэффициентов, и обычная сокращённая формула неприменима.
Большое влияние не доказывает ошибку данных. Наблюдение может быть единственным корректным представителем важного режима. Перед исключением проверяют происхождение, модель, диапазон применения и результаты чувствительности.
Популярные численные пороги для D являются диагностическими ориентирами, а не универсальными тестами с автоматически известной вероятностью ошибки. На маленькой выборке оценка s² сама нестабильна, поэтому контекст удаления особенно важен.
Нормирование через s² делает показатель безразмерным: при умножении всех y на константу и числитель, и остаточная дисперсия умножаются на её квадрат. Это полезный контроль реализации. Изменение единиц признака при эквивалентном полном ранге также не должно менять исходный вектор подогнанных значений и определённое через него расстояние.
Разобранная задача
Условие. Для x=(−1,0,1), y=(0,0,3) подгоните прямую со свободным членом. Найдите расстояние Кука средней точки через прямое удаление.
- Полная прямая имеет a=1,b=3/2. Прогнозы равны(−1/2,1,5/2), остатки(1/2,−1,1/2).
- SSE=3/2, n−p=1, поэтому s²=3/2 при p=2.
- После удаления средней точки прямая через оставшиеся две имеет a=3/2,b=3/2. На всех трёх исходных x прогнозы сместились на1/2.
- Сумма квадратов сдвигов равна3/4; деление на p s²=3 даёт D=1/4.
Ответ. Расстояние Кука средней точки равно1/4.
Проверка. Её рычаг равен1/3, остаток−1. Сокращённая формула даёт(1/3)·(1/3)/(2/3)²=1/4, совпадая с независимой прямой переподгонкой.
Где легко ошибиться. Удалённый остаток и расстояние Кука используют разные целевые величины: одно отклонение и общий сдвиг всех прогнозов.
Проверьте понимание
Вопросы к этой главе
Почему учитывается прогноз и для удалённой строки?
Обе модели сравниваются на одном фиксированном дизайне X. Иначе различие норм могло бы возникнуть просто из-за изменения набора сравниваемых координат.
Нужно ли удалить точку с большим D?
Не автоматически. D показывает чувствительность результата. Решение об исправлении или исключении требует предметных оснований и прозрачного отчёта о последствиях.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- statsmodels: source of Cook distance
Прочитаны вычисления OLSInfluence.cooks_distance и студентизированного остатка: число параметров, диагональ проектора и множитель влияния. Независимая проверка главы использует повторную подгонку после удаления точки.
Корреляция соседних остатков как признак пропущенной динамики
Статистика Дарбина — Уотсона сравнивает соседние остатки регрессии. Она описывает временную структуру, которую не видно по одной нулевой сумме остатков.
Перед началом: Квадратичный критерий и линейная модель; Производные, ранг и положительная ковариационная матрица.
Определение и постановка
Для упорядоченных остатков e₁,…,eₙ при ненулевой сумме квадратов D=Σₜ₌₂ⁿ(eₜ−eₜ₋₁)²/Σₜ₌₁ⁿeₜ². Перестановка наблюдений обычно меняет числитель, поэтому временной порядок является частью данных.
Вывод и вычислительный критерий
Раскрытие квадратов даёт точное тождество D=2−2r−(e₁²+eₙ²)/Σe², где r=Σₜ₌₂ⁿeₜeₜ₋₁/Σe². Часто используемое2(1−r) опускает два крайних слагаемых и является лишь приближением при их малом относительном вкладе.
Малые соседние разности характерны для длинных участков одинакового знака; D тогда часто меньше двух. Быстрое чередование увеличивает числитель. Однако одно значение D не определяет единственный механизм зависимости и не заменяет просмотр самих остатков.
Для любой конечной последовательности действует0≤D≤4, что следует из(a−b)²≤2a²+2b². Это арифметическая граница, а не распределение статистики при нулевой гипотезе. Даже результат внутри диапазона не удостоверяет правильность модели ошибок.
Условия и границы вывода
Для формального теста нужны предпосылки о регрессионном дизайне и ошибках. Критические значения зависят от числа наблюдений и структуры признаков; использование лагированного зависимого отклика требует особой осторожности.
Если все остатки нулевые, знаменатель равен нулю и статистика не определена. Подставить D=2 как символ независимости в этом случае было бы произвольным соглашением без вычисленного основания.
Нулевая сумма остатков при свободном члене не исключает последовательной корреляции. Это лишь одно нормальное уравнение МНК. Оно допускает длинные положительные и отрицательные серии, которые взаимно компенсируются в общей сумме.
В примере четыре остатка имеют одинаковые квадраты. Перестановка в порядок(1,−1,1,−1) сохранит знаменатель4, но даст три разности модуля2 иD=3. Разница показывает, какую информацию временной порядок добавляет к одному и тому же набору значений.
Определённое здесь r использует один общий знаменатель Σe², а не отдельные выборочные дисперсии двух укороченных рядов. Если вместо него подставить обычный коэффициент Пирсона между сдвинутыми векторами, точное тождество меняется. Поэтому обозначение «автокорреляция» без явной формулы недостаточно для проверки граничного члена.
Разобранная задача
Условие. Временные остатки равны(1,1,−1,−1). Найдите D, величину r из точного тождества и граничную поправку.
- Сумма квадратов равна4, а соседние разности равны0,−2,0.
- Сумма квадратов разностей равна4, поэтому D=1.
- Сумма соседних произведений равна1−1+1=1; r=1/4.
- Крайняя поправка равна(1+1)/4=1/2. Получаем2−2·1/4−1/2=1.
Ответ. D=1, r=1/4, граничная поправка1/2; приближение2(1−r)=3/2 здесь заметно неточно.
Проверка. Прямой расчёт разностей и отдельное раскрытие квадратов дают один результат. Остатки суммируются в ноль, что дополнительно показывает совместимость последовательного рисунка с условием свободного члена.
Где легко ошибиться. Нельзя интерпретировать D как обычную выборочную корреляцию или превращать его численное значение в p-уровень без подходящей нулевой модели.
Проверьте понимание
Вопросы к этой главе
Почему порядок нельзя менять?
Числитель сравнивает соседей. Перестановка сохраняет общий SSE, но заменяет пары соседних времён и тем самым меняет диагностируемую структуру.
Доказывает ли D около двух независимость?
Нет. Разные зависимые последовательности могут дать такое значение. Оно оценивает один аспект соседних отклонений, а не все возможные формы временной зависимости.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- statsmodels: Durbin–Watson statistic
В Notes прочитаны точное определение суммы квадратов соседних разностей и приближение через лаговую корреляцию. Граничная поправка конечной последовательности выведена здесь алгебраически.
Гетероскедастически устойчивая ковариация коэффициентов
При разной дисперсии ошибок обычная оценка неопределённости коэффициентов может быть неверной. Гетероскедастически устойчивая матрица использует квадраты наблюдённых остатков между двумя множителями дизайна. Она меняет стандартные ошибки, а не автоматически саму подогнанную прямую.
Перед началом: Линейный МНК и проекция; Математическое ожидание, дисперсия и ковариация.
Истинная ковариация и её подстановка
Пусть y=Xβ+ε, матрица X фиксирована и имеет полный столбцовый ранг, Eε=0. При независимых ошибках с дисперсиями σᵢ² истинная условная ковариация МНК равна (XᵀX)⁻¹Xᵀdiag(σᵢ²)X(XᵀX)⁻¹. Один общий множитель σ² можно вынести лишь при гомоскедастичности.
Оценка HC0 заменяет неизвестные σᵢ² квадратами полных остатков eᵢ². Средняя матрица Xᵀdiag(eᵢ²)X находится между двумя обратными матрицами XᵀX, отсюда название sandwich. При обычных независимых наблюдениях и подходящих регулярных условиях она состоятельна, но не является точной несмещённой ковариацией каждой малой выборки.
Поправки не взаимозаменяемы
HC1 умножает HC0 на n/(n−p), где p включает все оценённые столбцы, в том числе константу. Другие варианты HC2,HC3 поправляют каждое eᵢ² по индивидуальному рычагу. Поэтому название «robust» без указания версии и масштаба не определяет единственное число стандартной ошибки.
В прямой с константой наклон имеет линейные веса (xᵢ−x̄)/Sxx. Его HC0-дисперсия поэтому равна Σ(xᵢ−x̄)²eᵢ²/Sxx². Это удобная скалярная проверка матричного произведения: остаток далеко от центра дизайна влияет на дисперсию наклона иначе, чем такой же остаток около центра.
| x | Остаток e | e² | (x−x̄)² |
|---|---|---|---|
| 0 | 3/10 | 9/100 | 9/4 |
| 1 | 1/10 | 1/100 | 1/4 |
| 2 | −11/10 | 121/100 | 1/4 |
| 3 | 7/10 | 49/100 | 9/4 |
Что не исправляет устойчивая матрица
Коэффициенты обычного МНК остаются прежними. Для повышения эффективности при известной структуре дисперсий может потребоваться взвешенный МНК, но HC0 решает иной вопрос — оценивание неопределённости имеющегося линейного оценивателя. Пропущенный нелинейный средний отклик или эндогенность эта матрица не устраняет.
Если ошибки связаны внутри групп или по времени, диагональная середина не содержит нужных перекрёстных ковариаций. Тогда применяют обоснованную кластерную или временную конструкцию. Большие рычаги и почти вырожденный дизайн также требуют внимания: асимптотическая устойчивость не означает надёжность произвольной маленькой или доминируемой одной точкой выборки.
Четыре остатка с разными влияниями
Условие. Для x=(0,1,2,3), y=(0,1,1,4) подберите прямую с константой и вычислите HC0-дисперсию наклона. Сравните с HC1 и обычной гомоскедастической оценкой.
- Получаем x̄=3/2,Sxx=5, наклон 6/5, константу −3/10. Остатки равны (3/10,1/10,−11/10,7/10), SSE=9/5.
- Числитель скалярной HC0-формулы равен (9/4)(9/100)+(1/4)(1/100)+(1/4)(121/100)+(9/4)(49/100)=161/100.
- Деление на Sxx²=25 даёт HC0=161/2500. При n=4,p=2 поправка HC1 удваивает её до 161/1250.
- Обычная оценка использует s²=SSE/(n−p)=9/10, поэтому дисперсия наклона равна s²/Sxx=9/50. Три числа различаются, хотя подогнанные коэффициенты одинаковы.
Ответ. HC0-дисперсия наклона равна 161/2500; HC1 — 161/1250, обычная оценка — 9/50.
Проверка. Независимое полное произведение матриц с (XᵀX)⁻¹=((7/10,−3/10),(−3/10,1/5)) даёт тот же нижний диагональный элемент 161/2500.
Где легко ошибиться. Квадраты остатков не равны наблюдённым истинным дисперсиям ошибок. Поэтому меньшая HC0-ошибка в одном наборе не доказывает, что гетероскедастичность сделала коэффициент точнее: сравниваются разные оценки неизвестной ковариации.
Проверьте понимание
Вопросы к этой главе
Нужно ли заново оценивать коэффициенты для HC0?
Нет. Сначала получают обычные МНК-остатки, затем меняют оценку ковариации. Взвешенная подгонка и её собственная устойчивая матрица были бы отдельной процедурой.
Достаточна ли одинаковая дисперсия для диагональной середины?
Нет. Равные дисперсии могут сочетаться с корреляцией разных ошибок. Диагональная конструкция предполагает отсутствие тех перекрёстных зависимостей, которые она не оценивает.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- White 1980: heteroskedasticity-consistent covariance
Вебом проверены индексированные первичные введение и covariance-matrix discussion. Прямой PDF вернул 403; полного чтения нет. HC0/slope example проверены отдельными матричным и скалярным произведениями.
Когда перестановка остатков допустима: инвариантность шума
Остатки регрессии не наследуют автоматически независимость и обменность исходных ошибок. Перед перестановочным тестом нужно проверить инвариантность используемого остаточного закона. Неравные рычаги дают простой строгий контрпример уже при нормальном шуме.
Перед началом: Линейный МНК и проекция; Математическое ожидание, дисперсия и ковариация.
Проекция создаёт зависимость
Пусть в нулевой модели y=Zγ+ε, а M=I−H — остаточная проекция на ортогональное дополнение столбцов Z. Тогда e=My=Mε. Даже при ε∼N(0,σ²I) остатки имеют ковариацию σ²M, поскольку M симметрична и M²=M. Их дисперсии равны σ²(1−hᵢᵢ), а внедиагональные элементы обычно ненулевые.
Для перестановки P нормальный остаточный вектор сохраняет закон ровно тогда, когда PMPᵀ=M. Равенство ковариаций здесь достаточно из-за нормальности и нулевого среднего. Без нормальности оно остаётся лишь необходимым условием второго порядка: одинаковые ковариации не определяют весь многомерный закон.
Когда перестановка действительно допустима
Если исходный закон ошибок инвариантен относительно P и MP=PM, то Pe=PMε=MPε имеет тот же закон, что Mε. Это прямое достаточное условие без требования нормальности. При одной константе M=I−11ᵀ/n коммутирует со всеми перестановками; при произвольных сопутствующих признаках это свойство обычно исчезает.
Неравные остаточные дисперсии сразу опровергают свободную обменность: перестановка местами двух таких координат меняет их одномерные законы. Стандартизация каждого остатка по своей дисперсии ещё не решает задачу, поскольку остаются разные корреляции и точные линейные ограничения остаточного пространства.
Нулевая модель и группа должны быть названы
В сложных процедурах переставляют остатки сокращённой модели, добавляют подогнанную сопутствующую часть и заново считают статистику. Это обоснованные приближённые методы при подходящих условиях, но их нельзя объявлять точными лишь потому, что первоначальные ошибки IID. Для точности нужен инвариантный нулевой эксперимент и соответствующая группа преобразований.
Повторные измерения, блоки и семейные связи могут разрешать лишь специальные перестановки. Расширение группы за пределы действительной обменности создаёт неверное нулевое распределение. И наоборот, слишком малая допустимая группа может почти не менять статистику и не иметь мощности. Проверка инвариантности поэтому относится и к корректности, и к содержательной полезности теста.
Три остатка в одномерном пространстве
Условие. В сокращённой модели есть константа и признак z=(0,1,2). Ошибки независимы N(0,1). Найдите ковариацию остаточного вектора и проверьте возможность свободно поменять местами первую и вторую координаты.
- Ортогональное дополнение двум столбцам натянуто на v=(1,−2,1), поскольку сумма координат v и его скалярное произведение с z равны нулю.
- Квадрат нормы v равен шести, поэтому M=vvᵀ/6. Диагональ ковариации остатков равна (1/6,2/3,1/6).
- Отношение Var(e₂)/Var(e₁)=4. Перестановка первой и второй координат меняет диагональ матрицы ковариаций, поэтому не сохраняет нормальный закон.
- Перестановка первой и третьей координат сохраняет v и M. Она допустима для остаточного закона, однако здесь e₁=e₃ тождественно, так что фактически не порождает нового остаточного состояния.
Ответ. Свободная перестановка неверна; в частности, обмен первой и второй координат меняет закон. Дисперсия второго остатка в четыре раза больше дисперсии первого.
Проверка. Прямое представление e=(ε₁−2ε₂+ε₃)v/6 даёт те же три дисперсии. Точное равенство e₁=e₃ и e₂=−2e₁ независимо подтверждает неодинаковую геометрию координат.
Где легко ошибиться. IID относится к ненаблюдаемым ε, а не к полученным e. Подгонка параметров связывает остатки нормальными уравнениями, поэтому переставлять их как свободные исходные ошибки нельзя без отдельного довода.
Проверьте понимание
Вопросы к этой главе
Достаточно ли одинаковых остаточных дисперсий?
В общем нет. Даже нормальному вектору нужна неизменность всей ковариационной матрицы, включая внедиагональные элементы. Для ненормального закона требуется ещё более сильная проверка распределения.
Почему одна константа является особым случаем?
Удаление общего среднего симметрично по всем наблюдениям. Соответствующая матрица коммутирует с любой перестановкой, поэтому обменность исходных ошибок передаётся остаткам, хотя независимости у них уже нет.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Winkler et al. 2014: permutation inference, nuisance variables
Прочитан первичный раздел о nuisance variables и Table 2: проектированные остатки не наследуют исходную exchangeability, подходы могут быть приближёнными. Собственный нормальный контрпример и критерий PMPᵀ=M проверены непосредственно.
Зависимые ошибки: ковариация среднего с лаговыми произведениями
Коррелирующие ошибки изменяют дисперсию среднего даже при правильном среднем ноль. Лаговые ковариации входят в точную конечную формулу, а их взвешенная оценка требует выбора горизонта.
Перед началом: Условная вероятность; Точная арифметика.
Посчитайте все пары с данным лагом
Пусть ε₁,…,εₙ — стационарный процесс с нулевым средним и ковариацией γh=Cov(εt,εt+h). Тогда Var(ε̄)=n⁻²[nγ₀+2Σₕ₌₁ⁿ⁻¹(n−h)γh]. Для каждого положительного лага имеется n−h пар, а симметрия даёт множитель два. Независимая формула γ₀/n оставляет только диагональные члены. Положительная серийная связь обычно увеличивает ошибку среднего, но отрицательные лаги могут уменьшать её.
Длинновременная дисперсия является предельным объектом
При абсолютной суммируемости ковариаций nVar(ε̄) стремится к Ω=γ₀+2Σₕ≥₁γh. Оценка с ограниченным числом лагов заменяет γh выборочными произведениями остатков. Вариант Бартлетта использует веса 1−h/(L+1) для h≤L. Усечение и веса помогают контролировать нестабильные дальние лаги, но вносят собственное приближение. Длина L не является числом параметров исходной регрессии и не должна выбираться только ради удобного результата.
Остатки и истинные ошибки не тождественны
В регрессии оценивание коэффициентов связывает остатки между собой. HAC-ковариация коэффициентов строится из произведений регрессоров с остатками и матричного обрамления, а не просто из одной корреляции соседних остатков. Ниже рассматривается чистая задача среднего с известным законом ковариаций: она показывает механизм, но не доказывает точное покрытие любой программной HAC-процедуры. Структурные сдвиги и нестационарность также требуют отдельной модели.
Разобранная задача
Условие. Стационарные ошибки имеют γ₀=1, γ₁=1/2 и γh=0 при h≥2. Для n=4 найдите точную дисперсию среднего и сравните с независимой и предельной оценками.
- Диагональный вклад в дисперсию суммы равен nγ₀=4. Положительных пар первого лага три.
- Симметричный лаговый вклад равен 2·3·(1/2)=3. Остальные лаги не дают вклада.
- Дисперсия суммы равна семи, а среднего — 7/16. Независимая подстановка дала бы 1/4.
- Длинновременная константа Ω=1+2·(1/2)=2. Предельная формула Ω/n даёт 1/2, отличаясь от конечных 7/16 из-за краевого множителя n−h.
Ответ. Точная дисперсия среднего равна 7/16; независимая — 1/4; предельная Ω/n — 1/2. Ни одна из двух последних не равна конечному ответу.
Проверка. Возьмём εt=(Zt+Zt−1)/√2 с независимыми стандартными Z. Среднее четырёх ошибок имеет коэффициенты (1,2,2,2,1)/(4√2) при пяти Z. Сумма квадратов коэффициентов равна 14/32=7/16, независимо подтверждая ковариационную формулу.
Где легко ошибиться. Не выдавайте асимптотическую Ω/n за точную дисперсию короткой записи. Также не используйте только γ₀, если положительные лаговые ковариации заданы самой моделью.
Проверьте понимание
Вопросы к этой главе
Почему множитель n−h важен?
У края записи меньше пар данного лага. При конечном n это реальное отличие от бесконечного стационарного ряда, а не ошибка округления.
Почему описанный закон ковариаций допустим?
Явная модель скользящего среднего из независимых Z строит такой процесс. Это сильнее простого перечисления чисел, которые могли бы не задавать положительную ковариационную матрицу.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- statsmodels: cov_hac, Newey–West
Ковариация Newey–West: лаговое окно, серийная зависимость и веса Бартлетта.
Бутстрэп максимума: атом в наблюдённой границе и несостоятельность
Обычный непараметрический бутстрэп может не воспроизвести закон крайней порядковой статистики. Для максимума непрерывной выборки причина видна в положительной массе на уже наблюдённой границе.
Перед началом: Условная вероятность; Точная арифметика.
Повторная выборка ограничена увиденными значениями
Пусть X₁,…,Xₙ независимы Uniform(0,θ), а Mn — их максимум. Непараметрический бутстрэп выбирает n значений с возвращением из эмпирической выборки и вычисляет Mn*. Почти наверное исходный максимум единственен. Он попадает хотя бы один раз в бутстрэп с вероятностью 1−(1−1/n)ⁿ. На этом событии Mn*=Mn. Бутстрэп никогда не создаёт значения выше Mn, хотя истинная непрерывная модель допускает значения между Mn и θ.
Правильный масштаб отличается от среднего
Для z≥0 при n>z вероятность n(θ−Mn)/θ>z равна P(Mn<θ(1−z/n))=(1−z/n)ⁿ. В пределе получается e^(−z), то есть непрерывный экспоненциальный закон без атома в нуле. Бутстрэп-аналог n(Mn−Mn*)/Mn, напротив, имеет атом в нуле с массой, стремящейся к 1−e^(−1). Эта масса не исчезает при росте n, поэтому распределения не могут сходиться к одному и тому же непрерывному пределу.
Неудача относится к конкретной процедуре
Контрпример не означает, что любой бутстрэп неверен. Средние и другие регулярные функционалы имеют другие условия применимости. Для границ поддержки могут работать параметрический бутстрэп при правильной модели, специальные корректировки или выборка меньшего размера с отдельным масштабированием. Эти варианты нуждаются в собственном обосновании. Увеличение числа бутстрэп-повторов лишь точнее оценит неправильный условный закон исходной процедуры и само по себе не устранит несостоятельность.
Разобранная задача
Условие. Исходная непрерывная выборка имеет n=3 различных значения и единственный максимум. Найдите условную вероятность Mn*=Mn при трёх бутстрэп-вытягиваниях и сравните характер этой массы с истинным предельным законом ошибки максимума.
- Каждое вытягивание не выбирает исходный максимум с вероятностью 2/3. Все три не выбирают его с вероятностью (2/3)³=8/27.
- Дополнение даёт P(Mn*=Mn|данные)=19/27. Это точная условная масса в одном значении, а не плотность.
- Соответствующая бутстрэп-ошибка n(Mn−Mn*)/Mn равна нулю с той же вероятностью 19/27.
- При росте n эта масса стремится к 1−e^(−1), приблизительно 0,6321. Истинный предел Exp(1) имеет вероятность ровно нуля равную нулю.
Ответ. При n=3 атом равен 19/27. Он остаётся ненулевым в пределе, что мешает обычному бутстрэпу воспроизвести непрерывный закон крайней ошибки.
Проверка. Полный перебор 3³=27 упорядоченных бутстрэп-выборок даёт восемь записей только из двух меньших значений и девятнадцать с исходным максимумом. Это независимо подтверждает условную массу.
Где легко ошибиться. Не исправляйте проблему простым увеличением числа повторов. Оно уменьшает вычислительный шум оценки атома, но не меняет саму эмпирическую схему, которая этот атом создаёт.
Проверьте понимание
Вопросы к этой главе
Почему исходная непрерывность важна?
Она обеспечивает единственность максимума почти наверное и отсутствие атома в истинном предельном распределении. Для дискретных данных структура крайних значений другая.
Почему нормировка использует n, а не √n?
Максимум равномерной выборки приближается к границе со скоростью 1/n. Масштаб среднего √n не описывает его невырожденный предельный закон.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Berkeley Stat135: Bootstrap, Maximum of a Uniform Sample
Максимум равномерной выборки показывает нерегулярность бутстрэпа и атом на наблюдённой границе.
Зависимость ошибок после регрессоров: что проверяет вспомогательная регрессия
Автокорреляция остатков не сводится к одной корреляции с их сдвигом. Лагированный столбец сам может содержать компоненту, объясняемую исходными регрессорами. Вспомогательная регрессия Бреуша—Годфри проверяет добавочное направление после удаления этой компоненты.
Перед началом: Проекция МНК и теорема Фриша—Во—Ловелла; Лагированные остатки и асимптотические тесты.
Новый столбец сравнивают с уже имеющимися
Обычная линейная регрессия с полным рангом X и свободным членом; один лаг остатков на той же выборке с явно заданным нулём до первого наблюдения. Численный LM-счёт отделён от его асимптотической калибровки.
Пусть e=M_Xy — остатки исходного МНК, M_X=I−X(XᵀX)⁻¹Xᵀ. Сформируем лаг lₜ=eₜ₋₁ с выбранным правилом для первого элемента. Вспомогательная регрессия имеет отклик e и признаки [X,l]. Проверяется нулевой коэффициент при l. Исходные столбцы X остаются в модели, даже если e уже ортогонален им.
Для одного лага положим z=M_Xl. По частной регрессии коэффициент равен γ̂=(zᵀe)/(zᵀz), если zᵀz>0. Числитель можно записать lᵀe, поскольку M_Xe=e. Знаменатель же lᵀM_Xl обычно отличается от lᵀl. Именно его теряет регрессия остатков только на сырой лаг.
Добавочная объяснённая сумма задаёт LM-счёт
При наличии свободного члена среднее e равно нулю, поэтому полная сумма квадратов во вспомогательной регрессии равна eᵀe. Добавленный лаг объясняет (eᵀz)²/(zᵀz). Отсюда R²=(eᵀz)²/[(zᵀz)(eᵀe)] и LM=nR². Это также квадрат нормированного остаточного score при масштабе σ̂²=eᵀe/n.
Для нескольких лагов вместо одного z используют матрицу остаточно преобразованных лагов и проверяют их совместный вклад. Если лаг полностью выражается через X, новый коэффициент не различим и скалярная формула делит на ноль. Почти нулевой остаточный столбец также указывает на нестабильность, которую нельзя исправить произвольным маленьким знаменателем.
Алгебра статистики не является её распределением
При нулевой серийной корреляции, корректной модели среднего и подходящих регулярных условиях LM имеет предельную χ²-калибровку с числом степеней свободы, равным числу проверяемых лагов. Это асимптотический вывод. Лаги оценённых остатков случайны и связаны с исходной подгонкой, поэтому из одной формулы R² не следует точный конечный закон обычной регрессии с фиксированными независимыми признаками.
Правило обработки начальных лагов и состав выборки нужно сообщать. Если удалить первые строки, надо согласованно изменить все столбцы и учитывать, что остатки старой полной подгонки уже не обязаны быть ортогональны сокращённому X. В примере сохраняются все шесть строк и используется нулевой предвыборочный остаток; p-значение для столь короткой записи не объявляется.
Лаг содержит уровень и тренд
Условие. В шести последовательных строках x=(0,1,2,3,4,5), исходный дизайн X=(1,x). Остатки e=(1,−2,1,1,−2,1) ортогональны обоим столбцам. Положите l=(0,1,−2,1,1,−2). Найдите коэффициент вспомогательной регрессии и LM=nR².
- Проверяем Σe=0 и Σxe=0. Сырой лаг имеет Σl=−1, Σxl=−6, lᵀl=11 и eᵀl=−7.
- Регрессия l на (1,x) даёт прогноз 1/3−x/5. Поэтому z=l−1/3+x/5 и zᵀz=11−13/15=152/15.
- Числитель eᵀz остаётся −7. Коэффициент γ̂=−7/(152/15)=−105/152; регрессия только на сырой l дала бы другое число −7/11.
- Добавленная объяснённая сумма квадратов равна 49/(152/15)=735/152. Полная сумма eᵀe равна 12, поэтому R²=245/608.
- Получаем LM=6·245/608=735/304≈2,41776. Это вычисленная статистика выбранной вспомогательной схемы, без утверждения точного коротковыборочного p-значения.
Ответ. γ̂=−105/152, R²=245/608 и LM=735/304. Сырой коэффициент −7/11 не учитывает исходный дизайн.
Проверка. Вектор z=(−5,13,−29,19,22,−20)/15 имеет нулевые сумму и скалярное произведение с x. Для a=e−γ̂z также zᵀa=0; эти три нормальных уравнения независимо подтверждают вспомогательную проекцию.
Где легко ошибиться. Нулевая ортогональность e к X сохраняет числитель, но не разрешает удалить X из вспомогательной регрессии: знаменатель должен использовать остаточную часть лага.
Проверьте понимание
Вопросы к этой главе
Почему тест не совпадает со статистикой Дарбина—Уотсона?
DW использует соседние разности и специальную калибровку. Здесь оценивается добавочный вклад лагов после исходных признаков; это другой счёт и другой набор условий.
Можно ли назвать 735/304 вероятностью?
Нет. Это неотрицательная тестовая статистика, способная превышать единицу. Для вероятностного вывода нужны объявленная нулевая модель и подходящая распределительная калибровка.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- statsmodels: acorr_breusch_godfrey, Notes
Описывает включение исходных регрессоров и лагов остатков во вспомогательную регрессию. Здесь её однолаговая геометрия выведена через проекцию и проверена точными нормальными уравнениями.
Коррелированные группы: sandwich по суммам score, а не по отдельным строкам
При общей групповой ошибке две строки не являются двумя независимыми порциями информации. Для коэффициентов МНК вклад группы сначала суммируется в score, а затем умножается на себя. Порядок этих действий сохраняет внутрикатегориальные перекрёстные произведения, отсутствующие в обычной диагональной оценке.
Перед началом: Матричная ковариация МНК и HC0; Независимые группы и ковариация суммы.
Независимыми слагаемыми являются группы
Линейный МНК полного ранга, независимые кластеры g=1,…,G, произвольная зависимость ошибок внутри каждого кластера и нулевое условное среднее. Рассматривается базовая кластерная матрица CR0 без маловыборочной поправки.
Ошибка коэффициента равна β̂−β=(XᵀX)⁻¹ΣX_gᵀu_g. Обозначим истинный score группы s_g=X_gᵀu_g. При независимости кластеров ковариация суммы есть ΣE(s_gs_gᵀ), если условные средние ошибок нулевые. Межгрупповые члены исчезают, но внутри одной группы ковариации остаются.
Заменяя u_g полными МНК-остатками e_g, получаем ŝ_g=X_gᵀe_g и CR0=(XᵀX)⁻¹[Σŝ_gŝ_gᵀ](XᵀX)⁻¹. Коэффициенты и fitted values при этом не меняются. Изменяется оценка их неопределённости; исправления неверного среднего, эндогенности или пропущенной переменной эта операция не даёт.
Квадрат суммы отличается от суммы квадратов
В регрессии только на константу XᵀX=N и ŝ_g=Σ_{i∈g}e_i. Поэтому CR0=N⁻²Σ_g(Σ_{i∈g}e_i)². Обычная HC0 дала бы N⁻²Σ_i e_i². Разность содержит 2e_ie_j для каждой пары разных строк одной группы, и её знак не обязан быть положительным в произвольном реализованном наборе.
При равных остатках внутри группы перекрёстные произведения положительны и кластерный счёт больше диагонального. При компенсирующих знаках он может быть меньше. Нельзя выбрать группировку по тому, какая стандартная ошибка удобнее: независимость между группами должна иметь содержательное обоснование в механизме данных или дизайне.
Много строк не заменяет много независимых score
Состоятельность базовой матрицы опирается на рост числа независимых кластеров при подходящем контроле размеров, моментов и влияния отдельных групп. При малом G остаточные score сами оценены шумно и ограничены нормальными уравнениями. Поправки масштаба и специальные методы вывода отличаются друг от друга; слово robust не задаёт единственную точную маловыборочную процедуру.
Поскольку Σŝ_g=Xᵀe=0, ранг суммы ŝ_gŝ_gᵀ не превосходит G−1. Уже это ограничение объясняет, почему множество коэффициентов нельзя надёжно проверять по нескольким группам. Приведённая ниже арифметика для G=3 демонстрирует конструкцию матрицы, но не подтверждает покрытие доверительного интервала из трёх кластеров.
Шесть строк с тремя общими уровнями
Условие. В регрессии только на константу наблюдаются три независимые группы по две строки: (1,1),(3,3),(8,8). Вычислите CR0 и HC0 для среднего. Затем мысленно продублируйте каждую строку внутри той же группы и сравните изменения.
- Общее среднее равно (2+6+16)/6=4. Полные остатки по группам равны (−3,−3),(−1,−1),(4,4).
- Кластерные score равны −6,−2,8 и суммируются в ноль. Их квадраты дают 36+4+64=104. Поэтому CR0=104/6²=26/9.
- Диагональная середина содержит только 2·9+2·1+2·16=52. Отсюда HC0=52/36=13/9, вдвое меньше в этом конкретном наборе.
- После точного дублирования каждой строки N увеличивается до 12. Кластерные score удваиваются, их квадраты увеличиваются вчетверо, а внешний знаменатель также вчетверо. CR0 остаётся 26/9.
- Сумма отдельных квадратов при дублировании увеличивается только вдвое, поэтому HC0 уменьшается до 13/18. Дополнительные точные копии не создали новых независимых групп, хотя диагональная формула изображает выигрыш.
Ответ. CR0=26/9, HC0=13/9; при внутригрупповом дублировании CR0 сохраняется, а HC0 падает до 13/18.
Проверка. Средние трёх равных групп равны 1,3,8. Их обычная выборочная дисперсия равна (9+1+16)/2=13, а оценка дисперсии среднего трёх групп — 13/3. Это совпадает с CR0·G/(G−1)=(26/9)·(3/2), то есть отдельно проверяет базовый счёт и явно выбранную поправку для этого частного дизайна.
Где легко ошибиться. Не разбивайте зависимую группу на мелкие псевдонезависимые кластеры ради увеличения их числа и не считайте CR0 точной ковариацией при любом малом G.
Проверьте понимание
Вопросы к этой главе
Почему сначала складывают score, а потом возводят в квадрат?
Зависимость внутри группы означает ковариации между строками. Квадрат суммы сохраняет их перекрёстные произведения; сумма квадратов оставляет только диагональные члены.
Обязана ли кластерная ошибка всегда быть больше HC0?
Нет. В реализованной середине перекрёстные произведения могут иметь разные знаки. Группировку выбирают по зависимости, а не по требуемому направлению изменения ошибки.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Cameron, Miller: A Practitioner’s Guide to Cluster-Robust Inference, §II.C
Выводит кластерную середину sandwich, необходимость независимости групп и ограничения при малом числе кластеров. Здесь базовая CR0 проверена через три групповых score и инвариантность к точному внутригрупповому дублированию.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как квадраты ошибок определяют критерий подбора прямой
Сравниваем линии по сумме квадратов вертикальных остатков, находим простую линейную подгонку и различаем минимум выбранного критерия с доказанной истинностью модели.
Открыть темуПочему прогноз за пределами наблюдений требует отдельного обоснования
Отличаем оценку внутри изученного диапазона от прогноза за его пределами, проверяем модель процесса и объясняем, почему хорошая подгонка не гарантирует дальний прогноз.
Открыть тему