Вероятность и статистика · объяснение и практика
Как подобрать прямую взвешенным МНК и проверить влияние весов
Минимизируем взвешенную сумму квадратов, находим коэффициенты через взвешенные средние и проверяем остатки; отделяем выбор критерия от статистического обоснования весов.

Главная мысль
Взвешенный МНК для прямой y=a+bx минимизирует сумму wᵢ(yᵢ−a−bxᵢ)² при положительных весах. При ненулевом взвешенном разбросе x наклон равен взвешенной ковариации, делённой на разброс x, а свободный член равен ȳw−b·x̄w. Вес меняет цену ошибки в критерии, а не само наблюдённое значение.
Что означает большой вес
В обычном методе наименьших квадратов одинаковые вертикальные отклонения вносят одинаковый вклад независимо от строки. Во взвешенном варианте такой вклад умножается на заданное положительное число. Больший вес сильнее наказывает отклонение именно в этой строке. Нельзя сначала умножить только значения y на веса и затем считать обычную регрессию: это будет другая задача с изменённой шкалой наблюдений.
Иногда веса выбирают как обратные дисперсии независимых ошибок: wᵢ=1/σᵢ². Это требует обоснования модели измерений и известных либо оценённых погрешностей. Сам положительный столбец весов такого обоснования не создаёт. Веса частот, надёжности и важности имеют разные интерпретации; численно заданный критерий можно минимизировать и без заявления, что он автоматически даёт корректные доверительные интервалы для реальных данных.
Как получить коэффициенты и проверить минимум
Сначала найдите сумму весов, затем взвешенные средние x̄w=Σwᵢxᵢ/Σwᵢ и ȳw=Σwᵢyᵢ/Σwᵢ. Наклон вычисляется как Σwᵢ(xᵢ−x̄w)(yᵢ−ȳw), делённая на Σwᵢ(xᵢ−x̄w)². Если все абсциссы одинаковы, знаменатель нулевой: свободный член и наклон нельзя определить по отдельности. Дополнительные положительные веса не создадут отсутствующий разброс.
После вычисления a и b считайте остатки в исходной шкале: eᵢ=yᵢ−a−bxᵢ. Для модели с подобранным свободным членом выполняются два нормальных уравнения: Σwᵢeᵢ=0 и Σwᵢxᵢeᵢ=0. Обычная невзвешенная сумма остатков при этом не обязана быть нулевой. Положительные веса и ненулевой разброс дают единственный минимум квадратичного критерия, но не доказательство линейности связи в природе.
Пример с удвоенным весом последней точки
Заданы строки (x;y;w): (0;0;1), (1;1;1), (2;4;2). Сумма весов равна четырём, взвешенные средние — 5/4 и 9/4. Центрированный разброс равен 11/4, ковариационная сумма — 23/4. Следовательно, b=23/11, а a=−4/11. Отличие от прямой без весов связано с новым критерием, а не с появлением дополнительных измеренных точек.
У невзвешенного решения для тех же трёх пар коэффициенты равны a=−1/3 и b=2. Если оценить эту прямую уже по новому взвешенному критерию, получится 7/9. У взвешенного решения критерий равен 8/11 и меньше. Сравнивать минимумы разных критериев между собой как единую меру качества нельзя; в этом сравнении обе линии оценены одними и теми же весами.
Пример
Остатки взвешенной прямой равны 4/11, −8/11 и 2/11. Их взвешенная сумма 4/11−8/11+2·2/11=0. Вторая проверка даёт −8/11+2·2·2/11=0. Взвешенная сумма квадратов равна 8/11.
Умножение всех трёх весов на пять не изменит средние и отношение ковариации к разбросу, поэтому коэффициенты останутся прежними. Только значение критерия увеличится в пять раз до 40/11. Это удобная проверка реализации и смысла общего масштаба весов.
От чтения к действию
А теперь — вы
Частые вопросы
Можно ли задать отрицательный вес?
В рассматриваемом методе нет: критерий строится с положительными весами. Отрицательное слагаемое может разрушить свойство минимума и не обозначает повышенную надёжность.
Малые остатки подтверждают причинное влияние x на y?
Нет. Подгонка оценивает заданный критерий для выбранной модели. Причинный вывод требует устройства исследования и дополнительных предпосылок.
Углублённый разбор
Обобщённый МНК: отбеливание коррелированных ошибок
Обобщённый МНК учитывает коррелированные ошибки через обратную ковариацию. Одних индивидуальных весов недостаточно, когда разные наблюдения содержат общий случайный компонент.
Перед началом: Квадратичный критерий и линейная модель; Производные, ранг и положительная ковариационная матрица.
Определение и постановка
Для модели y=Xβ+ε с известной положительно определённой Σ=Covε минимизируют(y−Xβ)ᵀΣ⁻¹(y−Xβ). Это квадратичное расстояние в геометрии погрешностей.
Вывод и вычислительный критерий
Если найти матрицу A с AΣAᵀ=I, преобразованные ошибки становятся некоррелированными с единичными дисперсиями. Нужно одновременно преобразовать отклик Ay и дизайн AX. Тогда задача равносильна обычному МНК в новой системе координат.
Отбеливание не означает статистическую независимость при произвольном законе ошибок. Из диагональной ковариации независимость следует лишь при дополнительных условиях, например совместной нормальности. Для вычисления квадратичного минимума такая нормальность не требуется.
Нельзя отбелить только y и оставить прежние признаки: это изменит среднее модели. Особенно ясно ошибка видна для общего уровня μ, когда после преобразования одни линейные комбинации имеют среднее μ, а другие — нулевое среднее и не несут информации об уровне.
Условия и границы вывода
Если Σ вырождена, обычная обратная матрица не существует и требуется отдельно разбирать детерминированные ограничения и допустимое подпространство. Добавление маленькой диагонали является новой регуляризованной моделью, которую нужно объявить.
Известная Σ и оценённая по тем же данным ковариация приводят к разным свойствам неопределённости. Подстановка шумной оценки ковариации не наследует автоматически все гарантии теоретического GLS.
Положительная корреляция не означает, что оба наблюдения надо обязательно усреднять с положительными весами. При общих компонентах второе наблюдение может не добавлять сведений о параметре после знания первого; в других дизайнах оптимальные линейные веса способны иметь отрицательные знаки.
Матрица отбеливания не единственна: после одного допустимого преобразования можно применить ортогональный поворот. Сумма квадратов и оценка β сохранятся, поскольку поворот не меняет евклидову норму. Смысл метода задаётся равенством AᵀA=Σ⁻¹, а не конкретным расположением коэффициентов в выбранной треугольной матрице.
Разобранная задача
Условие. Два прибора измеряют общий уровень μ. Наблюдения y=(1,4), ковариацияΣ=((1,1),(1,4)). Найдите GLS-оценку и объясните её через отбеливание.
- Представим ошибки как ε₁=U, ε₂=U+√3V при некоррелированных U,V единичной дисперсии. Это даёт заявленнуюΣ.
- Преобразованные наблюдения равны z₁=y₁ и z₂=(y₂−y₁)/√3. Их средние равныμ и0.
- Критерий равен(y₁−μ)²+(y₂−y₁)²/3. Второе слагаемое не зависит отμ.
- Минимум достигается при μ̂=y₁=1; его дисперсия равна1.
Ответ. GLS-оценка уровня равна1 с дисперсией1; второй отбелённый канал проверяет шум, а не уровень.
Проверка. Обратная матрица равна((4,−1),(−1,1))/3. ВекторΣ⁻¹1=(1,0)ᵀ, поэтому стандартная формула(1ᵀΣ⁻¹y)/(1ᵀΣ⁻¹1) независимо возвращает y₁.
Где легко ошибиться. После отбеливания обязательно меняется и матрица признаков; сохранять прежний столбец единиц в обоих каналах неверно.
Проверьте понимание
Вопросы к этой главе
Чем здесь хуже обычное среднее?
Его дисперсия равна(1+4+2)/4=7/4. Оно повторно вносит общий шум U и добавляет часть нового шума V, хотя второй канал не сообщает дополнительного уровня.
Почему не использовать только диагональные веса?
Они игнорируют ковариацию1. В этой задаче относительная точность второго прибора определяется не только его дисперсией4, но и общей с первым прибором компонентой.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- statsmodels: generalized least squares
Прочитаны параметры полной ковариации sigma, отбеленные данные и нормированная ковариация коэффициентов. Конкретное треугольное отбеливание и сравнение дисперсий оценок рассчитаны самостоятельно.
Общий множитель весов: коэффициенты и оценка неопределённости
Общий множитель весов сохраняет коэффициенты взвешенного МНК, но смысл ошибки оценки зависит от того, абсолютные это точности или только относительные веса.
Перед началом: Квадратичный критерий и линейная модель; Производные, ранг и положительная ковариационная матрица.
Определение и постановка
При замене W на cW, c>0, весь критерийΣwᵢeᵢ² умножается на c. Множество его минимумов не меняется, поскольку порядок значений критерия сохраняется.
Вывод и вычислительный критерий
Если W является точно известной обратной ковариацией независимых ошибок, ковариация оценки равна(XᵀWX)⁻¹. Замена W на cW означает другую абсолютную модель погрешностей: исходные дисперсии уменьшены в c раз. Формальная ковариация коэффициентов тогда также уменьшается в c раз.
Если же Varε=σ²W⁻¹ с неизвестным общимσ², веса задают лишь относительную точность. Остаточная оценка s²=Σwᵢeᵢ²/(n−p) при масштабировании умножится на c. Произведение s²(XᵀWX)⁻¹ сохранится: множители c и1/c сокращаются.
Поэтому одну и ту же операцию «нормировать веса до суммы один» нельзя оценивать без объявления модели. Для поиска коэффициентов она безопасна при положительном общем множителе; для интерпретации известных абсолютных стандартных ошибок требуется сохранить первоначальный масштаб.
Условия и границы вывода
Частотные веса и веса надёжности также различаются. Умножение всех частот может означать увеличение размера наблюдаемой выборки, а не простую переупаковку относительных коэффициентов. Число степеней свободы тогда должно следовать реальному дизайну, а не произвольной сумме дробных весов.
При нулевом или отрицательном общем множителе прежний аргумент не действует. Ноль уничтожает критерий, отрицательный множитель превращает минимум в максимум. Здесь разрешено только c>0.
Изменение каждого веса своим множителем не является общей нормировкой и обычно сдвигает коэффициенты. Инвариантность относится именно к одному одинаковому положительному масштабу.
Число остаточных степеней свободы определяется рангом модели, а не суммой весов. В нашем примере остаётся n−p=1 даже после десятикратного масштабирования двух весов. Интерпретация весов как десятикратного тиражирования наблюдений была бы другой вероятностной моделью с иным объёмом и иной схемой независимости.
Разобранная задача
Условие. Для общего уровня даны y=(2,4), относительные веса(1,3). Найдите оценку и остаточную оценку её дисперсии при неизвестном общем масштабе. Затем умножьте веса на10.
- Взвешенный уровень равен(1·2+3·4)/4=7/2.
- Остатки равны−3/2 и1/2; взвешенный SSE равен9/4+3/4=3.
- При n=2,p=1 получаем s²=3 и оценённую дисперсию уровня s²/Σw=3/4.
- После масштабирования коэффициент остаётся7/2, SSE иs² равны30, сумма весов40; отношение снова3/4.
Ответ. Оценка7/2 и оценённая дисперсия3/4 сохраняются при общем масштабировании относительных весов.
Проверка. Если трактовать исходные веса как известные абсолютные точности, дисперсия была бы1/4, а после их десятикратного увеличения1/40. Это другая модель, а не противоречие инвариантности относительных весов.
Где легко ошибиться. Нормировка весов не позволяет одновременно объявить их произвольными относительными числами и известными абсолютными обратными дисперсиями.
Проверьте понимание
Вопросы к этой главе
Нужно ли менять n−p при умножении относительных весов?
Нет. Число реально независимых наблюдений не изменилось. Замена знаменателя суммой новых весов означала бы другую частотную интерпретацию.
Почему коэффициент неизменен?
Умножение критерия на положительное число сохраняет сравнение любых двух кандидатов. Это прямой оптимизационный аргумент, не требующий нормальности ошибок.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- SciPy: absolute and relative sigma
В параметрах sigma и absolute_sigma сверено различие абсолютной ковариации и относительных весов с оценкой общего масштаба. Численные инварианты и смена модели выведены для собственного постоянного среднего.
Регрессия Деминга: известное отношение ошибок обеих координат
Когда обе измеряемые координаты содержат ошибку, обычный вертикальный МНК выделяет одну ось слишком жёстко. Регрессия Деминга использует заранее известное отношение дисперсий ошибок. Выведем профильный критерий, чтобы направление отношения не потерялось в обозначениях.
Перед началом: Линейные модели и матрицы ковариации; Нормальный закон и квадратичная потеря.
Скрытые истинные координаты
Пусть наблюдения удовлетворяют xᵢ=ξᵢ+uᵢ и yᵢ=a+bξᵢ+vᵢ. Ошибки независимы между осями и наблюдениями, центрированы, имеют общие положительные дисперсии σx²,σy². Объявим λ=σy²/σx². В литературе встречается и обратная конвенция, поэтому само число λ без определения числителя недостаточно.
Критерий при фиксированных скрытых ξ равен Σ[(xᵢ−ξᵢ)²/σx²+(yᵢ−a−bξᵢ)²/σy²]. При нормальных ошибках это профильный критерий правдоподобия по фиксированным истинным координатам. Его можно определить и как взвешенную геометрию, но вероятностные выводы тогда нужно обосновывать отдельно.
Удаление скрытых координат меняет знаменатель
Минимизируя по каждому ξᵢ, получаем Σ(yᵢ−a−bxᵢ)²/(σy²+b²σx²). Знаменатель зависит от b: это не обычный вертикальный МНК с постоянными весами. При общих дисперсиях оптимальная прямая проходит через центр данных, поэтому a=ȳ−bx̄ и остаётся Q(b)=(Syy−2bSxy+b²Sxx)/(λ+b²), с точностью до общего масштаба.
При Sxy≠0 минимизирующее направление имеет наклон [Syy−λSxx+√((Syy−λSxx)²+4λSxy²)]/(2Sxy). Для нулевой ковариационной суммы и вырожденных случаев отдельно сравнивают горизонтальное, вертикальное направления и возможность неединственности. Нельзя без проверки делить на Sxy, если оно равно нулю.
Единицы и информация об ошибках
При изменении единиц x и y отношение ошибок должно преобразоваться вместе с ними. Если x умножен на cx, y на cy, то λ умножается на cy²/cx², а наклон — на cy/cx. Сохранить старое λ после изменения единиц означало бы изменить физическую модель погрешностей.
Одно наблюдение каждого метода на объект обычно не позволяет независимо определить обе дисперсии измерительных ошибок из общего рассеяния облака. Их отношение задают внешней калибровкой или повторными измерениями по подходящей модели. Подстановка λ=1 ради удобства означает равные ошибки в выбранных единицах и возвращает обычную ортогональную геометрию, а не универсальное исправление МНК.
Известная погрешность двух осей
Условие. Даны x=(−1,0,1), y=(0,−2,2). Из внешней калибровки известно λ=σy²/σx²=4. Найдите прямую Деминга и сравните её профильный критерий с вертикальным наклоном МНК.
- Оба средних равны нулю, Sxx=2,Sxy=2,Syy=8. Поэтому для каждого наклона оптимальная константа равна нулю.
- Профильный критерий Q(b)=(8−4b+2b²)/(4+b²). Вычитая единицу, получаем Q(b)−1=(b−2)²/(4+b²).
- Знаменатель положителен для любого вещественного b, поэтому единственный глобальный минимум достигается при b=2 и равен одному. Вертикальное предельное направление имеет Q→2 и не лучше.
- Обычный вертикальный МНК даёт b=Sxy/Sxx=1. По тому же профильному критерию Q(1)=6/5, что больше единицы. Это сравнение двух линий по одной, заранее объявленной геометрии ошибок.
Ответ. Прямая Деминга y=2x; минимальный профильный критерий равен одному. Обычная вертикальная прямая y=x имеет Q=6/5.
Проверка. Общая формула при Syy−λSxx=0 даёт b=√λ=2 с положительным знаком ковариации. Независимое тождество Q−1≥0 доказывает глобальную оптимальность без выбора численной сетки наклонов.
Где легко ошибиться. Заменить σy²/σx² обратной дробью только в знаменателе означает получить другую прямую. Нужно одновременно менять конвенцию во всём выводе, а не узнавать знакомую букву λ в документации другой программы.
Проверьте понимание
Вопросы к этой главе
Почему обычные известные веса строк недостаточны?
Они штрафуют вертикальные отклонения при неизменных x. Здесь допускается движение скрытых координат по обеим осям; после их удаления масштаб остатка зависит от наклона.
Всегда ли прямая имеет конечный наклон?
Нет. Геометрически допустима вертикальная линия. Формула с делением на Sxy предполагает невырожденный случай; нулевое Sxy требует отдельного сравнения направлений.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- NCSS: Deming Regression, measurement error model
Прочитаны PDF-страницы 1–2: ошибки обеих координат и внешняя/повторная оценка отношения дисперсий. NCSS использует обратное отношение Var(errorX)/Var(errorY); здесь конвенция λ явно противоположная, профиль и пример выведены независимо.
Одновременная полоса среднего: проекция доверительного эллипса
Интервалы для нескольких значений регрессионного среднего не становятся одновременными автоматически. Доверительный эллипсоид коэффициентов позволяет получить одну полосу для всех фиксированных значений признака. Выведем её проекцией и точно назовём уровень покрытия.
Перед началом: Линейные модели и матрицы ковариации; Нормальный закон и квадратичная потеря.
Совместное событие в пространстве коэффициентов
Пусть y=Xβ+ε, X имеет полный столбцовый ранг p, а ε∼N(0,σ²I) с известной σ². Оценка МНК имеет ковариацию V=σ²(XᵀX)⁻¹. Поэтому квадратичная форма (β̂−β)ᵀV⁻¹(β̂−β) имеет закон χ² с p степенями свободы. Выберем его квантиль c уровня 1−α.
Событие попадания истинного β в эллипсоид с этим радиусом имеет вероятность 1−α. На нём одновременно ограничены все линейные функционалы коэффициентов. В отличие от набора отдельно построенных точечных интервалов, речь идёт об одном общем событии, выбранном до просмотра того, в каких x результат оказался удобным.
Проекция эллипсоида даёт полуширину
Для любой фиксированной строки признаков a неравенство Коши в метрике V даёт |aᵀ(β̂−β)|≤√(c·aᵀVa). Следовательно, полоса среднего равна aᵀβ̂±√(c·aᵀVa). Максимум по эллипсоиду достигается в направлении Vа, поэтому полуширина является точной проекционной границей, а не произвольным завышением каждой координаты.
Один и тот же эллипсоид обеспечивает эти неравенства сразу для всех a. Если интересует только ограниченный набор новых точек, полоса может быть консервативной: ограничивается больше направлений, чем нужно. Здесь не добавляется дисперсия нового наблюдения, поскольку целью остаётся регрессионное среднее, а не будущий индивидуальный шум.
Известная дисперсия является условием примера
При неизвестной σ² замена её остаточной оценкой требует другого совместного распределения и соответствующего F-множителя. Сохранить χ²-квантиль после такой замены нельзя. Также точный нормальный вывод не переносится автоматически на тяжёлые хвосты или зависимые ошибки только благодаря правильному рангу X.
При p=2 плотность χ²₂ равна exp(−t/2)/2 на t≥0, поэтому квантиль 95% равен 2ln20. Это число больше квадрата обычного одномерного нормального квантиля 95%. Разница отражает защиту совместного двумерного отклонения коэффициентов; простое повторение точечного 95%-го интервала по многим x такой защиты не доказывает.
Эллипс двух коэффициентов защищает всю прямую
Условие. По x=(−1,0,1), y=(0,1,0) подбирается прямая с константой, ошибки независимы N(0,1), дисперсия известна. Постройте 95%-ю полосу среднего из эллипсоида коэффициентов и найдите квадрат её полуширины при x=1.
- Матрица XᵀX диагональна с элементами 3 и 2. Оценки коэффициентов β̂=(1/3,0), ковариация V=diag(1/3,1/2).
- При двух коэффициентах c=2ln20, поскольку P(χ²₂>c)=exp(−c/2)=1/20. Это совместный радиус для обоих параметров.
- Для a=(1,x) дисперсионная форма aᵀVa=1/3+x²/2. Полоса имеет центр 1/3 и полуширину √[2ln20·(1/3+x²/2)] для любого заранее рассматриваемого x.
- При x=1 форма равна 5/6, поэтому квадрат полуширины равен (5/3)ln20. Эллипсоид гарантирует неравенство одновременно для всех x, а не только для указанной точки.
Ответ. 95%-я полоса среднего: 1/3±√[2ln20·(1/3+x²/2)]; при x=1 квадрат полуширины равен (5/3)ln20.
Проверка. Направление граничного отклонения коэффициентов пропорционально V(1,1)ᵀ=(1/3,1/2)ᵀ. Нормировка до эллипсоидного радиуса c достигает указанной границы, а интеграл плотности χ²₂ подтверждает ровно 0,95 для исходного совместного события.
Где легко ошибиться. Обычная точечная вероятность покрытия и вероятность накрыть всю кривую — разные события. Нельзя назвать полосу одновременной, только расставив по графику множество привычных точечных 95%-х интервалов.
Проверьте понимание
Вопросы к этой главе
Гарантирует ли полоса все будущие наблюдения?
Нет. Она относится к неизвестному среднему при разных строках признаков. У будущих наблюдений есть собственный шум; одновременная защита такого множества требует отдельной постановки.
Почему коэффициенты не оценивались по отдельности?
Эллипсоид использует их совместную нормальную геометрию. Его проекция контролирует любую линейную комбинацию, в том числе значения одной прямой в бесконечном числе точек.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- NIST: χ² distribution from independent normal coordinates
Прочитаны официальные определение и плотность χ². Совместный нормальный МНК-эллипсоид и его полоса здесь выведены через ковариацию и Коши; собственного регрессионного примера в источнике нет.
Оценённые веса: осуществимый МНК и неопределённость второго этапа
Вес, вычисленный из остатка той же записи, сам является случайным результатом подгонки. Осуществимый взвешенный МНК полезен, но его нельзя читать как точную регрессию с заранее известными дисперсиями.
Перед началом: Условная вероятность; Точная арифметика.
Известные и оценённые веса имеют разный статус
В модели Y=Xβ+ε с заданным X и E(ε|X)=0 заранее известная положительная матрица весов W даёт β̂=(XᵀWX)⁻¹XᵀWY при полном ранге. Если W не зависит от ε, оценка условно несмещённа. Оптимальный выбор при диагональной известной ковариации использует обратные дисперсии. В осуществимом варианте сначала оценивают модель дисперсии по данным, затем подставляют Ŵ. Теперь Ŵ может быть связано с теми же ошибками, и вынести его за ожидание нельзя.
Слишком точная подгонка дисперсии опасна
Если назначать вес 1/eᵢ² каждому отдельному остатку, случайно малый e получает огромный вес. Нулевой остаток делает правило не определённым. Это не измерение реальной точности наблюдения, а частично следствие первой подгонки. Обычно дисперсию описывают сглаженной положительной моделью по группам или признакам, ограничивают вырожденные оценки и исследуют чувствительность. Такие практические решения должны быть названы явно: они меняют процедуру и её конечные свойства.
Корректность предела требует собственных условий
При корректно заданной и достаточно устойчиво оцениваемой модели дисперсии осуществимый метод может иметь хорошие асимптотические свойства. Но стандартная формула с известной W не становится автоматически точной для Ŵ. Отдельная обучающая выборка для весов устраняет прямое использование тех же ошибок при фиксированном основном дизайне, хотя добавляет собственную неопределённость. Для отчёта полезно сравнивать исходный МНК, выбранную модель весов и устойчивую оценку ковариации, не выдавая изменение коэффициента за доказательство устранённой гетероскедастичности.
Разобранная задача
Условие. Оценивается общий уровень по двум независимым наблюдениям Y₁,Y₂ с одинаковыми неизвестными дисперсиями. Кто-то предлагает дать первому вес 100, если Y₁>Y₂, и вес 1 иначе; второму всегда вес 1. Покажите на симметричной дискретной модели смещение.
- Пусть Y₁,Y₂ независимо принимают 0 и 1 с равными шансами. Истинное среднее обоих равно 1/2; четыре пары равновероятны.
- Для (0,0) взвешенная оценка равна нулю, для (1,1) — единице. Для (0,1) оба веса единичны и ответ равен 1/2.
- Для (1,0) первый вес равен 100, поэтому оценка равна 100/101. Вес систематически поддерживает больший первый результат.
- Общее ожидание равно [0+1+1/2+100/101]/4=503/808, приблизительно 0,6225, выше истинной половины.
Ответ. Процедура со случайным предпочтительным весом имеет ожидание 503/808 и положительное смещение 99/808. Положительности весов недостаточно для несмещённости.
Проверка. Вычтем половину из каждого из четырёх ответов: отклонения −1/2,+1/2,0,99/202. Их среднее равно 99/808, независимо подтверждая смещение и его знак.
Где легко ошибиться. Не переносите доказательство несмещённости фиксированного W на произвольный Ŵ(Y). В приведённом правиле ошибки имеют одинаковую дисперсию, а само взвешивание всё равно создаёт направленное смещение.
Проверьте понимание
Вопросы к этой главе
Доказывает ли пример бесполезность любого FGLS?
Нет. Он опровергает универсальную конечную гарантию для произвольных оценённых весов. Корректные осуществимые процедуры требуют конкретной модели и условий.
Почему нельзя объявить большой вес признаком точности?
Здесь он выбран по величине самого наблюдения, а не по независимым сведениям о дисперсии. Число 100 выражает предпочтение алгоритма и не является измеренной точностью.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- statsmodels: Weighted Least Squares, two-stage FWLS
Осуществимый взвешенный МНК в два этапа: веса оцениваются по остаткам исходной регрессии.
Глобальный план экстраполяции: носитель и доли под один прогноз
План, хорошо оценивающий все коэффициенты, может быть не лучшим для одного прогноза за диапазоном измерений. Здесь оптимизируются и места измерений, и число повторов. Нижняя информационная граница одновременно определяет достижимую дисперсию и доказывает необходимость крайних точек.
Перед началом: Ковариация линейного МНК; Матричное неравенство Коши и информация плана.
Цель задаёт направление информации
Точная модель среднего m(x)=α+βx, независимые ошибки с известной общей дисперсией σ², измерения разрешены при x∈[−1,1]. Цель m(c) с фиксированным c>1; рассматриваются планы с невырожденной информацией.
Опишем план вероятностными долями ξ на разрешённом интервале. Для f(x)=(1,x)ᵀ информационная матрица на одно наблюдение равна M=Eξ[f(x)f(x)ᵀ]=((1,Eξx),(Eξx,Eξx²)). При N независимых измерениях ковариация МНК составляет (σ²/N)M⁻¹. Предполагается M>0; одна точка не различает свободный член и наклон.
Для прогноза m(c) вектор контраста v=(1,c)ᵀ и нормированная дисперсия V=vᵀM⁻¹v. Минимизировать V — задача c-оптимального планирования, где буква в названии обозначает заданный контраст. Это не минимизация общей остаточной суммы квадратов уже полученных данных: план выбирается до наблюдения откликов.
Сертификат действует для любого носителя
Возьмём h=(0,1)ᵀ. Матричное неравенство Коши даёт (vᵀM⁻¹v)(hᵀMh)≥(vᵀh)²=c². Но hᵀMh=Eξx²≤1 для любого плана на [−1,1]. Значит V≥c²/Eξx²≥c². Эта граница охватывает и двухточечные, и многоточечные, и непрерывно распределённые планы.
Для равенства необходимо Eξx²=1, то есть вся масса находится на концах −1,+1. Равенство в матричном Коши дополнительно требует Mh пропорциональным v. Здесь Mh=(Eξx,1)ᵀ, поэтому Eξx=1/c. Получаем единственные доли w₋=(c−1)/(2c), w₊=(c+1)/(2c), обе положительные при c>1. Такой план невырожден и достигает V=c².
Один прогноз и весь вектор требуют разных планов
У двух крайних точек прогноз выражается как m̂(c)=[(1−c)/2]ȳ₋+[(1+c)/2]ȳ₊. Левый коэффициент отрицателен: это экстраполяционный контраст, а не выпуклое среднее. Оптимальная доля повторов больше справа, однако все измерения справа уничтожили бы различимость двух параметров и не дали бы нужного контраста.
Для сравнения максимум определителя M достигается при равных долях на концах: detM=E x²−(E x)²≤1. Этот D-оптимальный план ориентирован на весь вектор параметров; для нашего прогноза он даёт V=1+c², превышая c². Результат не защищает от нелинейности реального m вне интервала. При целых количествах доли нужно реализовать или отдельно проверить округлённые планы; граничный случай c=1 с вырожденным пределом здесь не включён.
Двенадцать измерений для среднего в двойке
Условие. Разрешено выбрать любые двенадцать координат в [−1,1], цель — m(2). Ошибки независимы и имеют общую дисперсию σ². Найдите глобальный оптимальный план и сравните с равными повторениями на концах.
- Общая нижняя граница нормированной дисперсии равна c²=4. Она действительна для любого допустимого расположения двенадцати точек с полным рангом.
- Оптимальные доли равны w₋=(2−1)/4=1/4 и w₊=3/4. При N=12 это ровно три измерения в −1 и девять в +1; округление не требуется.
- Среднее x равно 1/2, второй момент 1. Поэтому M=((1,1/2),(1/2,1)), M⁻¹=((4/3,−2/3),(−2/3,4/3)). Контраст (1,2) даёт V=4.
- Оценка m̂(2)=−ȳ₋/2+3ȳ₊/2 имеет дисперсию σ²[(1/4)/3+(9/4)/9]=σ²/3=4σ²/12. Она достигает глобальной границы.
- При шести измерениях на каждом конце дисперсия равна σ²[(1/4)/6+(9/4)/6]=5σ²/12. Равный план лучше по определителю информации, но хуже по выбранному прогнозу.
Ответ. Глобально оптимальны три повторения в −1 и девять в +1; минимальная дисперсия m̂(2) равна σ²/3 против 5σ²/12 у равного плана.
Проверка. Прямое выражение через два независимых крайних средних возвращает ту же дисперсию, что и обратная информационная матрица. Условия равенства E x²=1 и E x=1/2 выполнены, поэтому никакой план с внутренними точками не может дать меньший результат.
Где легко ошибиться. Не выдавайте оптимальность распределения повторов при заранее выбранных точках за глобальную оптимальность расположения. Здесь места измерений определены отдельным информационным сертификатом.
Проверьте понимание
Вопросы к этой главе
Почему нельзя собрать все наблюдения возле точки +1?
Станет плохо различим наклон относительно свободного члена. Для прогноза в 2 нужен контраст двух уровней; строго положительная левая доля обеспечивает полный ранг и достигает доказанной границы.
Делает ли оптимальный план безопасной экстраполяцию?
Он минимизирует дисперсию только при точной линейной модели и объявленном шуме. Систематическая кривизна за пределами измерений создаёт другую ошибку, не учитываемую этой информационной матрицей.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Lenka Filova, Comenius University: Computing c-optimal designs
Определяет c-оптимальное планирование для заданного линейного контраста, включая прогноз вне области измерений. Здесь непрерывный интервал, необходимый носитель и точные доли для прямой выведены собственным матричным сертификатом.
Оценка у границы: атом в нуле вместо обычной chi-square
Правило «один новый параметр — одна χ²» требует регулярной внутренней точки. Если среднее может быть только неотрицательным, отрицательная выборочная оценка упирается в границу. Из-за этого половина нулевых выборок имеет совершенно нулевую LR-статистику, а положительная половина описывается квадратом нормальной величины.
Перед началом: Нормальное среднее и ограниченный максимум правдоподобия; Односторонний хвост и распределение χ²₁.
Ограниченный максимум является проекцией
Независимые Xᵢ∼N(β,σ²), известная σ²>0, параметр β≥0. Проверяется H₀:β=0 против β>0; число наблюдений фиксировано.
При известной дисперсии логарифм правдоподобия отличается от −Σ(Xᵢ−β)²/(2σ²) только постоянной. Без ограничения максимум достигается при X̄; на полупрямой β≥0 получаем β̂=max(0,X̄). Если X̄≤0, нулевой параметр уже является самым подходящим допустимым значением.
Определим T=2[ℓ(β̂)−ℓ(0)]. Разложение суммы квадратов около X̄ даёт T=n·max(0,X̄)²/σ²=max(0,Z)², где при H₀ величина Z=√n X̄/σ имеет стандартный нормальный закон. Это точное равенство для данной модели, не асимптотическое приближение.
Нулевая масса меняет калибровку
При Z≤0 статистика равна нулю, и это событие имеет вероятность 1/2. Для t>0 её верхний хвост P₀(T≥t)=P(Z≥√t)=1−Φ(√t). Следовательно закон T есть смесь половины точечной массы в нуле и половины χ²₁. Коэффициент половина относится к распределению, а не к объявлению дробной степени свободы.
Для уровня 0<α<1/2 положительный критический порог равен [Φ⁻¹(1−α)]². Если использовать обычный верхний α-квантиль χ²₁, фактический размер станет α/2. Направление отклонения уже встроено в ограниченный максимум; повторное удвоение нормального хвоста потеряет эту информацию.
В самой точке ноль хвост надо считать отдельно
При наблюдённом T>0 точное включительное p-значение равно 1−Φ(√T). При T=0 определение P₀(T≥Tнабл) даёт единицу, поскольку T всегда неотрицательна. Подстановка нуля в формулу положительной ветви дала бы 1/2 и потеряла бы атом: формулу нужно задавать по частям. Это p-значение может быть консервативным из-за дискретной массы.
В более сложных граничных моделях смеси часто появляются лишь как предел, а их веса зависят от геометрии ограничений и положения мешающих параметров. Здесь точность обеспечивают известная дисперсия и нормальность среднего. Нельзя переносить найденную смесь на любое добавление неотрицательного параметра или на несколько ограничений без нового вывода.
Положительное среднее между двумя критическими порогами
Условие. Девять независимых нормальных наблюдений имеют известное σ=3 и выборочное среднее X̄=9/5. Параметр β≥0. Вычислите LR-статистику и точное p-значение для β=0; сравните решение при уровне 5% с обычной χ²₁-калибровкой.
- Стандартная ошибка среднего σ/√n равна 1. Поэтому Z=9/5=1,8, а ограниченная оценка β̂=9/5 положительна.
- Статистика T=max(0,Z)²=81/25=3,24. На положительной ветви точный p-хвост равен 1−Φ(1,8)≈0,0359303.
- Для 5%-го уровня правильный порог [Φ⁻¹(0,95)]²≈2,70554. Наблюдённые 3,24 превышают его, поэтому нулевая гипотеза отклоняется.
- Обычный χ²₁-порог около 3,84146 больше 3,24 и не привёл бы к отклонению. Но при нашей нулевой модели он имеет размер 2,5%, а не заявленные 5%.
- Если бы при тех же n,σ среднее было −9/5, получили бы β̂=0,T=0 и включительное p-значение 1. Эта ветвь не является положительным хвостом при Z=0.
Ответ. T=81/25, точное p≈0,03593; на уровне 5% результат значим. Обычная χ²₁-калибровка здесь чрезмерно консервативна.
Проверка. Непосредственно по исходному нормальному среднему событие отклонения правильного теста есть X̄>1,64485·(σ/√n). При β=0 его вероятность ровно 0,05; событие с порогом 1,95996 имеет вероятность 0,025.
Где легко ошибиться. Не заменяйте смесь на χ² с «половиной степени свободы» и не применяйте положительную хвостовую ветвь к атомарному значению T=0.
Проверьте понимание
Вопросы к этой главе
Почему результат точный при девяти наблюдениях?
Стандартизованное среднее нормально точно, а ограниченный максимум вычислен алгебраически. Для этой модели не нужен предельный аргумент Уилкса.
Почему p при T=0 равно единице, а не половине?
Используется включительный хвост P(T≥0), содержащий и атом, и положительную часть. Формула 1−Φ(√t) была выведена только для строго положительных t.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Self, Liang (1987): Asymptotic Properties of Maximum Likelihood Estimators and Likelihood Ratio Tests Under Nonstandard Conditions, Case5
Разбирает проекцию нормального score на полупространство и смесь при одном граничном параметре. Для известной дисперсии в нашей нормальной модели такой закон получен точно; общий асимптотический результат не объявляется точным для других моделей.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как квадраты ошибок определяют критерий подбора прямой
Сравниваем линии по сумме квадратов вертикальных остатков, находим простую линейную подгонку и различаем минимум выбранного критерия с доказанной истинностью модели.
Открыть темуКак остатки показывают расхождение наблюдения и прогноза
Считаем остаток как наблюдение минус прогноз, читаем знак и рисунок отклонений и отличаем нулевую сумму остатков от отсутствия ошибок модели.
Открыть тему