Вероятность и статистика · объяснение и практика

Почему среднее минимизирует сумму квадратов расстояний

Доказываем, почему одно постоянное значение лучше всего приближает набор по сумме квадратов в точке среднего. Точное разложение показывает цену сдвига и не требует нормального распределения.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Средние и разброс · Учебная карта

Главная мысль

Для непустого конечного набора сумма Q(c)=Σ(xᵢ−c)² имеет единственный минимум при c=x̄, где x̄ — арифметическое среднее. Точное тождество Q(c)=Q(x̄)+n(c−x̄)² показывает, насколько увеличится потеря при другом центре. Второе слагаемое неотрицательно и обращается в ноль только при совпадении центра со средним.

Один прогноз для всех наблюдений

Представим, что нужно заменить несколько чисел одним постоянным значением. Чтобы сравнить варианты, задаём правило ошибки: отклонение каждого наблюдения от выбранного центра возводится в квадрат, затем квадраты складываются. В этой задаче нет отдельного горизонтального аргумента и наклона прямой. Выбирается только одно число c. Другая функция потерь, например сумма модулей, может привести к другому оптимальному центру, поэтому правило нельзя оставлять неявным.

Среднее x̄ равно сумме наблюдений, делённой на их количество n. Сумма отклонений от него равна нулю:Σ(xᵢ−x̄)=0. Это не означает отсутствия разброса, но станет ключом к точному разложению квадратов. Условие n>0 необходимо уже для определения среднего. Для одного наблюдения оптимальный центр совпадает с ним, а минимальная потеря равна нулю; отдельная поправка n−1 здесь не требуется.

Раскрываем квадрат вокруг среднего

Запишем xᵢ−c=(xᵢ−x̄)+(x̄−c). После возведения в квадрат и суммирования получатся сумма квадратов отклонений от среднего, перекрёстный член 2(x̄−c)Σ(xᵢ−x̄) и n одинаковых квадратов(x̄−c)². Перекрёстный член равен нулю. Поэтому Q(c)=Q(x̄)+n(c−x̄)². Мы получили не приближение около оптимума, а равенство для любого действительного центра.

Число Q(x̄) фиксировано исходными данными. Чтобы уменьшить Q(c), остаётся уменьшить квадрат расстояния от c до среднего. Его минимальное значение ноль достигается только при c=x̄. Это доказывает и существование, и единственность минимума. Проверка нескольких отдельных центров могла бы показать удачный вариант, но сама по себе не исключила бы все остальные. Тождество охватывает их одновременно.

Пример

Для наблюдений 2,5,11 найдите оптимальный центр и сравните его с c=8. На сколько отличается сумма квадратов?

Среднее(2+5+11)/3=6. Q(6)=16+1+25=42. Для c=8 имеем 36+9+9=54. Разность 12 совпадает с n(c−x̄)²=3·2²=12. Следовательно, центр 8 хуже по этому критерию, хотя находится внутри диапазона наблюдений.

Математический минимум не обещает истинность модели

Для этого конечного доказательства не нужны независимость, случайная выборка или нормальное распределение: заданные числа могут быть любыми действительными. Такие предположения возникают в других задачах, когда по выборке оценивают неизвестный центр совокупности и его неопределённость. Минимизация фиксированной суммы отвечает только на вопрос о выбранном наборе и выбранном критерии. Она не устанавливает, как были получены наблюдения и нет ли в них ошибок.

Поскольку отклонения возводятся в квадрат, далёкая точка получает большой вклад и способна заметно сдвинуть среднее. Это свойство критерия, а не автоматическое основание исключать такую точку. При взвешивании меняется определение центра, а при подборе наклонной прямой добавляется ещё один параметр. Здесь полезно сначала освоить постоянный прогноз: он ясно отделяет фиксированный разброс около среднего от дополнительного штрафа за смещение выбранного числа.

От чтения к действию

А теперь — вы

Набор состоит из 1,3,8. Какой постоянный центр единственно минимизирует сумму квадратов отклонений?

Частые вопросы

Нормальность нужна, чтобы среднее минимизировало эту конечную сумму?

Нет. Тождество получается алгебраически для любого непустого конечного набора действительных чисел.

Почему минимум единственный?

При n>0 добавка n(c−x̄)² равна нулю только при c=x̄. Для любого другого действительного центра она строго положительна.

Углублённый разбор

Центр Хьюбера: ограниченный наклон потери и устойчивое уравнение

Потеря Хьюбера сочетает квадратичный центр и линейные хвосты. Далёкая точка сохраняет влияние, но её вклад в уравнение центра ограничен порогом.

Перед началом: Квадратичный критерий и линейная модель; Производные, ранг и положительная ковариационная матрица.

Определение и постановка

При δ>0 зададимρδ(u)=u²/2 для|u|≤δ иδ(|u|−δ/2) вне этого интервала. Выбираемый центр c минимизируетΣρδ(xᵢ−c).

Вывод и вычислительный критерий

Производная по остатку равнаψδ(u)=clip(u,−δ,δ). Поэтому условие минимума имеет видΣψδ(xᵢ−c)=0. При малых остатках оно использует сами отклонения, как среднее; далёкие остатки входят лишь со знаком и фиксированным модулем δ.

Функция потери выпукла и непрерывно дифференцируема в точках±δ. Следовательно, нулевой общий градиент является достаточным условием глобального минимума. Единственность требует дополнительной проверки: на участках без внутренних квадратичных остатков функция может иметь плоский отрезок.

Практическое решение удобно искать по монотонному уравнению усечённых остатков. При увеличении c каждое слагаемое не возрастает. Можно использовать бисекцию между крайними наблюдениями, сохраняя смысл δ в исходной шкале данных.

Условия и границы вывода

Фиксированный порог δ имеет единицы измеряемой величины. Замена метров сантиметрами требует согласованно изменить δ, иначе изменится статистический критерий. Оценивание масштаба по тем же данным образует более сложную процедуру и здесь не предполагается.

Линейный хвост не означает полного игнорирования выброса. Каждый далёкий остаток продолжает давить на центр с ограниченной силой; много таких точек способны заметно сдвинуть решение.

Центр Хьюбера не обязан совпадать ни со средним, ни с медианой. Он определяется всей кусочно-гладкой функцией потерь. Снижение чувствительности к одной далёкой точке также не доказывает, что именно эта точка ошибочна или подлежит удалению.

Сумма отсечённых остатков непрерывна и не возрастает по центру c. Пока хотя бы один остаток лежит внутри квадратичной области, её наклон строго отрицателен. Это позволяет доказать единственность найденного корня в примере; для произвольной выборки при больших промежутках между группами возможен и целый отрезок минимумов.

Разобранная задача

Условие. Для данных(0,0,10) иδ=1 найдите все минимизирующие центры и сравните потерю с центром c=0.

  1. На интервале0≤c≤1 два первых остатка равны−c и остаются в квадратичной области; третий положителен и усечён до1.
  2. Уравнение суммыψ имеет вид−c−c+1=0, поэтому c=1/2.
  3. Левее нуля суммаψ положительна, правее единицы отрицательна; внутри интервала она строго убывает. Минимум единственный.
  4. Потеря при c=1/2 равна2·(1/2)²/2+(9,5−0,5)=37/4; при c=0 она равна19/2.

Ответ. Единственный центр равен1/2, минимальная потеря37/4 меньше19/2.

Проверка. На рассматриваемом интервале полный критерий равен c²+9,5−c=(c−1/2)²+37/4. Это точное завершение квадрата подтверждает найденную точку независимо от уравненияψ.

Где легко ошибиться. Усечение действует на производную потери, а не означает замену самих исходных наблюдений числами в интервале[−δ,δ].

Проверьте понимание

Как ведёт себяψδ(u) при u≫δ?

Вопросы к этой главе

Что изменится при замене10 на100?

Пока дальний остаток остаётся выше порога, егоψ остаётся единицей. Для этих двух нулей иδ=1 оптимальный центр по-прежнему1/2, хотя минимальная потеря увеличится.

Почему ответ не медиана0?

Два близких остатка ещё квадратичны и требуют небольшого сдвига для компенсации ограниченного положительного давления далёкой точки. Чистая L1-потеря задаёт другое уравнение.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • SciPy: Huber loss

    Сверено кусочное определение квадратично-линейной потери Хьюбера и её выпуклость. Корень уравнения отсечённых остатков и глобальность минимума проверены самостоятельно, без копирования примера документации.

Квантильная потеря: асимметричная цена недооценки

Квантильная потеря задаёт разные цены недооценки и переоценки. Её минимум может быть целым интервалом, даже когда программа возвращает одну условно выбранную квантиль.

Перед началом: Квадратичный критерий и линейная модель; Производные, ранг и положительная ковариационная матрица.

Определение и постановка

Для0<τ<1 положимρτ(u)=u(τ−1{u<0}). При u=x−c>0 цена недооценки равнаτu, а при u<0 цена переоценки равна(1−τ)|u|.

Вывод и вычислительный критерий

Между наблюдаемыми значениями производная суммы по c равна(1−τ)·число наблюдений ниже c минусτ·число выше c. При переходе через наблюдение наклон скачком увеличивается. Поэтому выпуклая потеря минимальна там, где ноль попадает между односторонними наклонами.

В терминах эмпирической CDF условие имеет вид Fₙ(c−)≤τ≤Fₙ(c). Если τ совпало с накопленной долей до промежутка между соседними значениями, наклон на всём этом промежутке равен нулю и все его точки одинаково оптимальны.

Это объясняет связь с обобщённой обратной CDF, но не требует, чтобы единственный выбранный программой показатель описывал всё множество минимумов. Разные правила интерполяции квантилей могут выбрать разные точки плоского участка без разницы в данной целевой функции.

Условия и границы вывода

Уровеньτ выбирает относительную асимметрию потери. Он не является вероятностью того, что отдельный полученный прогноз окажется точным. Для условной регрессии квантиль относится к закону отклика при фиксированных признаках и требует отдельной модели оценивания.

Приτ=1/2 потеря равна половине абсолютного отклонения, поэтому получается медианная задача. Общий положительный множитель потери не меняет минимум, но изменениеτ меняет относительные штрафы двух направлений.

Если данные имеют веса, числа наблюдений заменяются весовыми суммами и границы формируются взвешенной CDF. Смешивать невзвешенную квантиль с весовым критерием без проверки нельзя. На краяхτ=0 или1 задача имеет иные неограниченные множества минимумов, поэтому здесь они исключены.

В точке наблюдения производная заменяется интервалом между левым и правым наклонами. Минимум требует, чтобы этот интервал содержал ноль. При nτ, равном целому рангу, между соседними порядковыми статистиками может появиться плоский участок; выбор одного конца является соглашением вывода квантиля, а не доказательством единственности решения.

Разобранная задача

Условие. Для данных(0,1,3,8) иτ=3/4 найдите всё множество минимумов суммы квантильных потерь и значение минимума.

  1. Между3 и8 три значения ниже центра, одно выше. Наклон равен(1/4)·3−(3/4)·1=0.
  2. Левее3 наблюдений ниже меньше трёх, поэтому наклон отрицателен; правее8 он положителен.
  3. При c=3 потеря равна3/4+1/2+0+15/4=5.
  4. При c=8 она равна2+7/4+5/4+0=5; весь отрезок[3,8] сохраняет это значение.

Ответ. Все c∈[3,8] оптимальны, минимальная потеря равна5.

Проверка. Для любой внутренней точки c сумма равна(1/4)(c+c−1+c−3)+(3/4)(8−c)=5. При c=2 или9 прямой расчёт даёт6, подтверждая направления роста снаружи.

Где легко ошибиться. Одна интерполированная квантиль не должна выдаваться за единственный математический минимум, если критерий имеет плоский отрезок.

Проверьте понимание

Какая сторона ошибки дороже приτ=3/4?

Вопросы к этой главе

Почему большойτ поднимает оптимальный центр?

Недооценка получает больший коэффициентτ, чем переоценка1−τ. Чтобы уменьшить дорогие положительные остатки, оптимальное решение смещается к верхним значениям.

Зависит ли минимум от порядка записи данных?

Нет. Критерий симметричен по наблюдениям. Сортировка нужна для анализа наклонов и CDF, а не меняет саму сумму потерь.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Gneiting and Raftery: quantile scoring rules

    Прочитаны §6.1, теорема 6 и формула 41 квантильной check loss с соглашением о знаке награды. Для конечной выборки здесь самостоятельно выведены односторонние наклоны и весь интервал минимумов.

Предсказание в новой точке: шум, смещение и параметрическая неопределённость

Ошибка коэффициента и ошибка прогноза измеряются в разных направлениях и масштабах. Для заранее фиксированного дизайна разложим риск регуляризованного прогноза на смещение, разброс обучения и новый шум. Каждый компонент можно проверить полным конечным экспериментом.

Перед началом: Линейный МНК и проекция; Математическое ожидание, дисперсия и ковариация.

Предсказывается конкретное направление

Пусть обучающий отклик y имеет среднее Xβ и ковариацию Σ, а оценка коэффициентов линейна: β̂=Ay при заранее фиксированной A. Для новой строки признаков x* прогноз среднего равен x*ᵀβ̂. Его смещение относительно x*ᵀβ составляет x*ᵀ(AX−I)β, а дисперсия — x*ᵀAΣAᵀx*.

Среднеквадратичный риск прогнозирования среднего равен квадрату этого смещения плюс указанная дисперсия. Для этого разложения не нужна нормальность: достаточно конечных вторых моментов. Ошибка нормы всего вектора коэффициентов не заменяет направленную ошибку x*: разные новые точки по-разному усиливают отдельные ошибки параметров.

Новое наблюдение добавляет независимый источник

Если новый результат y*=x*ᵀβ+ε* имеет нулевой независимый от обучения шум дисперсии τ², то E(y*−x*ᵀβ̂)² добавляет к риску среднего ещё τ². Перекрёстный член обнуляется по независимости и нулевому ожиданию ε*. Если новый шум связан с обучающими ошибками, этот вывод требует ковариационной поправки.

Регуляризация может уменьшить дисперсию β̂ и одновременно создать смещение. Поэтому сравнение только стандартных ошибок коэффициентов не определяет лучший прогнозный риск. При фиксированном λ это анализ заданной процедуры; выбор λ по тем же данным добавляет новую случайность настройки и не описывается автоматически одной фиксированной A.

Выход за обучающий масштаб усиливает ошибки

В одномерной модели новая величина x* умножает и смещение коэффициента, и его случайное отклонение. Их квадраты в риске растут как x*². Даже небольшой разброс коэффициента способен дать большую прогнозную ошибку далеко от масштаба обучения, а новый шум при этом добавляется отдельно в единицах отклика.

Это условный по дизайну расчёт: значения обучающих признаков и x* объявлены фиксированными. При случайных признаках можно затем усреднить по их закону, но получится другой риск. Смешивать такой усреднённый показатель с ошибкой конкретной новой точки особенно опасно при экстраполяции или изменении распределения признаков.

Один ridge-коэффициент и новый масштаб

Условие. Один обучающий признак равен одному, истинный β=2, отклик y=2+ε с честным шумом ε=±1. Оценка ridge минимизирует (y−b)²+b². Предсказывается y*=3β+ε*, где ε*=±2 независимо и равновероятно. Найдите обе MSE: среднего и нового наблюдения.

  1. Условие минимума даёт β̂=y/2. Поэтому Eβ̂=1, смещение коэффициента равно −1, его дисперсия равна 1/4.
  2. В новой точке x*=3 прогноз среднего имеет смещение −3 и дисперсию 9/4. Риск среднего равен 9+9/4=45/4.
  3. Новый независимый шум имеет дисперсию четыре. Риск наблюдения равен 45/4+4=61/4; его нельзя получить одним умножением дисперсии коэффициента.
  4. При обучающих y=1,3 прогнозы равны 3/2 и 9/2. Новые результаты равны 4 и 8. Четыре равновероятных квадрата ошибок: 25/4,169/4,1/4,49/4; их среднее равно 61/4.

Ответ. MSE среднего отклика равна 45/4, MSE нового наблюдения — 61/4. Из последней ровно четыре приходятся на новый шум.

Проверка. Полный независимый перебор двух обучающих и двух новых шумовых исходов даёт 61/4 напрямую. Отдельное среднее двух квадратов ошибок прогноза относительно постоянного среднего шесть равно 45/4.

Где легко ошибиться. Ожидаемое уменьшение обучающей невязки не является таким прогнозным риском. В примере основная потеря создаётся смещением в новой точке, которое невозможно увидеть, сообщив только Var(β̂)=1/4.

Проверьте понимание

Какова MSE нового наблюдения y* в указанном примере?

Вопросы к этой главе

Почему новый шум не входит в риск среднего?

Цель там — фиксированное условное среднее x*ᵀβ. Случайный ε* появляется только когда целью становится новое наблюдение с собственным разбросом.

Можно ли сложить компоненты при связанном новом шуме?

Не автоматически. При корреляции ε* с ошибкой обучения в раскрытии квадрата остаётся перекрёстная ковариация. Формула простого добавления τ² использует объявленную независимость.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Oliveira–Lei–Tibshirani: normal means risk setup, §1

    Прочитана первичная постановка риска среднего и отличия обучающей ошибки на PDF-страницах 1–3. Здесь линейное разложение получено раскрытием квадрата без нормальности; собственный дискретный ridge-пример проверен всеми четырьмя исходами.

Риск после подгонки: поправка Стейна для линейного сглаживателя

Обучающая невязка обычно занижает риск подогнанного среднего. Для фиксированной линейной процедуры можно построить наблюдаемую несмещённую оценку суммарной квадратичной ошибки, используя известную дисперсию шума и след матрицы сглаживания. Одна её реализация не обязана равняться истинному риску.

Перед началом: Линейные модели и матрицы ковариации; Нормальный закон и квадратичная потеря.

Цель — неизвестный вектор среднего

Пусть y=μ+ε, Eε=0,Cov(ε)=σ²I, а оценка среднего равна Sy для заранее фиксированной матрицы S. Риск R=E||Sy−μ||² относится к вектору μ в тех же наблюдаемых координатах. Это сумма, а не среднее ошибок; для среднего показателя всю формулу нужно последовательно разделить на n.

Раскрывая квадрат, получаем R=||(S−I)μ||²+σ²tr(SSᵀ). Ожидаемая обучающая невязка E||y−Sy||² содержит тот же квадрат смещения, но шумовую часть σ²tr((I−S)(I−S)ᵀ). Их разность равна σ²(2trS−n), что даёт наблюдаемую поправку без знания μ.

Наблюдаемая поправка к невязке

Определим SURE=||y−Sy||²+2σ²trS−nσ². При фиксированной линейной S её ожидание равно R. Для этого линейного вывода достаточно объявленных вторых моментов; нормальность не использовалась. Общее нелинейное тождество Стейна требует нормального шума, подходящей дифференцируемости и интегрируемости, а вместо следа появляется дивергенция оценки.

Если σ² неизвестна и её заменить оценкой из тех же данных, точная несмещённость не следует из написанного равенства автоматически. Также нельзя подставлять случайную выбранную по y матрицу как будто она была фиксирована до наблюдения: настройка может добавить чувствительность к данным, не отражённую одним условным следом.

Отрицательное значение не является отрицательным риском

Сам риск неотрицателен, но его несмещённая наблюдаемая оценка может оказаться отрицательной. Например, при S=0 и y=0 выражение равно −nσ². Обнуление отрицательных значений меняет процедуру и в общем случае нарушает несмещённость. Это обычное различие между параметром и шумной оценкой параметра.

SURE можно сравнивать между заранее заданными процедурами на общей шкале потери. Однако минимум нескольких наблюдённых SURE после выбора наиболее удачной процедуры способен иметь дополнительный оптимизм. Равенство ожидания для каждой фиксированной процедуры отдельно не доказывает несмещённость результата, отобранного по минимальному наблюдённому значению.

Дробный след двухкоординатного сглаживателя

Условие. Пусть n=2,σ²=1,S=diag(1/2,1), наблюдается y=(1,2). Вычислите SURE. Затем при истинном μ=(2,0) найдите риск процедуры и проверьте несмещённость SURE через моменты.

  1. Прогноз Sy=(1/2,2), поэтому обучающая сумма квадратов равна 1/4. След S равен 3/2.
  2. Наблюдаемое SURE=1/4+2·(3/2)−2=5/4. Это число вычислено без использования истинного μ.
  3. При μ=(2,0) квадрат смещения равен одному, tr(SSᵀ)=1/4+1=5/4. Истинный риск равен 1+5/4=9/4.
  4. Случайное SURE здесь равно y₁²/4+1. Поскольку Ey₁²=μ₁²+1=5, его ожидание равно 5/4+1=9/4, хотя наблюдённая реализация была только 5/4.

Ответ. Наблюдаемое SURE равно 5/4; истинный риск при указанном μ равен 9/4, и именно ему равно ожидание SURE.

Проверка. Можно заменить шум двумя независимыми честными знаками ±1: прямой перебор четырёх векторов сохраняет все нужные вторые моменты и даёт среднее SURE и средний квадрат ошибки 9/4.

Где легко ошибиться. Утверждение «несмещённая оценка» относится к повторному эксперименту. Оно не означает совпадение SURE с неизвестным риском в каждом реализованном наборе и не превращает его в гарантированную верхнюю границу ошибки.

Проверьте понимание

Чему равно наблюдаемое SURE при S=diag(1/2,1), y=(1,2),σ²=1?

Вопросы к этой главе

Почему в формуле стоит след, а не число столбцов модели?

Для общего линейного сглаживателя след измеряет суммарную чувствительность fitted values. У обычной проекции МНК он равен рангу, но у ridge и других сглаживателей часто дробный.

Оценивается ли ошибка нового наблюдения?

Здесь оценивается ошибка среднего μ. Новое независимое шумное наблюдение добавило бы ещё nσ² к соответствующей суммарной прогнозной потере; это другая цель.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Oliveira–Lei–Tibshirani: SURE, Theorem 1 and equation 6

    Прочитаны PDF-страницы 2–3: нормальные условия общего тождества и дивергенция. Фиксированная линейная специализация самостоятельно выведена через вторые моменты и проверена конечным четырёхисходным шумом.

Экспектиль: асимметричные квадраты и баланс взвешенных расстояний

Асимметричная квадратичная потеря определяет экспектиль — центр с балансом расстояний, а не долей наблюдений. На короткой выборке его можно найти по интервалам, не вызывая общий оптимизатор.

Перед началом: Условная вероятность; Точная арифметика.

Разные стороны имеют разные квадратичные цены

Для уровня 0<τ<1 зададим L(a)=Σ[τ(yᵢ−a)² при yᵢ≥a; (1−τ)(yᵢ−a)² при yᵢ<a]. Большое τ сильнее наказывает недооценку, поэтому оптимальный центр сдвигается вверх. Каждое слагаемое выпукло и непрерывно дифференцируемо в a=yᵢ, поскольку производная квадрата там нулевая. Для непустой конечной выборки сумма строго выпукла и имеет единственный минимум.

Уравнение сравнивает суммарные расстояния

После дифференцирования получаем τΣ(yᵢ−a)₊=(1−τ)Σ(a−yᵢ)₊. Квантильное уравнение вместо расстояний балансирует числа наблюдений по разные стороны, поэтому совпадение названия уровня не делает ответы равными. Внутри интервала между соседними упорядоченными y множества сторон фиксированы, и решение является взвешенным средним с весом τ сверху и 1−τ снизу. Найденную кандидатуру обязательно проверяют на принадлежность выбранному интервалу.

Масштаб больших значений сохраняет влияние

При τ=1/2 все веса одинаковы и экспектиль превращается в обычное среднее. При τ→1 он стремится к максимуму конечной выборки, при τ→0 — к минимуму. Поскольку используются квадраты, очень далёкое значение продолжает существенно влиять на ответ. Это не устойчивый аналог квантиля, хотя обе конструкции позволяют асимметрично оценивать положение. Для случайной величины нужен конечный подходящий момент; отсутствие второго момента меняет область допустимого риска.

Разобранная задача

Условие. Для выборки (0,0,3) найдите экспектиль уровня τ=3/4 и сравните его с обычным средним и квантилем того же уровня по правилу минимального значения с накопленной долей не меньше τ.

  1. Искомый центр лежит между нулём и тремя. Ниже него находятся два нуля, выше — одна тройка.
  2. Баланс расстояний имеет вид (3/4)(3−a)=(1/4)(2a). Умножение на четыре даёт 9−3a=2a.
  3. Получаем a=9/5=1,8. Оно действительно лежит в выбранном интервале и потому является единственным минимумом.
  4. Обычное среднее равно единице. Эмпирический квантиль уровня 3/4 равен трём: доля в нуле только 2/3 и не достигает 3/4.

Ответ. Экспектиль равен 9/5, среднее — 1, квантиль указанного определения — 3. Это три разных функционала одних данных.

Проверка. В точке 9/5 верхний взвешенный остаток равен (3/4)(6/5)=9/10, нижний — (1/4)(18/5)=9/10. Их равенство независимо подтверждает нулевую производную и направление асимметрии.

Где легко ошибиться. Нельзя отвечать порядковой статистикой только потому, что указан уровень τ. Для квадратичной асимметричной потери важны размеры расстояний; квантиль отвечает другой функции потерь.

Проверьте понимание

Какое число минимизирует заданную асимметричную квадратичную потерю?

Вопросы к этой главе

Почему минимум единственный несмотря на смену весов?

Каждая сторона имеет положительную квадратичную кривизну, а производная согласована в точке перехода. Их сумма строго выпукла для непустой выборки.

Что произойдёт при умножении всех y на положительное число?

Экспектиль умножится на тот же масштаб, поскольку баланс расстояний однороден. При добавлении константы весь ответ сдвинется на неё.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • SciPy: scipy.stats.expectile

    Экспектиль и асимметричная квадратичная потеря; при уровне одной второй получается среднее.

Оценка нормального вектора: нелинейное сжатие Джеймса—Стейна

Несмещённая оценка вектора средних X имеет постоянный суммарный риск dσ². При трёх и более координатах зависимое от длины X сжатие к заранее выбранному нулю строго улучшает этот риск для каждого θ. Доказательство учитывает производную случайного коэффициента, а не подставляет его в формулу фиксированного сжатия.

Перед началом: Многомерный нормальный закон и квадратичный риск; Тождество Стейна и дивергенция.

Случайный коэффициент нельзя считать постоянным

X∼N_d(θ,σ²I) с известной σ²>0, d≥3, неизвестный фиксированный вектор θ. Потеря — сумма квадратов ошибок всех координат; рассматривается обычная, без обрезания, оценка Джеймса—Стейна.

Для оценки δ(X)=X+g(X) раскроем квадрат ошибки. Нормальное тождество E[(Xᵢ−θᵢ)gᵢ(X)]=σ²E∂ᵢgᵢ(X) превращает перекрёстный член в производную. При допустимой интегрируемости получаем R(θ,δ)=dσ²+E[||g||²+2σ²div g]. Нормальность здесь существенна; одной ковариационной матрицы недостаточно для произвольного нелинейного g.

Пусть g(x)=−a x/||x||² при x≠0. Значение в точке ноль можно назначить произвольно: у непрерывного нормального закона эта точка имеет вероятность ноль. При этом особенности в её окрестности требуют проверки интегрируемости, а не исчезают вместе с вероятностью одной точки.

Размерность входит через дивергенцию

Если r²=Σxᵢ², то Σ∂ᵢ(xᵢ/r²)=d/r²−2Σxᵢ²/r⁴=(d−2)/r². Поэтому ||g||²=a²/r² и div g=−a(d−2)/r². Подстановка даёт R=dσ²+[a²−2aσ²(d−2)]Eθ(1/||X||²). Квадратная скобка минимальна при a=(d−2)σ².

Итак, δ_JS=(1−(d−2)σ²/||X||²)X и R=dσ²−(d−2)²σ⁴Eθ(1/||X||²). При d>2 обратный квадрат длины интегрируем около нуля, а нормальный хвост обеспечивает интегрируемость вдали; ожидание положительно. Полученная разность строго отрицательна для каждого конечного θ. При d=2 нельзя переносить тот же вывод через неопределённое произведение нуля и расходящегося ожидания.

Что именно улучшено

Речь идёт о суммарном ожидаемом квадрате ошибки. Теорема не обещает улучшение каждой координаты отдельно или каждой реализованной выборки. При θ=0 длина ||X||²/σ² имеет χ²_d-распределение и обратный момент равен 1/(d−2). Отсюда суммарный риск обычного сжатия равен 2σ² независимо от d≥3.

Когда наблюдаемая длина мала, коэффициент обычной оценки может быть отрицательным и перевернуть направление вектора. Замена коэффициента его положительной частью задаёт другую процедуру; приведённое вычисление риска относится к необрезанной формуле. Неизвестная σ², иные ковариации или выбор точки сжатия по этим же данным также требуют нового доказательства.

Пять координат и известная дисперсия два

Условие. Пусть d=5,σ²=2. Наблюдается X=(1,1,2,2,2). Вычислите обычную оценку Джеймса—Стейна. Затем найдите её суммарный риск при θ=0 и сравните с риском X.

  1. Квадрат длины наблюдения равен 1+1+4+4+4=14. Параметр a=(5−2)·2=6.
  2. Коэффициент сжатия равен 1−6/14=4/7. Оценка составляет (4/7,4/7,8/7,8/7,8/7).
  3. При θ=0 величина ||X||²/2 имеет χ²₅-закон. Поэтому E₀(1/||X||²)=1/[2(5−2)]=1/6.
  4. Риск равен 5·2−(5−2)²·2²·(1/6)=10−6=4. Несжатый X имеет риск 10.
  5. Для данного наблюдения и истинного θ=0 реализованный квадрат ошибки равен 14·(4/7)²=32/7. Он отличается от риска 4, потому что риск усредняет все возможные X.

Ответ. Оценка (4/7,4/7,8/7,8/7,8/7); при θ=0 её суммарный риск 4 против 10 у X. Наблюдённая ошибка в квадрате равна 32/7.

Проверка. При θ=0 можно раскрыть ||δ_JS||²=r²−2a+a²/r². Усреднение даёт E r²−12+36E(1/r²)=10−12+6=4, независимо подтверждая риск без перекрёстного члена Стейна.

Где легко ошибиться. Не подставляйте наблюдаемый коэффициент сжатия в формулу риска фиксированного множителя: его зависимость от X создаёт производную, определяющую выигрыш.

Проверьте понимание

Каков суммарный риск обычной оценки Джеймса—Стейна при θ=0,d=5,σ²=2 в примере статьи?

Вопросы к этой главе

Почему несмещённость X не делает его лучшим по квадратичному риску?

Риск включает дисперсию и квадрат смещения. Класс допустимых процедур не ограничен несмещёнными, и радиальное сжатие улучшает суммарную среднюю потерю ценой смещения.

Доказывает ли риск 4 ошибку не больше 4 в данном наборе?

Нет. Это математическое ожидание потери при повторных наблюдениях. В разобранной реализации потеря 32/7 уже превышает 4, не противореча вычисленному риску.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Berkeley Stat210a: The James-Stein Estimator

    Содержит нормальное тождество Стейна, формулу радиального сжатия и его суммарный риск. Здесь масштаб σ² и дивергенция выписаны явно, а риск и отдельная реализованная потеря сопоставлены на пяти координатах.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться