Вероятность и статистика · объяснение и практика

Почему правдоподобие параметра не является его вероятностью

Сравните два значения параметра по фиксированным наблюдениям и объясните, почему правдоподобие не является распределением вероятностей параметра.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Оценивание и проверка гипотез: углубление · Учебная карта

Главная мысль

В функции правдоподобия данные фиксированы, а меняется параметр модели. Это вероятность наблюдённых дискретных данных или их плотность при данном параметре; для вероятности самого параметра нужна дополнительная постановка.

Что фиксировано, а что меняется

До опыта модель назначает вероятности возможным данным при заданном параметре. После наблюдения можно оставить полученные данные неизменными и рассматривать ту же формулу как функцию параметра. Так возникает правдоподобие. Эта смена роли аргумента не превращает формулу в условную вероятность параметра при данных: направление условия осталось другим.

Для независимых наблюдений совместное правдоподобие равно произведению соответствующих вероятностей или плотностей. Независимость здесь должна относиться к модели при заданном параметре. Если измерения зависимы, простое произведение отдельных вкладов не обязательно описывает их совместное распределение. Сначала задают модель, затем строят функцию, а не выбирают произведение по привычке.

Одна и та же строка при разных параметрах

В трёх независимых испытаниях Бернулли наблюдалась конкретная строка успех, успех, неудача. Её правдоподобие L(p)=p²(1−p). При p=0,5 оно равно 0,125, при p=0,8 — 0,128. Второе значение чуть больше, поэтому данная строка несколько лучше согласуется с этим параметром в смысле правдоподобия, но это не вероятность 0,128 того, что параметр равен 0,8.

Если наблюдалось только число двух успехов среди трёх без порядка, появляется коэффициент три. Он одинаков для всех p и потому не меняет относительного сравнения параметров. Множитель, не зависящий от параметра, можно опустить при поиске максимума или отношении, но нельзя после этого выдавать функцию за точную вероятность наблюдённого события.

Пример

В четырёх независимых испытаниях наблюдалась строка с двумя успехами и двумя неудачами. Сравните p=1/4 и p=1/2.

Для первого L=9/256, для второго L=1/16=16/256. Отношение в пользу p=1/2 равно 16/9. Это сравнение двух значений модели, не готовое распределение вероятности неизвестного p.

Нормировка параметра требует другого основания

Сумма или интеграл правдоподобия по значениям параметра не обязаны равняться единице. Для непрерывных данных плотность и само правдоподобие также могут превышать единицу; это не нарушение, потому что речь не о вероятности отдельной точки данных. Единицы плотности меняются со шкалой наблюдения.

В байесовской постановке для распределения параметра добавляют априорное распределение и нормируют произведение по формуле Байеса. В частотной постановке параметр фиксирован, а случайны данные и оценки. Поэтому полезно закончить ответ словами о том, что именно сравнили: согласованность двух параметров с фиксированными данными, а не вероятность истинности гипотез без дополнительных предпосылок.

От чтения к действию

А теперь — вы

Для строки успех, успех, неудача L(p)=p²(1−p). Какое сравнение верно для p=0,6 и p=0,3?

Частые вопросы

Правдоподобие должно суммироваться в единицу по параметру?

Нет. Оно нормировано по возможным данным при фиксированном параметре, а не автоматически по параметрам при фиксированных данных.

Можно ли убрать множитель, не зависящий от параметра?

Для максимизации или отношения правдоподобий — да. Но изменённая функция уже не должна называться точной вероятностью исходного события без этого множителя.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться