Вероятность и статистика · объяснение и практика

Как отношение максимумов правдоподобия сравнивает вложенные модели

Как ограниченная модель сравнивается с полной по максимумам правдоподобия, зачем берут отрицательный логарифм отношения и когда нельзя автоматически использовать χ².

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Оценивание и проверка гипотез: углубление · Учебная карта

В маршруте Уточнённые выводы по выборке · 10 тем

Главная мысль

Для вложенных моделей отношение Λ=L₀/L₁ сравнивает ограниченный и полный максимумы правдоподобия. Статистика −2lnΛ неотрицательна; её χ²-приближение требует регулярных условий и достаточного объёма, а не следует из одного названия метода.

Обе модели объясняют одни и те же наблюдения

В десяти независимых испытаниях наблюдали восемь успехов. Полная биномиальная модель разрешает любую вероятность p, ограниченная требует p=1/2. Множитель числа сочетаний одинаков для обеих и сокращается в отношении. Полный максимум достигается при p̂=0,8; нельзя сравнивать ограниченный максимум с произвольно выбранным другим значением p.

Логарифм отношения равен 8ln(0,5/0,8)+2ln(0,5/0,2). Поэтому D=−2lnΛ=2[8ln1,6+2ln0,4], примерно 3,855. Слагаемое с неудачами отрицательно, но вся сумма неотрицательна: полная модель имеет не меньше возможностей подстроиться к данным. Меньшее Λ соответствует большему ухудшению при ограничении.

Направление отношения определяет знак статистики

В общем случае ограниченное множество параметров входит в полное. При положительном конечном полном максимуме отсюда следует 0≤Λ≤1. Если ограничение не ухудшило максимум, Λ=1 и D=0. Само правдоподобие плотности может превышать единицу, но отношение правильно выбранных максимумов всё равно имеет указанную границу.

Умножение обоих правдоподобий на один положительный множитель не меняет результат. Именно поэтому в биномиальном примере сократилось число сочетаний. На практике обычно вычитают максимальные логарифмы, чтобы избежать слишком малых произведений. Это вычислительный приём, сохраняющий то же отношение, а не новая статистическая модель.

Пример

Если полный максимум вдвое больше ограниченного, чему равно D?

Тогда Λ=1/2 и D=2ln2. Отрицательный ответ показал бы, что отношение взято в обратном направлении.

Распределение статистики нужно обосновать отдельно

При стандартных регулярных условиях и большом объёме D приближённо имеет χ²-распределение с числом степеней свободы, равным разности размерностей моделей. Но параметры на границе, неидентифицируемость или слишком малые данные могут изменить калибровку. Для десяти испытаний выше вычисление D верно, однако оно само не доказывает точность χ²-вероятности.

Биномиальный пример можно дополнительно калибровать точным перебором всех возможных счётов при нулевой модели. Для невложенных моделей простая разность размерностей не даёт автоматического применения той же теоремы. В ответе нужно разделять три шага: максимизацию, вычисление статистики и выбор её нулевого распределения. Большое правдоподобие не является апостериорной вероятностью истинности модели.

От чтения к действию

А теперь — вы

Максимум правдоподобия в ограниченной модели равен 0,06, в полной — 0,18. Чему равна статистика −2ln(L₀/L₁)?

Частые вопросы

Почему D не должна быть отрицательной?

Вложенная ограниченная модель не может иметь больший максимум, чем полная. Поэтому Λ≤1 и −2lnΛ≥0.

Можно ли сравнивать любые два найденных значения правдоподобия?

Для этого теста требуются именно максимумы в согласованных вложенных моделях на одних данных, а также отдельная калибровка статистики.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться