Вероятность и статистика · объяснение и практика
Как отношение максимумов правдоподобия сравнивает вложенные модели
Как ограниченная модель сравнивается с полной по максимумам правдоподобия, зачем берут отрицательный логарифм отношения и когда нельзя автоматически использовать χ².

В теме Оценивание и проверка гипотез: углубление · Учебная карта
В маршруте Уточнённые выводы по выборке · 10 тем
Главная мысль
Для вложенных моделей отношение Λ=L₀/L₁ сравнивает ограниченный и полный максимумы правдоподобия. Статистика −2lnΛ неотрицательна; её χ²-приближение требует регулярных условий и достаточного объёма, а не следует из одного названия метода.
Обе модели объясняют одни и те же наблюдения
В десяти независимых испытаниях наблюдали восемь успехов. Полная биномиальная модель разрешает любую вероятность p, ограниченная требует p=1/2. Множитель числа сочетаний одинаков для обеих и сокращается в отношении. Полный максимум достигается при p̂=0,8; нельзя сравнивать ограниченный максимум с произвольно выбранным другим значением p.
Логарифм отношения равен 8ln(0,5/0,8)+2ln(0,5/0,2). Поэтому D=−2lnΛ=2[8ln1,6+2ln0,4], примерно 3,855. Слагаемое с неудачами отрицательно, но вся сумма неотрицательна: полная модель имеет не меньше возможностей подстроиться к данным. Меньшее Λ соответствует большему ухудшению при ограничении.
Направление отношения определяет знак статистики
В общем случае ограниченное множество параметров входит в полное. При положительном конечном полном максимуме отсюда следует 0≤Λ≤1. Если ограничение не ухудшило максимум, Λ=1 и D=0. Само правдоподобие плотности может превышать единицу, но отношение правильно выбранных максимумов всё равно имеет указанную границу.
Умножение обоих правдоподобий на один положительный множитель не меняет результат. Именно поэтому в биномиальном примере сократилось число сочетаний. На практике обычно вычитают максимальные логарифмы, чтобы избежать слишком малых произведений. Это вычислительный приём, сохраняющий то же отношение, а не новая статистическая модель.
Пример
Если полный максимум вдвое больше ограниченного, чему равно D?
Тогда Λ=1/2 и D=2ln2. Отрицательный ответ показал бы, что отношение взято в обратном направлении.
Распределение статистики нужно обосновать отдельно
При стандартных регулярных условиях и большом объёме D приближённо имеет χ²-распределение с числом степеней свободы, равным разности размерностей моделей. Но параметры на границе, неидентифицируемость или слишком малые данные могут изменить калибровку. Для десяти испытаний выше вычисление D верно, однако оно само не доказывает точность χ²-вероятности.
Биномиальный пример можно дополнительно калибровать точным перебором всех возможных счётов при нулевой модели. Для невложенных моделей простая разность размерностей не даёт автоматического применения той же теоремы. В ответе нужно разделять три шага: максимизацию, вычисление статистики и выбор её нулевого распределения. Большое правдоподобие не является апостериорной вероятностью истинности модели.
От чтения к действию
А теперь — вы
Частые вопросы
Почему D не должна быть отрицательной?
Вложенная ограниченная модель не может иметь больший максимум, чем полная. Поэтому Λ≤1 и −2lnΛ≥0.
Можно ли сравнивать любые два найденных значения правдоподобия?
Для этого теста требуются именно максимумы в согласованных вложенных моделях на одних данных, а также отдельная калибровка статистики.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Почему интервал Уилсона отличается от обычной симметричной оценки доли
Почему ноль наблюдаемых успехов не означает точно нулевую вероятность и как обращение score-проверки даёт ненулевую границу интервала доли.
Открыть темуКак мощность зависит от заданного эффекта и распределения статистики
Как считать вероятность отклонения при заданном эффекте, различать мощность и уровень и почему мощность не является вероятностью истинности найденного результата.
Открыть тему