Вероятность и статистика · объяснение и практика
Как доля успехов становится оценкой параметра Бернулли
Получите оценку вероятности успеха из максимизации правдоподобия, проверьте крайние случаи и не считайте выборочную долю точным параметром.

В теме Оценивание и проверка гипотез: углубление · Учебная карта
Главная мысль
Для независимых одинаковых испытаний Бернулли оценка максимального правдоподобия p на отрезке [0;1] равна доле успехов s/n при n≥1. Она является оценкой, а не доказанным истинным значением.
Данные сводятся к числу успехов
Пусть среди n попыток наблюдались s успехов. Правдоподобие конкретной последовательности равно pˢ(1−p)ⁿ⁻ˢ. В модели независимых одинаковых испытаний порядок не влияет на эту функцию. Если фиксируется только счёт, биномиальный коэффициент зависит от данных, но не от p, поэтому положение максимума остаётся тем же.
Для внутреннего случая 0<s<n удобно взять логарифм: ℓ(p)=s ln p+(n−s)ln(1−p). Его производная равна s/p−(n−s)/(1−p). Условие нуля даёт p=s/n. Вторая производная отрицательна на открытом интервале, поэтому найденная точка — единственный максимум, а не минимум или случайная стационарная точка.
Границы нужно рассмотреть отдельно
Если успехов нет, правдоподобие (1−p)ⁿ максимально при p=0. Если успешны все попытки, pⁿ максимально при p=1. Это корректные крайние оценки на замкнутом отрезке параметра. Логарифмирование на границе требует осторожности: формулу для внутренней производной нельзя подставлять в нулевой знаменатель.
Граничная оценка не доказывает невозможность другого исхода в будущем. Ноль наблюдённых успехов в короткой серии может получиться и при положительном настоящем p. Если параметр заранее ограничен открытым интервалом, крайний случай даёт лишь супремум у границы без достигнутого максимума. Область параметра — часть задачи, а не необязательное украшение.
Пример
В восьми независимых одинаковых попытках было пять успехов. Найдите оценку максимального правдоподобия.
Получаем p̂=5/8=0,625. Это точка максимума данной функции данных. Её неопределённость и возможный разброс при новой серии нужно оценивать отдельно.
Модель и смысл оценки
Испытания с меняющейся вероятностью успеха или зависимостью не описываются автоматически одним независимым параметром p. Например, выбор без возвращения меняет шансы после каждого извлечения. Доля успехов остаётся вычислимым числом, но вывод о максимальном правдоподобии должен опираться на фактическую совместную модель.
Даже в правильной модели разные выборки дают разные доли. Большая выборка уменьшает случайную неопределённость при условиях закона больших чисел, но не исправляет неверный отбор или ошибочную классификацию успеха. Поэтому в ответе отделяют число успехов, объём, оценку и ограничения. Слово «максимальное» относится к правдоподобию наблюдённых данных, а не к максимальной возможной истинности параметра.
От чтения к действию
А теперь — вы
Частые вопросы
Ноль успехов означает p точно равен нулю?
Нет. Это граничная оценка максимального правдоподобия для данных. При положительном p нулевая серия тоже возможна.
Почему биномиальный коэффициент не меняет оценку?
Для фиксированных n и s он не зависит от p. Умножение всей функции на положительную постоянную не меняет место максимума.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Почему правдоподобие параметра не является его вероятностью
Сравните два значения параметра по фиксированным наблюдениям и объясните, почему правдоподобие не является распределением вероятностей параметра.
Открыть темуЧем стандартная ошибка среднего отличается от разброса отдельных наблюдений
Отделите разброс отдельных значений от неопределённости выборочного среднего и проверьте, когда действует деление на квадратный корень объёма.
Открыть тему