Вероятность и статистика · объяснение и практика

Почему p-значение не является вероятностью истинности гипотезы

Читаем p-значение относительно нулевой модели и выбранного критерия, различаем хвостовую вероятность, размер эффекта и вероятность истинности гипотезы.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Оценивание и проверка гипотез: углубление · Учебная карта

Главная мысль

p-значение — вероятность при заданной нулевой модели получить значение выбранной статистики не менее крайнее, чем наблюдаемое. Оно не является вероятностью истинности нулевой гипотезы и не измеряет величину эффекта.

Что именно условно в этом числе

Сначала задают нулевую модель, статистику и направление крайности. Например, симметричную монету независимо бросают пять раз и проверяют одностороннюю альтернативу избытка орлов. Наблюдалось пять орлов. При нулевой модели вероятность не менее пяти орлов равна 1/32. Это p-значение для данной односторонней проверки.

Для двусторонней проверки в этом симметричном примере столь же крайним является и ноль орлов. Тогда хвостовая вероятность 2/32 = 1/16. Одни и те же данные дали разные числа для заранее разных вопросов. Выбирать направление после просмотра результата только ради меньшего p нельзя без учёта такого отбора: процедура уже не та, которая была заявлена.

Почему обратная вероятность не получается

Число 1/32 описывает данные при принятой нулевой модели. Оно не говорит, что вероятность симметричности монеты равна 1/32 или 31/32. Для вероятности гипотез после наблюдений нужна другая модель с исходными весами и вероятностями данных при альтернативных объяснениях. Перестановка условия — та же логическая ошибка, что в других задачах об обратных вероятностях.

Большое p также не доказывает истинность нулевой гипотезы. Возможно, данных слишком мало или статистика слабо различает интересующие случаи. Малое p может возникнуть при небольшом содержательном эффекте и большом объёме данных. Поэтому нужно отдельно сообщать оценку эффекта, неопределённость и смысл различия, а не только сравнение числа с порогом.

Пример

При заранее заданном тесте p = 0,03. Можно ли сказать, что нулевая гипотеза истинна с вероятностью 3%?

Нет.0,03 является хвостовой вероятностью статистики при нулевой модели. Обратная вероятность гипотезы из одного этого числа не следует.

Какие действия меняют надёжность вывода

Если перебрать много показателей, вариантов исключения данных и методов, а сообщить только самый маленький p, читатель не увидит настоящую процедуру поиска. Вероятность случайной находки при таком переборе выше, чем у одной заранее выбранной проверки. Нужны прозрачное описание анализов и подходящий учёт множественности.

Модель должна соответствовать данным: независимость, способ выборки и распределительные условия не проверяются одной надписью p в отчёте программы. Малое p может указывать на несоответствие какой-либо части модели, а не только на интересующий эффект. Порог 0,05 не является универсальной границей истины. Полезнее связать численный результат с дизайном, правдоподобными объяснениями и практической значимостью, сохранив возможность независимого воспроизведения расчёта.

От чтения к действию

А теперь — вы

Какая формулировка соответствует смыслу p-значения?

Частые вопросы

p = 0,8 доказывает отсутствие эффекта?

Нет. Данные могут быть недостаточно информативны; большое p не является доказательством нулевой гипотезы.

Малое p обязательно означает большой эффект?

Нет. Величина эффекта и его статистическая заметность — разные характеристики.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться