Вероятность и статистика · объяснение и практика
Почему p-значение не является вероятностью истинности гипотезы
Читаем p-значение относительно нулевой модели и выбранного критерия, различаем хвостовую вероятность, размер эффекта и вероятность истинности гипотезы.

В теме Оценивание и проверка гипотез: углубление · Учебная карта
Главная мысль
p-значение — вероятность при заданной нулевой модели получить значение выбранной статистики не менее крайнее, чем наблюдаемое. Оно не является вероятностью истинности нулевой гипотезы и не измеряет величину эффекта.
Что именно условно в этом числе
Сначала задают нулевую модель, статистику и направление крайности. Например, симметричную монету независимо бросают пять раз и проверяют одностороннюю альтернативу избытка орлов. Наблюдалось пять орлов. При нулевой модели вероятность не менее пяти орлов равна 1/32. Это p-значение для данной односторонней проверки.
Для двусторонней проверки в этом симметричном примере столь же крайним является и ноль орлов. Тогда хвостовая вероятность 2/32 = 1/16. Одни и те же данные дали разные числа для заранее разных вопросов. Выбирать направление после просмотра результата только ради меньшего p нельзя без учёта такого отбора: процедура уже не та, которая была заявлена.
Почему обратная вероятность не получается
Число 1/32 описывает данные при принятой нулевой модели. Оно не говорит, что вероятность симметричности монеты равна 1/32 или 31/32. Для вероятности гипотез после наблюдений нужна другая модель с исходными весами и вероятностями данных при альтернативных объяснениях. Перестановка условия — та же логическая ошибка, что в других задачах об обратных вероятностях.
Большое p также не доказывает истинность нулевой гипотезы. Возможно, данных слишком мало или статистика слабо различает интересующие случаи. Малое p может возникнуть при небольшом содержательном эффекте и большом объёме данных. Поэтому нужно отдельно сообщать оценку эффекта, неопределённость и смысл различия, а не только сравнение числа с порогом.
Пример
При заранее заданном тесте p = 0,03. Можно ли сказать, что нулевая гипотеза истинна с вероятностью 3%?
Нет.0,03 является хвостовой вероятностью статистики при нулевой модели. Обратная вероятность гипотезы из одного этого числа не следует.
Какие действия меняют надёжность вывода
Если перебрать много показателей, вариантов исключения данных и методов, а сообщить только самый маленький p, читатель не увидит настоящую процедуру поиска. Вероятность случайной находки при таком переборе выше, чем у одной заранее выбранной проверки. Нужны прозрачное описание анализов и подходящий учёт множественности.
Модель должна соответствовать данным: независимость, способ выборки и распределительные условия не проверяются одной надписью p в отчёте программы. Малое p может указывать на несоответствие какой-либо части модели, а не только на интересующий эффект. Порог 0,05 не является универсальной границей истины. Полезнее связать численный результат с дизайном, правдоподобными объяснениями и практической значимостью, сохранив возможность независимого воспроизведения расчёта.
От чтения к действию
А теперь — вы
Частые вопросы
p = 0,8 доказывает отсутствие эффекта?
Нет. Данные могут быть недостаточно информативны; большое p не является доказательством нулевой гипотезы.
Малое p обязательно означает большой эффект?
Нет. Величина эффекта и его статистическая заметность — разные характеристики.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как множество проверок увеличивает риск случайной находки
Вычисляем риск хотя бы одной ложной находки при нескольких независимых тестах, объясняем поправку Бонферрони и учитываем все заранее определённые проверки.
Открыть темуКак перестановка меток создаёт нулевую модель сравнения
Строим небольшое точное перестановочное распределение разности средних, сохраняем размеры групп и объясняем, почему допустимость обмена меток является условием теста.
Открыть тему