Вероятность и статистика · объяснение и практика
Как пошаговая поправка Холма контролирует семейную ошибку
Как выполнять пошаговый контроль семейной ошибки, почему после первого непройденного порога остановка обязательна и чем скорректированные p отличаются от исходных.

В теме Оценивание и проверка гипотез: углубление · Учебная карта
В маршруте Уточнённые выводы по выборке · 10 тем
Главная мысль
В процедуре Холма m p-значений сортируют по возрастанию и сравнивают с α/(m−i+1). Отклонения продолжаются только до первого непройденного порога. Метод контролирует вероятность хотя бы одного ложного отклонения при корректных исходных p-значениях.
Семья проверок задаётся до сортировки
Пусть одновременно рассматриваются четыре гипотезы, а общий допустимый риск хотя бы одного ложного отклонения равен 0,05. После сортировки их p-значения равны 0,004;0,018;0,020;0,040. Нельзя сравнить каждое с 0,05 и затем приписать такой же уровень всему набору: это уже другое событие ошибки.
Холм начинает с самого малого p и порога 0,05/4=0,0125. Значение 0,004 проходит, его гипотезу отклоняют. Следующий порог равен 0,05/3, примерно 0,0167. Значение 0,018 его не проходит. На этом отклонения прекращаются, а все оставшиеся гипотезы в этой процедуре не отклоняются.
Поздний удобный порог не позволяет пропустить неудачу
Хотя 0,020 меньше следующего формального порога 0,025, возвращаться к отклонениям после остановки нельзя. Порядок проверки — часть метода. Он устроен так, чтобы при первом возможном ложном отклонении среди истинных гипотез порог был достаточно строгим для контроля семейного риска. Простая таблица отдельных сравнений без правила остановки меняет процедуру.
Скорректированные p-значения тоже можно вычислить. Для отсортированного набора последовательно берут максимум уже встреченных величин (m−j+1)pⱼ и ограничивают результат единицей. В нашем примере получается 0,016;0,054;0,054;0,054. После возвращения к исходным именам гипотез их можно сравнивать с общим α без повторной сортировки.
Пример
Почему скорректированное p для 0,020 равно 0,054, а не просто 2·0,020?
Нужно сохранить предыдущее накопленное ограничение 3·0,018=0,054. Максимум обеспечивает согласованность пошаговых решений.
Коррекция не исправляет неверные исходные проверки
Процедура Холма не требует независимости p-значений, если каждое из них корректно контролирует свой нулевой риск. Но зависимые данные, выбранные задним числом модели или скрытые дополнительные проверки могут сделать исходные p некорректными. Умножение чисел не восстанавливает потерянные условия эксперимента.
Семейная ошибка отличается от доли ложных открытий среди отклонений. Это разные критерии и разные методы коррекции. Неотклонённая гипотеза также не считается доказанной истинной: данных может быть недостаточно. В отчёте полезно назвать состав семьи, число проверок, уровень, сам метод и связь каждого исходного p с его конкретной гипотезой.
От чтения к действию
А теперь — вы
Частые вопросы
Почему после остановки не проверяют более крупные пороги?
Потому что Холм является пошаговой процедурой с обязательной остановкой. Выбор только удобных сравнений не соответствует её контролю риска.
Нужна ли независимость всех проверок?
Для контроля Холма нет, но нужны корректные исходные p-значения и правильно определённая семья проверок.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Почему многократная проверка по мере поступления данных меняет ошибку
Как два просмотра накопленных данных увеличивают риск ложного отклонения, даже когда каждая проверка отдельно имеет нужный уровень, и что требуется планировать вместо произвольной остановки.
Открыть темуКак мощность зависит от заданного эффекта и распределения статистики
Как считать вероятность отклонения при заданном эффекте, различать мощность и уровень и почему мощность не является вероятностью истинности найденного результата.
Открыть тему