Вероятность и статистика · объяснение и практика
Как множество проверок увеличивает риск случайной находки
Вычисляем риск хотя бы одной ложной находки при нескольких независимых тестах, объясняем поправку Бонферрони и учитываем все заранее определённые проверки.

В теме Оценивание и проверка гипотез: углубление · Учебная карта
Главная мысль
Если выполняются m независимых тестов истинных нулевых гипотез с точной вероятностью ложного отклонения α, риск хотя бы одной ошибки равен 1−(1−α)ᵐ. Без независимости эта формула не универсальна; Бонферрони использует верхнюю границу суммы рисков.
Почему много небольших рисков складывается в проблему
Пусть проведены 20 независимых проверок, и во всех нулевые гипотезы истинны. У каждой вероятность ложного отклонения 0,05. Вероятность не ошибиться ни разу равна 0,95²⁰, поэтому вероятность хотя бы одной ошибки примерно 0,6415. Это не 95% и не просто 20·0,05 = 1: события ошибок могут происходить одновременно.
Условия точного расчёта существенны. Реальные тесты могут иметь вероятность ошибки не ровно α, а не больше α, и результаты могут быть зависимыми. Тогда выражение 1−(1−α)ᵐ нельзя выдавать за точный общий ответ. Но само явление остаётся: поиск среди многих возможностей требует оценивать процедуру в целом, а не только один понравившийся результат.
Как работает простая общая граница
Неравенство объединения даёт вероятность хотя бы одной ошибки не больше суммы индивидуальных вероятностей. Чтобы контролировать общий риск на уровне 0,05 для 10 заранее выбранных тестов, можно назначить каждому порог 0,005. Тогда сумма рисков не превышает 0,05, даже без независимости. Это идея поправки Бонферрони.
Если среди этих десяти тестов получено p = 0,01, оно меньше обычного 0,05, но больше скорректированного 0,005. Поэтому по данной процедуре результат не проходит порог. Это не доказательство отсутствия эффекта: более строгий контроль ошибок уменьшает и вероятность обнаружения некоторых реальных различий. Выбор метода зависит от цели анализа и семейства проверок.
Пример
Запланированы 5 тестов, общий уровень 0,05. Каков одинаковый порог Бонферрони?
0,05/5 = 0,01 для каждого. Гарантия основана на сумме верхних границ рисков, а не на предположении независимости.
Почему нужно определить всё семейство
Нельзя считать только опубликованные тесты, забыв десятки просмотренных и отброшенных. Семейство должно отражать реальный вопрос и процедуру выбора. Дополнительные анализы подгрупп, остановка после удачного результата и выбор из нескольких исходов тоже могут влиять на риск. Полная прозрачность важнее механического деления на удобное маленькое число.
Существуют процедуры контроля вероятности хотя бы одной ошибки и процедуры контроля доли ложных открытий; они решают разные задачи. Ни одна поправка не исправляет плохую выборку или причинную интерпретацию наблюдательных данных. Для учебного расчёта полезно отдельно назвать m, общий уровень и зависимость тестов. Тогда читатель видит, где получено точное число, где только верхняя граница, а где требуется более сложная модель.
От чтения к действию
А теперь — вы
Частые вопросы
Бонферрони требует независимости тестов?
Для границы через сумму рисков — нет. Именно поэтому процедура применима и при зависимости, хотя может быть консервативной.
Непрохождение поправки доказывает нулевой эффект?
Нет. Оно означает лишь, что результат не удовлетворяет выбранному правилу контроля общего риска.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Почему p-значение не является вероятностью истинности гипотезы
Читаем p-значение относительно нулевой модели и выбранного критерия, различаем хвостовую вероятность, размер эффекта и вероятность истинности гипотезы.
Открыть темуКак перестановка меток создаёт нулевую модель сравнения
Строим небольшое точное перестановочное распределение разности средних, сохраняем размеры групп и объясняем, почему допустимость обмена меток является условием теста.
Открыть тему