Вероятность и статистика · объяснение и практика

Почему многократная проверка по мере поступления данных меняет ошибку

Как два просмотра накопленных данных увеличивают риск ложного отклонения, даже когда каждая проверка отдельно имеет нужный уровень, и что требуется планировать вместо произвольной остановки.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Оценивание и проверка гипотез: углубление · Учебная карта

В маршруте Уточнённые выводы по выборке · 10 тем

Главная мысль

Уровень проверки для фиксированного объёма не переносится автоматически на правило «смотреть после каждого пополнения и остановиться при успехе». Для всей последовательной процедуры нужно отдельно контролировать событие хотя бы одного отклонения.

Покажем эффект на конечном пространстве исходов

При нулевой модели броски независимы, вероятность орла равна половине. После трёх бросков разрешим отклонить модель только при трёх орлах: риск равен 1/8. После шести бросков отдельная проверка отклоняет при пяти или шести орлах: её риск равен (6+1)/64=7/64, что тоже не превышает 1/8.

Теперь объединим их в правило: посмотреть после трёх, а если отклонения нет, продолжить до шести и проверить снова. Каждая отдельная проверка была допустима на уровне 1/8. Однако событие ошибки всего правила — объединение двух возможностей. Оно больше любого из них по отдельности, поэтому общий риск ещё необходимо вычислить.

Учитываем пересечение, поскольку просмотры зависимы

Среди 64 равновероятных последовательностей шести бросков восемь начинаются с трёх орлов. Семь имеют не меньше пяти орлов в сумме. Четыре удовлетворяют обоим условиям: после трёх начальных орлов нужно хотя бы два орла в оставшихся трёх. Объединение содержит 8+7−4=11 последовательностей, значит риск равен 11/64.

Полученные 11/64 больше 1/8=8/64. Нельзя применить формулу независимых просмотров, поскольку шестой результат включает первые три броска. Здесь увеличение риска доказано полным конечным подсчётом, без утверждения о бесконечной серии или о любой возможной статистике. Число 1/8 выбрано ради прозрачного учебного примера, а не как стандарт практической значимости.

Пример

Если проверять только на шестом броске, какой будет риск?

Он останется 7/64 для указанного порога. Изменение создаёт именно добавленный ранний просмотр с возможностью остановить и объявить отклонение.

Последовательная проверка требует собственной калибровки

Можно заранее распределить допустимую ошибку между конечным числом просмотров или использовать специально построенный последовательный метод. Тогда правило остановки является частью анализа, а не скрытым решением после просмотра чисел. Само наблюдение данных не запрещено; проблема появляется, когда обычную фиксированную калибровку приписывают новому адаптивному правилу.

Дополнительные просмотры не всегда дают одинаковую величину увеличения риска: результат зависит от статистики, зависимости данных и выбранных порогов. Поэтому формулу из отдельного примера нельзя переносить механически. Нужно сообщать максимальный горизонт, моменты просмотра и условия продолжения, включая остановку из-за неудобного результата или изменение исходной альтернативы.

От чтения к действию

А теперь — вы

Две проверки выполняются на независимых наборах при истинной нулевой модели. Каждая ложно отклоняет с вероятностью ровно 0,1. Объявляют отклонение, если сработала хотя бы одна. Каков общий риск?

Частые вопросы

Почему нельзя просто перемножить вероятности просмотров?

Просмотры накопленных данных обычно зависимы. В примере первые три броска входят и в шестибросковую статистику.

Любая остановка по данным делает вывод невозможным?

Нет. Существуют последовательные процедуры с контролем ошибки; важно использовать их условия и калибровку, а не обычный фиксированный тест без поправки.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться