Статистические решения: достаточность, мощность и ложные находки
Как сохранить информацию параметра, уменьшить дисперсию оценки и точно назвать критерий ошибки тестирования.
Задачи модуля
Начните с модели и правдоподобия: достаточность относится к определённому семейству распределений. Условное усреднение затем сравнит две оценки по их дисперсии.
В тестировании заранее задайте ошибку, которую контролируете. Мощность против простой альтернативы и ожидаемая доля ложных находок описывают разные обязательства.
Проверять факторизацию правдоподобия с областью допустимых данных.
Вычислять улучшение Рао — Блэквелла и различать достаточность с полнотой.
Строить тест отношения правдоподобий и применять последнее прошедшее ранговое условие BH.
Статистические решения
Интервал Уилсона: неопределённость доли у границы
Симметричный интервал вокруг выборочной доли особенно ненадёжен возле нуля. Обращение score-проверки даёт другой центр и допустимые границы.
Перед началом: Биномиальная модель; Стандартная нормальная шкала.
Оценка и доверительная процедура
Пусть X~Binomial(n,p), наблюдено x успехов и p̂=x/n. Частотный доверительный интервал — правило, которое при повторении плана покрывает фиксированный p с заданной частотой. Это не вероятность параметра после единственного наблюдения. Для приближённого интервала Уилсона выбирают нормальный квантиль z, например 1,96 для номинального уровня 95%. Конечновыборочное покрытие не обязано точно совпадать с номинальным из-за дискретности и использования приближения.
Обращение неравенства
Score-условие (p̂−p)²≤z²p(1−p)/n решается как квадратное неравенство по p. Центр равен (p̂+z²/(2n))/(1+z²/n), полуширина — z√[p̂(1−p̂)/n+z²/(4n²)]/(1+z²/n). Поэтому интервал не обязан быть симметричен относительно p̂. При x=0 нижняя граница равна нулю, а верхняя положительна. Нулевое число наблюдённых успехов не означает доказанное p=0. Для очень строгих требований к покрытию выбирают другую явно названную процедуру.
В другом граничном случае x=n симметрия успеха и неудачи даёт верхнюю границу один и нижнюю n/(n+z²). Это полезная проверка реализации: замена x на n−x должна отражать интервал относительно 1/2. Численная процедура, нарушающая эту симметрию без заявленной причины, скорее всего содержит ошибку.
Условия важнее красивых границ
Формула предполагает фиксированное n, одинаковую вероятность и независимость попыток. Кластерные наблюдения, остановка после успеха и смещённая выборка требуют согласования модели. Границы в [0,1] являются полезным свойством, но не универсальным доказательством корректности анализа. При публикации стоит указывать x и n, уровень и метод, чтобы читатель мог воспроизвести расчёт. Округлять границы следует после вычисления, а процентные записи подписывать как доли вероятности, не как неопределённость количества успехов.
Разобранная задача
Условие. В десяти независимых испытаниях успехов не было. Рассчитайте интервал Уилсона с z=1,96 и сравните с наивным интервалом p̂±z√[p̂(1−p̂)/n].
Имеем p̂=0 и z²=3,8416; знаменатель d=1+3,8416/10=1,38416.
Центр равен (3,8416/20)/d≈0,13877. При p̂=0 полуширина точно равна центру.
Получаем нижнюю границу 0 и верхнюю z²/(n+z²)=3,8416/13,8416≈0,27754.
Наивная формула подставляет p̂=0 в оценку дисперсии и даёт [0,0], скрывая реальную неопределённость.
Ответ. При заданном z интервал Уилсона примерно [0;0,2775].
Проверка. Положительная верхняя граница удовлетворяет уравнению p²=z²p(1−p)/10. Подстановка p=z²/(10+z²) проверяет результат без десятичного округления.
Где легко ошибиться. Не называйте интервал с нормальным квантилем точным биномиальным и не интерпретируйте ноль успехов как доказанное отсутствие события.
Проверьте понимание
Вопросы к этой главе
Почему центр не равен нулю?
Интервал получается обращением проверки с дисперсией при проверяемом p. Это меняет центр по сравнению с простой подстановкой p̂.
Это байесовский интервал?
Нет. Здесь используется частотная score-процедура. Некоторые похожие формулы имеют байесовские аналоги, но их смысл нужно задавать отдельно.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
Документация statsmodels: score/Wilson confidence interval; в главе приведён собственный вывод обращением неравенства и проверка границ.
Точный биномиальный тест: критическая область и мощность
Уровень ошибки рассчитывают при нулевой вероятности, а мощность — при альтернативной. Одну и ту же критическую область оценивают двумя законами.
Перед началом: Биномиальное распределение; Односторонняя гипотеза.
Решение должно быть правилом для всех данных
Пусть X — число успехов в заранее фиксированных n независимых испытаниях. Проверяем H₀:p=p₀ против p>p₀ и отклоняем при X≥k. Порог k выбирается до наблюдений так, чтобы Pₚ₀(X≥k)≤α. Для составной гипотезы p≤p₀ верхний хвост монотонно растёт по p, поэтому максимум ошибки достигается на границе p₀. Дискретность часто не позволяет получить ровно α без рандомизации, и фактический уровень оказывается меньше заданного.
Мощность использует другой параметр
Для выбранного правила функция мощности равна β(p)=Pₚ(X≥k). Она зависит от истинного p, размера n и порога, а не только от наблюдённого p-значения. При заданной альтернативе p₁ мощность показывает шанс отклонить H₀ в повторных экспериментах, если p₁ действительно верно. Вероятность ошибки второго рода там равна 1−β(p₁). Увеличение n помогает, но после этого порог нужно заново согласовать с уровнем; сохранять произвольный прежний k нельзя.
Планирование и последующий анализ
Наблюдённые данные не дают вероятности того, что проверка в этом запуске была мощной. Полезнее заранее указать практически важное отличие p₁−p₀ и найти n с достаточной мощностью. Повторное подглядывание и остановка при первом малом p меняют план и нарушают фиксированную биномиальную гарантию. Тогда нужна последовательная процедура. Для расчёта хвостов в больших задачах используют устойчивые функции распределения, избегая вычитания почти единицы из единицы без необходимости.
Разобранная задача
Условие. Для n=5 проверяют p₀=1/2 против p>1/2 на уровне не выше 0,05 правилом X≥k. Найдите минимальный k и мощность при p₁=0,8.
При k=5 нулевой хвост равен (1/2)⁵=1/32=0,03125.
При k=4 хвост равен (C(5,4)+C(5,5))/32=6/32=0,1875 и превышает 0,05.
Поэтому минимальный допустимый порог равен 5: отклонение возможно только при пяти успехах.
При p₁=0,8 мощность этого правила равна 0,8⁵=0,32768; вероятность ошибки второго рода равна 0,67232.
Ответ. Порог k=5, фактический уровень 0,03125, мощность при 0,8 равна 0,32768.
Проверка. Хвосты по k монотонно уменьшаются. Проверка соседнего k=4 доказывает минимальность выбранного порога, а не только его допустимость.
Где легко ошибиться. Не вычисляйте мощность под p₀: это фактический уровень. Для мощности необходимо указать конкретную альтернативу либо всю функцию по p.
Проверьте понимание
Вопросы к этой главе
Почему уровень не ровно 0,05?
В нерендомизированной дискретной проверке доступен конечный набор хвостовых вероятностей. Требование «не выше» выбирает ближайшее допустимое значение.
Большая мощность означает высокую вероятность истинности альтернативы?
Нет. Это вероятность отклонения при условии заданного истинного альтернативного параметра, а не обратная вероятность гипотезы.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
Документация SciPy: точная проверка биномиальной вероятности. Критическая область и мощность пересчитаны для собственных n и альтернативы.
Поправка Холма: контроль хотя бы одного ложного отклонения
При множестве проверок важна ошибка всего семейства. Последовательная процедура Холма начинает с самого малого p и останавливается на первом неуспехе.
Перед началом: P-значение; Неравенство объединения событий.
Семейство задают содержательно
Family-wise error rate есть вероятность хотя бы одного отклонения истинной нулевой гипотезы среди заранее определённого семейства. Она отличается от ошибки каждой отдельной проверки. В семейство входят все анализы, между которыми выбирают выводы, а не только понравившиеся результаты. Для гарантии Холма нужны корректные p-значения: под истинной гипотезой они должны быть суперравномерными. Статистическая зависимость между тестами допускается, поэтому независимость не является обязательной предпосылкой этой процедуры.
Последовательные пороги
Упорядочим m значений p_(1)≤…≤p_(m). Сравниваем p_(i) с α/(m−i+1), начиная с i=1. Пока условие выполнено, гипотезу отклоняем. При первом превышении останавливаемся и не отклоняем все оставшиеся, даже если позднее значение прошло бы свой отдельный порог. Именно остановка отличает корректное правило от несогласованного набора сравнений. Поправленные p можно вычислить как накопленный максимум чисел (m−i+1)p_(i), ограниченный сверху единицей.
Возвращение к исходному порядку обязательно: отсортированный первый результат может относиться к любой первоначальной гипотезе. Вместе с p сохраняют идентификатор проверки, иначе правильная арифметика подпишет неверный вывод.
Что обеспечивает гарантию
Если в семье m₀ истинных гипотез, первый ложный отказ возможен только когда наименьшее из их p достаточно мало. Неравенство объединения даёт верхнюю границу α без предположения независимости. Процедура контролирует семейную ошибку при любых сочетаниях истинных и ложных гипотез. Но это не вероятность правильности каждого отдельного вывода после анализа. Коррекция также не исправляет ошибочную модель одного теста, выборочную публикацию или незаявленное расширение семейства после просмотра данных.
Разобранная задача
Условие. В семье четырёх проверок получены p=0,004;0,018;0,040;0,200. Примените Холма при α=0,05 и найдите поправленные значения.
Значения уже упорядочены. Пороги равны 0,0125;0,016666…;0,025;0,05.
Первое 0,004 проходит 0,0125. Второе 0,018 превышает 0,05/3, поэтому останавливаемся.
Отклоняется только первая гипотеза. Остальные не отклоняются.
Умноженные значения: 0,016;0,054;0,080;0,200. Они уже не убывают, поэтому это и есть поправленные p.
Ответ. Холм отклоняет только первую гипотезу; поправленные p=(0,016;0,054;0,08;0,2).
Проверка. Сравнение каждого поправленного значения с 0,05 даёт то же множество решений. Второй исход показывает конкретное место остановки.
Где легко ошибиться. Нельзя продолжать выбирать отклонения после первого превышения порога. Иначе теряется именно правило, для которого доказана гарантия.
Проверьте понимание
Вопросы к этой главе
Нужны ли независимые тесты?
Для семейной гарантии Холма нет. Однако каждое исходное p должно быть корректно для своей гипотезы и плана наблюдений.
Контролирует ли Холм долю ложных находок?
Он контролирует более строгую вероятность хотя бы одной ложной находки. Доля ложных отклонений является другим критерием.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
Документация statsmodels: Holm step-down и другие семейные поправки. Пороги и поправленные p вычислены для собственного набора.
Бенджамини–Хохберг: порог для доли ложных находок
Контроль ожидаемой доли ложных отклонений отличается от защиты от любой ошибки. Процедура BH ищет последний подходящий упорядоченный индекс.
Перед началом: Множественная проверка; Математическое ожидание.
Определите случайную долю
Пусть R — число отклонённых гипотез, V — число ошибочных отклонений среди них. False discovery rate равен E[V/max(R,1)]. При R=0 доля по соглашению равна нулю. Это ожидание по повторным данным, а не гарантия, что в конкретном списке ошибочно не больше q процентов. Если все гипотезы истинны, критерий совпадает с вероятностью хотя бы одного отклонения. При наличии реальных эффектов он допускает больше находок, чем семейный контроль.
Восходящее правило BH
Упорядочим m корректных p-значений. Найдём максимальное k, для которого p_(k)≤qk/m. Если такого k нет, ничего не отклоняем; иначе отклоняем все гипотезы с индексами 1,…,k. Не требуется, чтобы каждый более ранний индекс отдельно проходил свой порог. Это принципиальное отличие от процедуры Холма. Обычная гарантия BH действует для независимых p и ряда подходящих положительных зависимостей. Произвольная зависимость требует другой поправки или отдельного доказательства.
Как читать результат ответственно
Поправленные p для BH строятся обратным накопленным минимумом чисел mp_(i)/i, ограниченных единицей, после чего возвращаются в исходный порядок. Значимость остаётся зависимой от состава семейства. Добавление или скрытие тестов после просмотра результатов меняет процедуру. Контроль FDR не сообщает вероятность ложности именно конкретной строки списка, не доказывает практическую важность эффекта и не заменяет проверку воспроизводимости. Число q должно быть выбрано до интерпретации, вместе с приемлемым для задачи типом ошибки.
Разобранная задача
Условие. Для четырёх независимых проверок p=0,006;0,024;0,026;0,400. Примените BH с q=0,05.
Пороги q i/4 равны 0,0125;0,025;0,0375;0,05.
Первые три значения проходят свои пороги, четвёртое не проходит. Максимальный подходящий индекс k=3.
Отклоняются первые три гипотезы. Процедура не обещает ноль ложных отклонений в этой тройке.
Числа 4p/i равны 0,024;0,048;0,034666…;0,4. Обратный накопленный минимум даёт 0,024;0,034666…;0,034666…;0,4.
Ответ. BH отклоняет три гипотезы; поправленные p примерно (0,024;0,03467;0,03467;0,4).
Проверка. Сравнение поправленных p с 0,05 воспроизводит выбранную тройку. Накопленный минимум устраняет убывание между второй и третьей позицией.
Где легко ошибиться. FDR=0,05 не означает, что вероятность ложности каждой найденной гипотезы равна 5%, и не гарантирует точную долю ошибок в одном запуске.
Проверьте понимание
Вопросы к этой главе
Можно ли остановиться на первом непройденном пороге?
Для BH так делать нельзя: нужно искать последний подходящий индекс. Более поздний порог мягче и может сработать.
Гарантирован ли обычный BH при любой зависимости?
Нет. Независимость и определённые положительные зависимости подходят; для произвольной структуры нужны дополнительные меры.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
Документация SciPy: определение FDR и условия BH. Собственный набор p и обратный накопленный минимум разобраны отдельно.
Достаточная статистика: сумма Бернулли сохраняет информацию о параметре
Достаточность означает сохранение всей выборочной информации о параметре внутри модели. Она не требует сохранения порядка наблюдений.
Перед началом: Правдоподобие; Условное распределение.
Модель определяет понятие информации
Пусть X₁,…,Xₙ независимы и имеют Bernoulli(p), где один неизвестный параметр p общий для всей серии. Для конкретной бинарной строки x правдоподобие равно pˢ(1−p)ⁿ⁻ˢ, где s=Σxᵢ. Все строки с одинаковой суммой дают одну и ту же функцию p. Поэтому порядок успехов не помогает различать значения p внутри этой модели. Если вероятность меняется по времени, сумма уже может потерять информацию о параметрах тренда, и прежний вывод не переносится.
Критерий факторизации и прямая проверка
Критерий Неймана–Фишера выражает достаточность T через факторизацию плотности g_p(T(x))h(x), где h не зависит от p. Здесь T=S, g_p(s)=pˢ(1−p)ⁿ⁻ˢ, h=1. Можно проверить определение напрямую: при S=s все C(n,s) допустимых строк имеют условную вероятность 1/C(n,s), не зависящую от p при 0<p<1. Значит остаточная случайность расположения успехов после знания суммы не сообщает дополнительной информации о параметре.
Что достаточность не обещает
Достаточная статистика не обязательно несмещённая оценка и вообще может быть вектором или целой выборкой. Понятия достаточности, минимальности и полноты различны. Сумма S достаточна, а оценка S/n является её взаимно однозначным преобразованием при известном n и сохраняет достаточность. Округлённая до одного знака доля может склеить разные суммы и это свойство потерять. Для граничных p=0 или 1 некоторые условия S=s имеют нулевую вероятность, поэтому условную формулу на них не определяют обычным делением.
Разобранная задача
Условие. В четырёх испытаниях наблюдается строка 1010. Сравните её правдоподобие со строкой 1100 и найдите условную вероятность каждой строки при S=2.
Обе строки содержат два успеха и две неудачи, поэтому имеют правдоподобие p²(1−p)².
Число бинарных строк длины четыре с двумя успехами равно C(4,2)=6.
Вероятность S=2 равна 6p²(1−p)².
Для 0<p<1 отношение вероятности каждой строки к вероятности S=2 равно 1/6 и не содержит p.
Ответ. Правдоподобия одинаковы; условная вероятность каждой из шести строк равна 1/6.
Проверка. Условные вероятности шести строк суммируются в единицу. Их отношения не зависят от p, что непосредственно проверяет достаточность суммы.
Где легко ошибиться. Достаточность действует относительно заданного семейства распределений. Она не позволяет игнорировать порядок при модели с зависимостью или меняющейся вероятностью.
Проверьте понимание
Вопросы к этой главе
Достаточно ли хранить только долю?
При известном n и без потери точности да: S восстанавливается как n·p̂. Округление способно сделать это восстановление невозможным.
Означает ли достаточность, что данных много?
Нет. Даже сумма четырёх испытаний может быть достаточной в своей модели, оставаясь очень неточной основой для оценки p.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
MIT 14.381, lecture 4, разделы 1–2: достаточность через условный закон и факторизация. Бернуллиев пример с четырьмя испытаниями перечислен самостоятельно.
Перестановочная проверка: случайное назначение задаёт пространство исходов
Точное распределение можно получить перебором допустимых назначений групп. Основание для перестановок даёт план рандомизации или обменность под нулевой гипотезой.
Перед началом: Разность средних; Комбинаторные сочетания.
Почему ярлыки можно менять
В рандомизированном эксперименте задано, сколько объектов попадёт в каждую группу и какие назначения равновероятны. При острой нулевой гипотезе отсутствия индивидуального эффекта результаты объектов фиксированы, меняются только назначения. Тогда статистику пересчитывают для каждого допустимого назначения. В наблюдательных данных произвольная перестановка ярлыков не становится законной автоматически: нужно отдельное условие обменности, которое может нарушаться разными дисперсиями, парностью, временной или кластерной структурой.
Хвост включает наблюдаемое назначение
Выберите статистику и направление альтернативы до расчёта. Для двухсторонней проверки по модулю разности средних точное p есть доля допустимых назначений с |T|≥|T_obs|. Равенства включаются, иначе дискретная процедура может стать антиконсервативной. Если полный перебор слишком велик, случайные перестановки дают оценку хвоста с собственной ошибкой. При Монте-Карло-приближении часто используют (b+1)/(B+1) с включением наблюдаемого исхода; это отличается от точного отношения при полном перечислении.
Поскольку в примере перебираются все назначения, дополнительная поправка плюс один не нужна. Она относится к случайному приближению перебора и не должна менять точно перечисленную конечную долю.
Учитывайте ограничения рандомизации
Для парного назначения переставляют знаки или ярлыки внутри пар, для блокового — только внутри блоков. Перестановка всех объектов между блоками проверяла бы план, которого не было. Выбор статистики также влияет на устойчивость при неоднородности. Точное p относится к конкретной нулевой гипотезе и механизму назначения, а не является универсальной вероятностью отсутствия эффекта. Дополнительно полезно сообщать наблюдаемую разность и содержательную величину эффекта, чтобы значимость не подменяла практический вывод.
Разобранная задача
Условие. Четыре фиксированных результата равны 0,1,3,4. Случайно выбирают два объекта в A, остальные идут в B. Наблюдаемое A={3,4}. Найдите точное двустороннее p по модулю разности средних.
Всего C(4,2)=6 равновероятных назначений A.
Для A={3,4} разность средних равна 3,5−0,5=3.
Разности для пар {0,1},{0,3},{0,4},{1,3},{1,4},{3,4} равны −3,−1,0,0,1,3.
Модуль не меньше трёх у двух назначений, поэтому точное p=2/6=1/3.
Ответ. Наблюдаемая разность равна 3; двустороннее точное p=1/3.
Проверка. Перечислены все шесть пар без повторов, их противоположные назначения дают противоположные разности. Эта симметрия проверяет перебор.
Где легко ошибиться. Не считайте только строго большие значения статистики: наблюдаемое максимальное значение тогда дало бы ошибочное p=0.
Проверьте понимание
Вопросы к этой главе
Зачем нужна острая нулевая гипотеза?
Она позволяет считать фиксированными все потенциально наблюдаемые результаты при смене назначений. Более слабые гипотезы требуют отдельного обоснования статистики.
Можно ли перемешивать временной ряд целиком?
Обычно нет, если есть зависимость по времени. Простая перестановка уничтожает структуру, которую нулевая модель могла сохранять.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
Документация SciPy: нулевая перестановочная модель, типы перестановок и включение равных значений в хвост. Собственный перебор всех шести назначений.
Связанные методы
Достаточная статистика сохраняет информацию модели, но не исходный порядок данных
В доминированной статистической модели факторизация плотности в произведение параметрической функции статистики и непараметрического множителя даёт критерий достаточности. Условное распределение данных при известной статистике не зависит от параметра.
Условное усреднение оценки: где именно исчезает лишняя дисперсия
Условное ожидание оценки по достаточной статистике сохраняет её среднее и не увеличивает дисперсию. Разложение полной дисперсии показывает, какая часть случайности удалена. Для вычислимой оценки условный закон не должен зависеть от неизвестного параметра.
Самый мощный тест двух простых гипотез ранжирует исходы по отношению правдоподобий
Для двух простых гипотез лемма Неймана — Пирсона предписывает отвергать нулевую гипотезу при больших отношениях p₁(x)/p₀(x). Ограничение на вероятность ошибки первого рода определяет порог и при необходимости вероятность рандомизации на его границе.