Вероятность и статистика · объяснение и практика
Контроль доли ложных находок: порог выбирается по последнему прошедшему рангу
Применить ступенчатую процедуру Бенджамини — Хохберга и отличить ожидаемую долю ложных отклонений от вероятности хотя бы одной ошибки.

В теме Оценивание и проверка гипотез: углубление · Учебная карта
Главная мысль
Процедура сортирует p-значения и ищет наибольший ранг k с p₍k₎≤kq/m. Отклоняются все гипотезы до этого ранга. При подходящих предпосылках процедура контролирует ожидаемую долю ложных отклонений среди всех отклонённых.
Метод и постановка
Заранее зафиксируйте семейство из m проверок и желаемый уровень q. Нельзя сначала отбросить неудобные большие p-значения, а затем считать число проверок только среди оставшихся: знаменатель изменит смысл контроля. Сортировка должна сохранять связь с исходными названиями гипотез, чтобы результат можно было восстановить без перестановочной ошибки.
Порог зависит от ранга и растёт линейно. Здесь ищется последний прошедший ранг, а не первое нарушение при движении снизу. Если поздний ранг проходит, все более ранние гипотезы отклоняются вместе с ним, даже когда отдельное раннее p-значение не проходило собственную ранговую границу. Это ключевое отличие ступенчатого увеличивающегося правила от наивной последовательной остановки.
Проверка и границы вывода
Пусть R — число отклонений, V — число ложных отклонений. При R=0 доля считается нулевой; иначе это V/R. Контролируется математическое ожидание этой случайной доли, а не обязательная верхняя граница в каждой конкретной серии. Вероятность хотя бы одного ложного отклонения относится к другому критерию — семейной ошибке.
Гарантии требуют корректных p-значений и условий о зависимости. Базовая независимая постановка не разрешает автоматически произвольную зависимость множества тестов. Прежде чем применять процедуру к коррелированным измерениям, нужно проверить подходящую теорему или выбрать корректировку с нужными предпосылками. Число отклонений не сообщает, какие именно находки ложные. В итоговом отчёте укажите семейство, q, порядок p-значений, выбранный ранг и критерий ошибки; слово «точность» без этого скрывает существенную часть результата.
При равных p-значениях порядок имён внутри связанной группы не должен менять вывод о выбранном начальном блоке. После сортировки сохраняйте исходные индексы и возвращайте решение для каждой исходной гипотезы. Иначе правильный ранг может быть ошибочно приписан другому набору научных утверждений.
Пример
Для четырёх p-значений 0,01;0,06;0,07;0,20 и q=0,10 границы равны 0,025;0,05;0,075;0,10. Последний прошедший ранг — третий, потому что 0,07≤0,075.
Отклоняются первые три гипотезы, включая вторую: её собственное сравнение 0,06>0,05 не останавливает процедуру. Четвёртая не отклоняется. Это решение не утверждает, что в данной тройке доля ложных находок обязательно меньше десяти процентов.
От чтения к действию
А теперь — вы
Частые вопросы
Это тот же контроль, что у Бонферрони?
Нет. Бонферрони обычно контролирует вероятность хотя бы одной ложной находки; здесь контролируется ожидаемая доля.
Ноль отклонений создаёт деление на ноль?
В определении ложной доли для такого случая принято значение ноль.
Углублённый разбор
Взвешенная BH: заранее выбранные приоритеты гипотез
Взвешенная BH распределяет внимание между гипотезами по заранее выбранным весам. Эти веса задают приоритеты тестов, а не вероятности истинности отдельных находок.
Перед началом: Правдоподобие и условное ожидание; Статистический риск, уровень и мощность теста.
Определение и постановка
Пустьwᵢ>0 иΣwᵢ=m. Упорядочим отношенияpᵢ/wᵢ, сохранив исходные имена. Найдём последний рангk с(p/w)₍ₖ₎≤qk/m и отклоним начальный блок.
Вывод и вычислительный критерий
Большойw уменьшает ранговое отношение и позволяет гипотезе претендовать на большую долю бюджета ошибок. Нормировка суммы весов важна: произвольное умножение всехw на большой коэффициент расширило бы все пороги и изменило процедуру.
При заранее фиксированных весах и независимости всех проверяемых p-значений, корректных при своих нулевых гипотезах, обычное доказательство даёт FDR≤qΣᵢ∈H₀wᵢ/m≤q. Само отношениеpᵢ/wᵢ не обязано быть обычным корректным p-значением по отдельности, особенно приwᵢ>1. Гарантия относится к согласованной общей процедуре.
Ступенчатое правило остаётся восходящим. Ранний ранг может не пройти свой личный порог, но войти в отклонённый блок после прохождения более позднего. Поэтому сортировку отношений нельзя заменить последовательной остановкой при первом нарушении.
Условия и границы вывода
Выбор весов после просмотра тех же p способен разрушить гарантию: можно искусственно назначить большие веса удобным значениям. Адаптивные методы требуют специальных условий или независимого источника информации, а не одного переименования весов в prior.
Не следует смешивать веса гипотез с частотными весами наблюдений внутри исходного теста. Взвешенная BH предполагает, что каждое первоначальноеp уже получено корректной процедурой.
Семейство изm проверок фиксируют до интерпретации. Скрытие слабых тестов меняет и нормировку весов, и знаменатель рангового правила. Итоговый отчёт должен сохранять веса, исходныеp, порядок отношений и выбранный ранг, чтобы решение можно было восстановить.
Если некоторые веса равны нулю, отношение p/w требует отдельного соглашения, а соответствующая гипотеза фактически лишается бюджета отклонения. В главе положительность всех весов исключает эту техническую неоднозначность. Положительные, но очень малые веса остаются допустимыми, хотя способны существенно уменьшить мощность на соответствующих гипотезах.
Разобранная задача
Условие. Для трёх гипотезp=(1/100,3/100,2/25), веса(1/2,2,1/2),q=3/100. Примените взвешенную и обычную BH.
- Сумма весов равна3. Отношенияp/w равны1/50,3/200,4/25.
- Порядок отношений: гипотеза2 с3/200, затем1 с1/50, затем3 с4/25.
- Ранговые пороги равны1/100,2/100,3/100. Последний прошедший ранг2, поэтому отклоняются гипотезы1 и2.
- Для обычныхp только первый ранг проходит:1/100≤1/100, но3/100>2/100 и2/25>3/100.
Ответ. Взвешенная BH отклоняет1 и2, обычная — только1.
Проверка. Второе ранговое отношение1/50 ровно равно порогу2/100. Первый ранг сам не проходит, но входит в выбранный начальный блок; это отдельно проверяет правильный порядок step-up.
Где легко ошибиться. Назначение весов по уже просмотреннымp не является тем же заранее взвешенным методом и требует нового доказательства контроля.
Проверьте понимание
Вопросы к этой главе
Можно ли нормировать любые положительные приоритеты?
Да, заранее умножив их наm/Σw. Это сохраняет относительные приоритеты и приводит к объявленной бюджетной нормировке.
Что если все веса равны единице?
Отношенияp/w совпадают с исходнымиp, и процедура становится обычной BH. Неравные веса меняют порядок и допустимые индивидуальные пороги.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Genovese, Roeder, Wasserman: weighted false discovery control
Прочитаны §2–3: веса выбираются до p, нормируются к среднему один, сравниваются p/w; конечная гарантия требует условий независимости. Пример трёх фиксированных весов и проверка всех рангов собственные.
Зависимые проверки: гармоническая поправка Беньямини — Екутиели
Гармоническая поправка Беньямини — Екутиели контролирует FDR при произвольной зависимости корректныхp-значений. Цена более широкой гарантии — меньшие ранговые пороги.
Перед началом: Правдоподобие и условное ожидание; Статистический риск, уровень и мощность теста.
Определение и постановка
ПустьHₘ=Σⱼ₌₁ᵐ1/j. Процедура BY применяет обычное восходящее правило с порогами qi/(mHₘ) вместоqi/m.
Вывод и вычислительный критерий
МножительHₘ больше единицы приm>1, поэтому новые пороги не превосходят обычные BH. При тех жеp иq множество отклонений BY является подмножеством множества BH. Оба правила ищут последний прошедший ранг, а не прекращают поиск при первом нарушении.
Гарантия требует корректности нулевыхp по отдельности: P(pᵢ≤t)≤t при истинной нулевой гипотезе. Произвольная зависимость не разрешает невалидныеp, выборочное сообщение удобных тестов или изменение семейства после просмотра результатов.
Поправка не оценивает фактическую зависимость из данных. Она страхует заранее от всего допускаемого класса совместных законов. Если для конкретной положительной зависимости доказана менее консервативная гарантия BH, применение BY остаётся возможным, но может терять мощность.
Условия и границы вывода
Контролируется ожидание случайной доли ложных отклонений. Нельзя утверждать, что в каждом отдельном списке ложных находок не большеq процентов, даже после гармонической поправки. При отсутствии отклонений доля считается нулевой.
Ранг относится к исходному полному семейству. Удаление большихp уменьшитm иHₘ и тем самым расширит пороги; такое действие не является безобидным сокращением таблицы отчёта.
Дляm=1 гармоническая сумма равна единице и различие BH/BY исчезает. При росте числа проверокHₘ увеличивается медленно, но систематически. Это бюджетная цена гарантии, а не число эффективных независимых экспериментов, которое можно произвольно округлить.
В примере обычнаяBH приведена только как алгоритмическое сравнение двух списков отклонений. Без дополнительных условий зависимости её более широкий список не получает автоматически ту же гарантированнуюFDR-защиту, чтоBY. Разница результатов сама по себе не определяет, какой тест оказался ложным.
При m=1 гармонический множитель равен единице, и различие BY с BH исчезает. При увеличении m множитель растёт, но не равен самому m. Это отличает указанную поправку от простого требования применять один одинаковый Bonferroni-порог ко всем проверкам: в BY остаётся зависимость разрешённого порога от ранга.
Разобранная задача
Условие. Дляm=3,p=(1/200,1/50,1/5),q=1/20 найдите решения BY и обычной BH.
- Гармоническая суммаH₃=1+1/2+1/3=11/6.
- Пороги BY равныi/110:1/110,1/55,3/110. Первоеp=1/200 проходит, второе1/50>1/55, третье1/5>3/110.
- Последний прошедший ранг1, значит BY отклоняет только первую гипотезу.
- Пороги BH равныi/60; второеp=1/50≤1/30 проходит, третье не проходит, поэтому обычная BH выбрала бы первые две.
Ответ. BY отклоняет только1; обычная BH по тем же числам отклоняет1 и2.
Проверка. Все сравнения можно выполнить крест-накрест целыми числами:1/50>1/55 и1/50<1/30. Различие вызвано толькоH₃, а не другим порядкомp.
Где легко ошибиться. Гармоническая поправка расширяет допустимый класс зависимости, но не исправляет исходные неверныеp-значения.
Проверьте понимание
Вопросы к этой главе
Нужно ли знать матрицу корреляций?
Для самой BY нет: гарантия допускает произвольную зависимость при корректных маргинальныхp. Знание специальной структуры может позволить выбрать другую доказанную процедуру.
Почему меньше отклонений не означает лучшую модель?
Процедура выбрала более строгую защиту от ложных находок. Это меняет обмен ошибок и мощности, а не качество самих научных гипотез или размер реальных эффектов.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- SciPy: false discovery control
В Notes сверены различия BH и BY и гарантия BY при произвольной зависимости. Гармонический множитель и полный пошаговый список отклонений для трёх собственных значений проверены точными дробями.
Замкнутая проверка: нижняя граница числа истинных находок в выбранном наборе
Можно доказать наличие нескольких истинных находок в наборе, не назвав ни одной отдельной. Замкнутая проверка пересечений даёт одновременные нижние границы, которые сохраняют смысл после выбора интересующего подмножества.
Перед началом: Условная вероятность; Точная арифметика.
Локальные тесты проверяют пересечения
Для каждого непустого I из m гипотез зададим локальный тест пересечения H_I: все гипотезы с индексами из I истинны. Каждый локальный тест должен иметь уровень не больше α при своём пересечении. Замкнутая процедура отклоняет H_I только если локально отклонены все H_J с J⊇I. С вероятностью не меньше 1−α ни одно истинное пересечение не будет ошибочно отвергнуто замкнутой процедурой: достаточно, чтобы локальный тест пересечения всех истинных нулей не ошибся.
Граница строится для любого выбранного набора
Для интересующего S найдём t(S), наибольший размер подмножества I⊆S, чьё пересечение не отклонено замкнутой процедурой; пустое множество имеет размер ноль. Тогда |S|−t(S) является нижней границей числа ложных нулевых гипотез в S. На одном и том же событии покрытия это верно сразу для всех S. Поэтому S можно выбрать после просмотра результатов, не объявляя фиксированную одиночную проверку. Гарантия относится к доле повторений всего плана, а не к posterior-вероятности конкретного набора.
Набор может быть убедительнее каждой координаты
Рассмотрим независимые точные равномерные p-значения под любым истинным пересечением. Для локального объединения применим критерий Фишера: −2Σlog p имеет χ² с удвоенным размером I. Эта независимость является существенной предпосылкой выбранных локальных тестов. При зависимых исходных проверках нужны другие корректные локальные процедуры. Отклонённое пересечение говорит, что хотя бы один его нуль ложен; оно не указывает который. Несколько таких утверждений способны ограничить число истинных нулей в большом наборе без индивидуальных отказов.
Разобранная задача
Условие. Три независимых p-значения равны 0,06. При α=0,05 примените локальные тесты Фишера всем пересечениям. Известно, что локальные значения для пар равны примерно 0,02386, для тройки — 0,00974. Найдите нижнюю границу истинных находок среди всех трёх.
- Одиночные p=0,06 превышают 0,05, поэтому ни одна одиночная гипотеза локально не отвергается.
- Каждая пара и вся тройка локально отвергаются. У пары единственное большее пересечение — тройка, оно тоже отвергнуто, значит пары отвергнуты замкнуто.
- Одиночные пересечения не отвергнуты замкнуто из-за собственных локальных тестов. Наибольшее неотвергнутое подмножество полного S имеет размер t(S)=1.
- Нижняя одновременная граница числа ложных нулей равна 3−1=2. Для любой выбранной пары аналогичная граница равна одному.
Ответ. С общей доверительной гарантией не ниже 95% процедура даёт минимум две истинные находки среди трёх и минимум одну в каждой паре, не выделяя ни одной конкретной гипотезы.
Проверка. Для пары произведение p равно 0,0036. Точная формула Fisher-tail для двух равномерных величин даёт u(1−log u)≈0,02386. Для тройки она равна u[1−log u+(log u)²/2] при u=0,000216, подтверждая указанные локальные решения.
Где легко ошибиться. Нельзя назвать все три индивидуально значимыми: замкнутые одиночные тесты не прошли. Также нельзя использовать Fisher-tail без независимости или иной доказанной корректности локальных пересечений.
Проверьте понимание
Вопросы к этой главе
Почему выбор набора после анализа не разрушает эту границу?
Событие покрытия построено одновременно для всех подмножеств. Выбранный позже набор остаётся одним из них; это отличается от гарантии только для заранее фиксированной отдельной проверки.
Что здесь называют истинной находкой?
Ложность соответствующей нулевой гипотезы в заданной статистической модели. Это не автоматическая оценка практической величины эффекта или качества измерений.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Goeman and Solari, Multiple Testing for Exploratory Research
Одновременные границы числа ложных нулевых гипотез в свободно выбранных наборах через замкнутую проверку.
Дискретное p-значение: сверхравномерность и цена рандомизации
Точное дискретное p-значение обычно не равномерно под нулём, но не превышает уровень слишком часто. Рандомизация внутри атома может заполнить разрывы и получить точный непрерывный нулевой закон.
Перед началом: Условная вероятность; Точная арифметика.
Хвост включает наблюдённую массу
Для статистики T с известным дискретным нулевым законом правостороннее p(T)=P₀(T′≥T), где T′ — независимое повторение той же статистики. Для любого α вероятность p≤α не больше α. Это сверхравномерность, достаточная для многих процедур множественной проверки при их остальных условиях. Из-за скачков распределения множество p может не содержать малых значений, и критерий становится консервативным. Ненулевой минимальный p отражает размер и дискретность эксперимента, а не ошибку программы.
Независимая монета распределяет массу атома
Пусть U независимо равномерно на [0,1]. Рандомизированное значение pr=P₀(T′>T)+U·P₀(T′=T). Условно на T оно равномерно заполняет интервал длины массы соответствующего атома. Эти интервалы без перекрытий покрывают единичный отрезок, поэтому под простым точным нулём pr равномерно. Нужен действительно независимый U и точный нулевой закон; подстановка половины вместо U даёт mid-p с другими гарантиями.
Практический смысл рандомизации надо объяснить
Два одинаковых исхода могут привести к разным решениям из-за дополнительной монеты. Это допустимый заранее заданный тест, но воспроизводимость требует сохранить правило и случайное значение. Рандомизация не исправляет неверную модель данных и не отменяет условия зависимости в BH или иной множественной процедуре. При составном нуле единый точный равномерный закон может отсутствовать; супремум хвостов обычно сохраняет консервативность. Ниже рассматривается одна простая биномиальная гипотеза, чтобы проверить различие математически.
Разобранная задача
Условие. Под нулём X~Bin(2,1/2), проверяется большой счёт успехов. Найдите обычные p-значения и возможность отклонения на уровне α=1/10; затем постройте рандомизированное правило этого уровня.
- Нулевые массы в точках 0,1,2 равны 1/4,1/2,1/4. Правые включающие хвосты равны 1,3/4,1/4 соответственно.
- Минимальное обычное p равно 1/4, больше 1/10. Нерандомизированный критерий никогда не отклоняет и имеет нулевой фактический уровень.
- При X=2 рандомизированное p равно U/4. Оно не больше 1/10 тогда и только тогда, когда U≤2/5. При других X нижние края интервалов не меньше четверти.
- Полная вероятность отклонения равна P(X=2)P(U≤2/5)=(1/4)(2/5)=1/10, точно совпадая с заданным уровнем.
Ответ. Обычная проверка на 10% здесь не отклоняет вообще; независимая рандомизация крайнего исхода с вероятностью 2/5 даёт точный уровень 10%.
Проверка. Интервалы pr для X=2,1,0 равны [0,1/4],[1/4,3/4],[3/4,1]. Их длины совпадают с вероятностями исходов, поэтому суммарная плотность единична, независимо подтверждая равномерность.
Где легко ошибиться. Не заменяйте независимую монету постоянной половиной и не называйте результат точным равномерным p. Это уже другая процедура, которая может потерять сверхравномерность на отдельных уровнях.
Проверьте понимание
Вопросы к этой главе
Нужно ли рандомизировать любой точный тест?
Нет. Консервативный дискретный тест сам по себе корректен. Рандомизация — отдельный выбор плана, который меняет воспроизводимость и достижимый фактический уровень.
Почему p не равно вероятности истинности нуля?
Оно вычисляет хвостовую вероятность статистики при предполагаемом нуле. Для вероятности гипотезы нужны иные предпосылки, включая распределение самих гипотез.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Habiger and Pena: Randomised P-values and Nonparametric Procedures in Multiple Testing (2011)
Дискретные p-значения и независимая рандомизация, восстанавливающая точный равномерный нулевой закон.
От e-значений к FDR: шаг e-BH без предположения независимости
Большие e-values являются свидетельством против нулевой гипотезы, но их корректность задана средним, а не хвостовой шкалой p-value. Это позволяет контролировать FDR при произвольной зависимости одним поточечным неравенством, без гармонической поправки BY.
Перед началом: FDR и ступенчатые процедуры; Неотрицательное свидетельство с ограниченным средним.
Условие на среднее задаёт другую шкалу свидетельств
Заранее задано m гипотез и уровеньα∈(0,1). Для каждой истинной нулевой гипотезы неотрицательная случайная величина Eᵢ имеет ожидание не больше единицы. Совместная зависимость произвольна.
Для истинной нулевой гипотезы требуется E(Eᵢ)≤1. Отдельная реализация eᵢ может быть намного больше единицы: её редкость или компенсация малыми значениями обеспечивает среднее. Корректность относится к полной процедуре получения Eᵢ при каждом нулевом законе, а не к тому, что несколько наблюдённых чисел выглядят правдоподобно. Невалидные входы не исправляются сортировкой.
Обычное p-value имеет другое условие — вероятность малого хвоста не больше порога. Произвольное обращение p в 1/p обычно не даёт e-value: даже для равномерного p это среднее бесконечно. Конвертация между шкалами требует специальной калибровки; здесь входные e-values считаются уже обоснованными.
Поздний прошедший ранг может включить ранний провал
Упорядочим значения по убыванию e_[1]≥…≥e_[m]. Ищем наибольший k, для которого e_[k]≥m/(αk), и отклоняем первые k гипотез. Если таких k нет, отклонений нет. Пороги убывают с рангом, поэтому нельзя прекращать поиск при первом нарушении. Исходные имена сохраняют при сортировке.
Если выбран R>0, любое отклонённое значение удовлетворяет eᵢ≥m/(αR). Равные значения на границе не создают произвольного выбора: если следующий ранг имеет то же значение, его ещё меньший порог тоже проходит, так что максимальность R захватывает всю соответствующую группу. Правило выбирает крупнейший самосогласованный начальный блок.
Поточечная граница не требует независимости
Пусть H₀ — множество истинных нулевых гипотез. Для каждой реализации при R>0 имеем 1{i отклонена}/R≤αEᵢ/m; при R=0 левую часть определяем нулём и неравенство сохраняется. Суммирование по H₀ даёт FDP≤(α/m)Σᵢ∈H₀Eᵢ. Усреднение использует только отдельные ожидания и даёт FDR≤α|H₀|/m≤α. Никакой факторизации совместного закона здесь нет.
Контроль касается математического ожидания ложной доли, а не верхней границы для каждого отдельного списка. При всех истинных нулях ложная доля равна единице всякий раз, когда найден хотя бы один результат; именно вероятность таких серий ограничиваетсяα. Семейство m остаётся фиксированным: удалять большие или малые значения и пересчитывать знаменатель после просмотра нельзя без отдельного правила.
Третий ранг возвращает второй в список
Условие. Для m=4,α=1/4 наблюдены e=(20,7,6,0). Примените e-BH. Затем проверьте достижимость границы FDR в отдельной полностью нулевой модели: все четыре Eᵢ одновременно равны 4 с вероятностью 1/4, иначе все нулевые.
- Пороги равны 16,8,16/3,4. Первый ранг проходит 20≥16, второй не проходит 7<8, третий проходит 6≥16/3, четвёртый не проходит.
- Максимальный прошедший ранг R=3. Отклоняются значения 20,7,6, включая второй ранг. Их общий порог 16/3 действительно не превышает каждого из них.
- В отдельной нулевой модели каждое Eᵢ имеет среднее 4·1/4=1. Все они полностью зависимы, но удовлетворяют нужному условию.
- В общей высокой реализации четвёртый ранг проходит равенство 4=16/4, поэтому отклоняются все четыре. В нулевой реализации отклонений нет.
- При всех истинных нулях FDP равна 1 на высокой реализации и 0 на другой. FDR=1/4=α; гарантия достигается несмотря на полную зависимость.
Ответ. Для наблюдённого вектора выбираются первые 3 гипотезы. В отдельной зависимой нулевой модели FDR точно равна 1/4.
Проверка. В высокой реализации поточечная правая часть равна(α/m)ΣEᵢ=(1/16)·16=1 и совпадает с FDP; в нулевой обе части ноль. Поэтому усреднение даёт равенство, независимо подтверждая точность показанной границы.
Где легко ошибиться. Не останавливайте ступенчатый поиск на втором ранге и не заменяйте условие среднего Eᵢ≤1 произвольной интерпретацией e-value как вероятности.
Проверьте понимание
Вопросы к этой главе
Почему e-value может быть больше единицы?
Его реализация не является вероятностью. Ограничено ожидание при нулевой гипотезе; редкое большое значение допускается, как в модели с 4 на событии вероятности 1/4.
Гарантирует ли α=1/4 не более четверти ложных находок в каждой серии?
Нет. В высокой реализации примера все четыре находки ложные и FDP=1. Контролируется среднее по повторениям, которое равно 1/4.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Wang и Ramdas, False Discovery Rate Control with E-values, §5, Proposition2
Поддерживает e-BH и поточечное доказательство FDR при произвольной зависимости через средние e-values. Ранговый пример и двухисходная модель достижения границы составлены отдельно.
Биномиальная доверительная последовательность: покрытие при любой дате остановки
Интервал для заранее выбранного объёма не получает автоматически гарантию при произвольной остановке. Смесь отношений правдоподобий создаёт один мартингал для каждого проверяемого p; обращение порога Вилля даёт последовательность множеств с одновременным покрытием.
Перед началом: Бета-интеграл и биномиальное правдоподобие; Неравенство Вилля.
Смешивается альтернатива, а истинный параметр остаётся фиксированным
Последовательные независимые Bernoulli(p) с одним фиксированным p∈(0,1). Смешивающее распределение альтернатив выбирается до данных; далее используется равномерное распределение на[0,1].
Для кандидата p и произвольного q отношение вероятностей наблюдённой двоичной истории равно Lₙ(q,p)=(q/p)^Sₙ[(1−q)/(1−p)]ⁿ⁻ˢⁿ. При истинном p его очередной множитель имеет условное среднее p(q/p)+(1−p)(1−q)/(1−p)=1. Значит Lₙ — неотрицательный мартингал, начинающийся с единицы.
Усредним Lₙ по заранее выбранному равномерному q. Поскольку интегранд неотрицателен, условное усреднение и интеграл согласованы. Получаем Eₙ(p)=B(Sₙ+1,n−Sₙ+1)/[p^Sₙ(1−p)ⁿ⁻ˢⁿ]. Для целых счётчиков числитель равен 1/[(n+1)C(n,Sₙ)]. Это не posterior вероятность p: вспомогательная смесь определяет проверяющий процесс при каждом фиксированном p.
Одно пересечение соответствует потере покрытия хотя бы раз
Положим Cₙ={p∈(0,1):Eₙ(p)<1/α}. По Виллю вероятность когда-либо исключить истинное p не большеα, то есть Pₚ(для всех n: p∈Cₙ)≥1−α. Поэтому в любом выбранном по истории конечном моментеτ множество Cτ сохраняет покрытие. При остановке, которая не наступила, утверждение относится только к доступным конечным датам, а не к несуществующему отчёту.
Каждое отдельное Cₙ может расширяться после новых наблюдений. Если нужны вложенные множества, можно пересекать все предыдущие Cₖ: одновременная гарантия сохранится. При внутренних значениях Sₙ логарифм Eₙ(p) имеет выпуклый отрицательно-логарифмический знаменатель, так что допустимое множество получается между двумя корнями. При всех успехах или всех неудачах остаётся один конечный край.
Плата за просмотр не является новой ошибкой в данных
При Sₙ=n условие имеет вид pⁿ>α/(n+1), поэтому нижняя граница равна(α/(n+1))¹/ⁿ. Для фиксированной двусторонней процедуры Клоппера—Пирсона тот же край определяется(α/2)¹/ⁿ. В показанном ниже случае последовательная граница шире. Это сравнение двух разных гарантированных процедур, а не универсальное утверждение, что любая последовательная конструкция шире любой фиксированной при всех данных.
Выбор смешивающего закона после просмотра той же истории нарушает приведённое доказательство: хороший численный интеграл ещё должен быть одним заранее обоснованным процессом. Для крайних кандидатов p=0,1 можно отдельно добавить естественное продолжение: совместимая постоянная история имеет Eₙ=1/(n+1), а невозможная история исключает край. Здесь основной мартингальный вывод сформулирован для внутренних p, чтобы избежать деления на ноль.
Семь начальных успехов и проверка p=1/2
Условие. Возьмитеα=1/10 и равномерную смесь. Наблюдаются только успехи. Найдите первое n, при котором кандидат p=1/2 исключён, и сравните нижние края при этом n.
- На истории n успехов Eₙ(1/2)=2ⁿ/(n+1), а порог 1/α=10. Для n=1,…,6 значения равны 1,4/3,2,16/5,16/3,64/7. Все меньше 10.
- При n=7 значение 128/8=16, поэтому первое исключение происходит на седьмом успехе.
- Последовательное C₇ требует p⁷>1/80; нижний край равен 80^(−1/7), приблизительно 0,535. Кандидат 1/2 находится ниже него.
- Фиксированный двусторонний 90%-интервал Клоппера—Пирсона после семи успехов имеет нижний край 20^(−1/7), приблизительно 0,652. Он здесь уже, но его обычная теорема предполагает заранее выбранную дату.
- Для дополнительного конечного контроля при истинном p=1/2 перечислим все 128 историй длины 7: порог 10 до этой даты пересекают только семь успехов или семь неудач. Общая вероятность 2/128=1/64 меньше 1/10.
Ответ. Первое исключение p=1/2 на однородной успешной истории происходит при n=7. Последовательный нижний край 80^(−1/7), фиксированный двусторонний —20^(−1/7).
Проверка. Прямой интеграл ∫₀¹q⁷dq=1/8; деление на вероятность успешной истории при p=1/2, равную 1/128, даёт 16. Независимый перебор всех префиксов 128 историй подтверждает вероятность конечного пересечения 1/64.
Где легко ошибиться. После каждого просмотра нельзя заново выбирать удобную смесь и применять прежний порог 10 как будто это был один процесс. Также обращение Eₙ не является байесовским доверительным интервалом posterior.
Проверьте понимание
Вопросы к этой главе
Нужно ли распределять α между датами?
Для данного единого мартингального процесса нет: Вилль контролирует само событие хотя бы одного пересечения. Произвольный набор несвязанных фиксированных интервалов такой гарантии не получает.
Почему в числителе нет C(n,Sₙ)?
Отношение записано для конкретной упорядоченной истории. Если использовать счётчик, одинаковые биномиальные коэффициенты в двух правдоподобиях сокращаются. Бета-интеграл затем равен 1/[(n+1)C(n,Sₙ)].
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Howard, Ramdas, McAuliffe и Sekhon, Time-uniform Confidence Sequences, Lemma2
Поддерживает одновременное покрытие и построение границ смешением неотрицательных процессов. Здесь точная равномерная Bernoulli-смесь вычислена своим бета-интегралом и проверена на всех семибитных историях.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Самый мощный тест двух простых гипотез ранжирует исходы по отношению правдоподобий
Построить наиболее мощный тест для двух полностью заданных дискретных законов при ограничении ошибки первого рода и объяснить рандомизацию на границе.
Открыть темуУсловное усреднение оценки: где именно исчезает лишняя дисперсия
Улучшить несмещённую оценку условным ожиданием по достаточной статистике и проверить уменьшение дисперсии без заявления недоказанной глобальной оптимальности.
Открыть темуДостаточная статистика сохраняет информацию модели, но не исходный порядок данных
Установить достаточность статистики факторизацией правдоподобия и различить информационное сжатие относительно параметра и восстановление исходной выборки.
Открыть тему