Вероятность и статистика · объяснение и практика
Как мощность зависит от заданного эффекта и распределения статистики
Как считать вероятность отклонения при заданном эффекте, различать мощность и уровень и почему мощность не является вероятностью истинности найденного результата.

В теме Оценивание и проверка гипотез: углубление · Учебная карта
В маршруте Уточнённые выводы по выборке · 10 тем
Главная мысль
Мощность — вероятность отклонить нулевую гипотезу при конкретной альтернативной модели. Для одностороннего нормального теста она равна 1−Φ(c−δ√n/σ), где c — порог, а δ — заданный сдвиг среднего.
Порог выбирается при нулевой модели
Пусть независимая нормальная выборка имеет известное стандартное отклонение σ. Проверяется μ=μ₀ против увеличения среднего. Статистика Z=(x̄−μ₀)/(σ/√n) при нулевой модели стандартно нормальна. Отклоняем её при Z>c. Порог c выбирают так, чтобы правый нормальный хвост имел требуемый уровень α.
Если истинное среднее равно μ₀+δ, та же статистика имеет среднее δ√n/σ и единичную дисперсию. Область отклонения не меняется, но закон внутри неё сдвигается. Поэтому мощность получается интегрированием уже альтернативного закона справа от прежнего порога. Это условная характеристика явно названного эффекта, а не одна постоянная величина теста на все случаи.
Отделяем слабый сигнал от размера выборки
Пусть σ=4, n=16 и интересующий сдвиг δ=2. Альтернативное среднее Z равно двум. Для одностороннего уровня около 0,05 используем c≈1,645. Мощность равна 1−Φ(−0,355)=Φ(0,355), примерно 0,639. Даже при таком реальном сдвиге тест не обязан срабатывать в каждой новой выборке.
Если при том же эффекте увеличить n вчетверо, нормированный сдвиг удвоится. Уменьшение α, наоборот, поднимает порог и снижает мощность при остальных неизменных условиях. Для альтернативы нулевого сдвига вероятность отклонения возвращается к уровню α. Таким образом, мощность связана одновременно с эффектом, разбросом, объёмом и правилом решения.
Пример
Чем отличается ошибка второго рода от мощности при выбранном δ?
Ошибка второго рода — вероятность не отклонить нулевую модель при этом альтернативном законе. Она равна единице минус мощность.
Не превращаем условную вероятность в вероятность гипотезы
Мощность 0,639 не означает, что конкретный значимый результат с вероятностью 0,639 отражает истинный эффект. В расчёте эффект уже предполагался заданным. Для обратного вывода о вероятностях моделей потребовалась бы иная постановка, включая их исходные веса и правдоподобие данных. Перестановка условия и заключения меняет вопрос.
Планируемую мощность считают для содержательно важного эффекта до сбора данных или в прозрачном анализе чувствительности. Подстановка шумной наблюдаемой разности в качестве якобы известного эффекта не создаёт независимой оценки надёжности результата. Если σ неизвестно, данные зависимы или используется двусторонний критерий, приведённую модель необходимо заменить соответствующим расчётом.
От чтения к действию
А теперь — вы
Частые вопросы
Почему мощности нужно задавать эффект?
Разные альтернативные сдвиги дают разные законы статистики и разные вероятности попасть в одну область отклонения.
Всегда ли большая выборка исправляет неверную модель?
Нет. Она может повысить мощность в принятой модели, но не устраняет зависимость, систематическое смещение или неверную постановку измерения.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как отношение максимумов правдоподобия сравнивает вложенные модели
Как ограниченная модель сравнивается с полной по максимумам правдоподобия, зачем берут отрицательный логарифм отношения и когда нельзя автоматически использовать χ².
Открыть темуПочему незначимость различия ещё не доказывает эквивалентность
Почему отсутствие значимости не доказывает малость различия и как две односторонние проверки используют заранее выбранные допустимые границы эффекта.
Открыть тему