Вероятность и статистика · объяснение и практика

Почему незначимость различия ещё не доказывает эквивалентность

Почему отсутствие значимости не доказывает малость различия и как две односторонние проверки используют заранее выбранные допустимые границы эффекта.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Оценивание и проверка гипотез: углубление · Учебная карта

В маршруте Уточнённые выводы по выборке · 10 тем

Главная мысль

Для эквивалентности сначала задают допустимые границы L и U. Нулевая гипотеза допускает эффект вне этого интервала, а заключение об эквивалентности требует отклонить обе односторонние границы. Обычное неотклонение нулевой разности решает другую задачу.

Нулевая гипотеза меняется вместе с вопросом

Пусть d — разность двух генеральных средних. В обычной проверке различия нулевая гипотеза равна d=0. Для эквивалентности допустимым считают, например, открытый интервал (−2;2). Тогда нулевая гипотеза состоит из d≤−2 или d≥2, а альтернатива требует одновременно d>−2 и d<2.

Нужно проверить две односторонние границы: достаточно ли данных против слишком малого эффекта и против слишком большого. Если хотя бы одна не отвергнута, эквивалентность не установлена. Пределы выбирают по смыслу измерения заранее; их нельзя расширять после расчёта до тех пор, пока желаемый ответ наконец не получится.

Обе границы должны пройти проверку

В нормальной учебной модели оценка разности равна 0,3, её известная стандартная ошибка 0,4. Для границ −2 и 2 статистики направленных проверок равны (0,3+2)/0,4=5,75 и (2−0,3)/0,4=4,25. Обе превышают критическое значение около 1,645 при одностороннем α=0,05: эквивалентность в этих границах поддерживается.

Тому же решению соответствует центральный 90%-интервал 0,3±1,645·0,4=[−0,358;0,958], целиком лежащий внутри (−2;2). Используются два односторонних теста уровня α, а не деление α пополам между ними: нулевая гипотеза является объединением двух неподходящих областей. На каждой из них ошибочный общий вывод требует ошибки соответствующего направленного теста.

Пример

Если оценка равна нулю, но стандартная ошибка равна двум, установлена ли эквивалентность в тех же границах?

Нет. 90%-интервал примерно [−3,29;3,29] выходит за допустимые пределы. Нулевая оценка сама по себе не доказывает достаточную точность.

Сохраняем единицы и условия сравнения

Для независимых групп с неизвестными дисперсиями стандартную ошибку и критические значения можно строить по соответствующей t-модели, в том числе варианту Уэлча. Для парных измерений анализируют разности. Неправильная структура данных не исправляется сменой названия проверки. Границы также должны быть выражены в согласованных единицах эффекта.

Неустановленная эквивалентность не доказывает существенного различия; возможна просто недостаточная точность. Установленная эквивалентность в пределах ±2 не означает буквального равенства средних и не переносится автоматически на более узкие пределы. Поэтому вывод сопровождают оценкой разности, интервалом, допустимыми границами и уровнем обеих односторонних проверок.

От чтения к действию

А теперь — вы

Для двух односторонних проверок эквивалентности получены p=0,01 и p=0,08. Каждая должна пройти уровень 0,05. Каков вывод?

Частые вопросы

Почему используется 90%-интервал при α=0,05?

Две односторонние проверки уровня 0,05 соответствуют центральному интервалу уровня 1−2α. Его полное включение в допустимую область даёт то же решение.

Достаточно ли большого p обычного теста равенства?

Нет. Большое p может отражать большой разброс и недостаточную точность, а не доказанную малость эффекта.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться