Вероятность и статистика · объяснение и практика

Почему статистическая значимость не задаёт величину эффекта

Сравните оценку эффекта с её неопределённостью и заранее выбранной полезной величиной; не читайте малое p как большой практический результат.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Оценивание и проверка гипотез: углубление · Учебная карта

Главная мысль

Статистическая значимость относится к совместимости данных с нулевой моделью при выбранной процедуре. Размер эффекта отвечает, насколько велико различие в содержательных единицах; один показатель не заменяет другой.

Малое различие можно измерить точно

При большом объёме стандартная ошибка оценки может стать маленькой. Тогда даже небольшое отличие от нуля даёт большое стандартизованное отклонение и малое p. Это не делает отличие автоматически полезным. Для учебной задачи удобно заранее указать минимальную содержательно важную величину в минутах, баллах или другой единице результата.

Обратная ситуация тоже возможна: оценка крупная, но данных мало и неопределённость широка. Непрохождение порога значимости не доказывает отсутствие эффекта. Оно может означать, что текущий опыт не различает несколько существенно разных возможностей. Поэтому отдельно сообщают оценку, интервал и условия модели, а не один двоичный ярлык.

Одна величина на двух шкалах

Допустим, в корректной нормальной модели оценка различия равна 0,2, стандартная ошибка 0,05. Отношение к нулевой гипотезе равно четырём стандартным ошибкам. Но если полезным считалось изменение хотя бы на единицу, полученная оценка гораздо меньше. Статистический вывод о ненулевом различии и содержательный вывод о достаточной величине относятся к разным сравнениям.

При оценке три и стандартной ошибке два отношение равно полутора. Эффект по числу крупнее, но нулевое значение может оставаться совместимым с данными на обычном уровне. Для каждого случая надо проверить дизайн и саму модель стандартной ошибки. Сравнение этих двух примеров не разрешает выбирать результат только по величине отношения.

Пример

Оценка выигрыша времени 0,4 минуты, стандартная ошибка 0,1. Практически нужным считался выигрыш минимум 2 минуты. Как разделить выводы?

В заявленной нормальной модели отличие от нуля составляет четыре стандартные ошибки. Приближённый 95%-интервал 0,204–0,596 минуты целиком ниже 2: данные поддерживают небольшой положительный эффект, но не достижение заданной практической границы.

Порог и единицы объявляют до вывода

Одна и та же абсолютная разница может быть важной или неважной в разных задачах. Поэтому полезный порог выводят из содержательной цели, а не подбирают после получения малого p. Стандартизованные показатели размера эффекта помогают сравнивать шкалы, но тоже требуют интерпретации и не превращают любое число в универсальный критерий пользы.

p не является вероятностью истинности нулевой гипотезы или долей случайности в наблюдаемом эффекте. Множественный перебор анализов и выбор только удачных результатов дополнительно меняют надёжность вывода. Содержательный ответ включает дизайн, эффект с неопределённостью и прозрачное правило решения. Значимость — часть этого описания, а не заменитель всей аргументации.

От чтения к действию

А теперь — вы

Корректный 95%-интервал разницы равен [0,1;0,3], а практически нужная разница — не меньше 1. Какой вывод обоснован?

Частые вопросы

Малое p означает большой эффект?

Нет. Небольшой эффект может дать малое p при высокой точности. Величина оценивается в исходных или специально стандартизованных единицах отдельно.

Незначимый результат доказывает практическое равенство?

Нет. Для эквивалентности нужны заранее заданные допустимые границы и подходящая проверка, а не просто неотклонение нуля.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться