Вероятность и статистика · объяснение и практика
Почему статистическая значимость не задаёт величину эффекта
Сравните оценку эффекта с её неопределённостью и заранее выбранной полезной величиной; не читайте малое p как большой практический результат.

В теме Оценивание и проверка гипотез: углубление · Учебная карта
Главная мысль
Статистическая значимость относится к совместимости данных с нулевой моделью при выбранной процедуре. Размер эффекта отвечает, насколько велико различие в содержательных единицах; один показатель не заменяет другой.
Малое различие можно измерить точно
При большом объёме стандартная ошибка оценки может стать маленькой. Тогда даже небольшое отличие от нуля даёт большое стандартизованное отклонение и малое p. Это не делает отличие автоматически полезным. Для учебной задачи удобно заранее указать минимальную содержательно важную величину в минутах, баллах или другой единице результата.
Обратная ситуация тоже возможна: оценка крупная, но данных мало и неопределённость широка. Непрохождение порога значимости не доказывает отсутствие эффекта. Оно может означать, что текущий опыт не различает несколько существенно разных возможностей. Поэтому отдельно сообщают оценку, интервал и условия модели, а не один двоичный ярлык.
Одна величина на двух шкалах
Допустим, в корректной нормальной модели оценка различия равна 0,2, стандартная ошибка 0,05. Отношение к нулевой гипотезе равно четырём стандартным ошибкам. Но если полезным считалось изменение хотя бы на единицу, полученная оценка гораздо меньше. Статистический вывод о ненулевом различии и содержательный вывод о достаточной величине относятся к разным сравнениям.
При оценке три и стандартной ошибке два отношение равно полутора. Эффект по числу крупнее, но нулевое значение может оставаться совместимым с данными на обычном уровне. Для каждого случая надо проверить дизайн и саму модель стандартной ошибки. Сравнение этих двух примеров не разрешает выбирать результат только по величине отношения.
Пример
Оценка выигрыша времени 0,4 минуты, стандартная ошибка 0,1. Практически нужным считался выигрыш минимум 2 минуты. Как разделить выводы?
В заявленной нормальной модели отличие от нуля составляет четыре стандартные ошибки. Приближённый 95%-интервал 0,204–0,596 минуты целиком ниже 2: данные поддерживают небольшой положительный эффект, но не достижение заданной практической границы.
Порог и единицы объявляют до вывода
Одна и та же абсолютная разница может быть важной или неважной в разных задачах. Поэтому полезный порог выводят из содержательной цели, а не подбирают после получения малого p. Стандартизованные показатели размера эффекта помогают сравнивать шкалы, но тоже требуют интерпретации и не превращают любое число в универсальный критерий пользы.
p не является вероятностью истинности нулевой гипотезы или долей случайности в наблюдаемом эффекте. Множественный перебор анализов и выбор только удачных результатов дополнительно меняют надёжность вывода. Содержательный ответ включает дизайн, эффект с неопределённостью и прозрачное правило решения. Значимость — часть этого описания, а не заменитель всей аргументации.
От чтения к действию
А теперь — вы
Частые вопросы
Малое p означает большой эффект?
Нет. Небольшой эффект может дать малое p при высокой точности. Величина оценивается в исходных или специально стандартизованных единицах отдельно.
Незначимый результат доказывает практическое равенство?
Нет. Для эквивалентности нужны заранее заданные допустимые границы и подходящая проверка, а не просто неотклонение нуля.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как различать ошибки первого и второго рода
Различите ошибочную тревогу и пропуск отклонения в статистическом тесте, задав нулевую гипотезу до названия ошибки.
Открыть темуЧем стандартная ошибка среднего отличается от разброса отдельных наблюдений
Отделите разброс отдельных значений от неопределённости выборочного среднего и проверьте, когда действует деление на квадратный корень объёма.
Открыть тему