Вероятность и статистика · объяснение и практика

Как правило полутора межквартильных размахов выделяет подозрительные точки

Строим границы по межквартильному размаху, явно выбираем способ расчёта квартилей и используем метку подозрительной точки как повод для проверки, а не удаления.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Средние и разброс · Учебная карта

Главная мысль

При IQR = Q₃−Q₁ правило 1,5IQR отмечает значения ниже Q₁−1,5IQR или выше Q₃+1,5IQR. Это диагностическая граница, а не доказательство ошибки или универсальный закон распределения.

Как получить воспроизводимые квартильные границы

Возьмём упорядоченные данные 1,2,3,4,5,6,7,20. Используем соглашение: квартиль — медиана соответствующей половины набора. Нижняя половина 1,2,3,4 даёт Q₁ = 2,5, верхняя 5,6,7,20 даёт Q₃ = 6,5. Межквартильный размах равен 4.

Полутора размахам соответствует 6. Нижняя граница 2,5−6 = −3,5, верхняя 6,5+6 = 12,5. Значение 20 выше верхней границы и получает отметку. Остальные наблюдения не выходят за границы. Наличие отрицательной нижней границы не означает появления отрицательных наблюдений: это только вычисленный порог для сравнения.

Почему метка не доказывает ошибку

Отмеченное значение может быть опечаткой, результатом другой процедуры измерения или настоящим редким случаем. Сначала проверяют первичную запись и обстоятельства наблюдения. Если 20 было верно измеренной большой задержкой, его удаление без причины скрыло бы важную часть данных. Правило помогает искать вопрос, но не отвечает на него автоматически.

Для сильно асимметричного распределения крайние значения могут быть закономерны. Если данные состоят из разных групп, общий IQR иногда скрывает различия либо помечает обычные значения небольшой группы. Полезно сравнить график, группы и смысл переменной. Название «выброс» в программном выводе не превращает точку в недостоверный факт.

Пример

Даны Q₁ = 10, Q₃ = 18. Будет ли значение 31 отмечено правилом 1,5IQR?

IQR = 8, добавка 12, верхняя граница 30. Значение 31 больше 30 и будет отмечено. Равное 30 не выходит за строгую границу.

Почему две программы могут дать разные отметки

Для конечных наборов существуют разные способы вычисления квартилей и интерполяции между наблюдениями. Особенно на маленьком наборе получаются разные Q₁ и Q₃, а затем разные границы. Поэтому вместе с результатом нужно назвать метод, а не считать любое отличие программы ошибкой. В первом примере соглашение задано явно.

Если IQR равен нулю, оба квартиля совпадают и границы схлопываются. Любое отличающееся значение может быть отмечено, хотя в дискретных данных с большим числом повторов это не обязательно аномалия. Смысл переменной и структура повторов остаются важны. После проверки можно сравнить устойчивые и неустойчивые показатели, но исходные наблюдения сохраняют и документируют причины любой коррекции, чтобы анализ не зависел от произвольного удаления неудобных точек.

От чтения к действию

А теперь — вы

Q₁ = 4, Q₃ = 8. Какова верхняя граница правила 1,5IQR?

Частые вопросы

Значение точно на границе отмечается?

В описанном правиле отмечают значения строго за границей. Равенство порогу само по себе не считается выходом.

Почему нужно указывать способ квартилей?

Конечные выборки допускают разные соглашения, меняющие границы, особенно при небольшом числе наблюдений.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться