Вероятность и статистика · объяснение и практика

Как объединение групп способно изменить направление сравнения

Пересчитываем групповые и объединённые доли, показываем изменение направления сравнения из-за разных весов и отделяем арифметический эффект состава от причинного вывода.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Связь признаков и регрессия · Учебная карта

Главная мысль

Объединённые доли могут поменять порядок двух групп, даже если внутри каждой категории порядок одинаков. Причина — разные веса категорий. Выбор правильного сравнения требует понимать механизм группировки и целевой вопрос.

Как возникает переворот на двух уровнях сложности

Сравним два условных метода А иБ на простых и сложных заданиях. Для простых А даёт 9 успехов из 10, то есть 90%, Б —80 из 100, то есть 80%. Для сложных А даёт 20 из 100, то есть 20%, Б —1 из 10, то есть 10%. В каждой категории доля А выше.

После объединения уА 29 успехов из 110, примерно 26,4%, уБ 81 из 110, примерно 73,6%. Теперь общая доля Б выше. Ошибки арифметики нет: методА применялся преимущественно к сложным заданиям, метод Б — к простым. Объединённые доли взвешивают категории разными весами, поэтому не обязаны сохранять внутригрупповой порядок.

Почему среднее двух процентов не равно общей доле

ДляА простое среднее (90%+20%)/2 = 55% отвечает равным весам двух категорий, но не фактическому составу его 110 заданий. Реальный вес простых 10/110, сложных 100/110. При умножении процентов на эти веса получается 29/110. ДляБ веса противоположны, поэтому его объединённая доля сильно тяготеет к простым заданиям.

Если цель — сравнить методы на одинаковом составе, можно заранее задать общие веса, например половину простых и половину сложных. Тогда стандартизованные доли 55% и 45% сохранят преимущество А в этом учебном примере. Но выбор весов должен соответствовать целевой совокупности, а не быть способом получить желаемого победителя.

Пример

УА в двух категориях доли 0,8 и 0,4. Какова стандартизованная доля при одинаковых весах по 1/2?

0,5·0,8+0,5·0,4 = 0,6. Это показатель для заданного общего состава, а не обязательно фактическая объединённая доля исходных наблюдений.

Почему разбиение само по себе не даёт причинность

Не всегда нужно безусловно доверять только разбитой или только общей таблице. Группирующая переменная может быть предшествующим фактором, результатом воздействия или следствием отбора. Условие по разным типам переменных меняет смысл вопроса. Арифметический переворот показывает необходимость содержательного анализа, но не выбирает автоматически правильную причинную модель.

В наблюдательных данных методы могли назначаться по сложности, опыту исполнителя или другим признакам. Тогда даже преимущество внутри двух категорий не доказывает собственный эффект метода. Нужно изучить дизайн, возможные смешивающие факторы и целевую популяцию. Для честного отчёта показывают размеры групп, числители и знаменатели, а не только проценты. Это позволяет воспроизвести веса и понять, что именно сравнивается на каждом уровне.

От чтения к действию

А теперь — вы

Внутри каждой категории А имеет большую долю успеха, но общий показатель Б выше. Что надо проверить первым?

Частые вопросы

Переворот означает ошибку подсчёта?

Не обязательно. Он может возникнуть при правильной арифметике из-за разных долей категорий.

Разбитая таблица всегда доказывает причинный эффект?

Нет. Нужны содержательные основания группировки и анализ механизма назначения и отбора.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться