Вероятность и статистика · объяснение и практика

Как отбор по общему следствию создаёт ложную связь

Разберите отбор по общему следствию двух признаков и вычислите связь, возникающую внутри отобранной группы без прямого влияния признаков друг на друга.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Условные вероятности и зависимости · Учебная карта

Главная мысль

Если два признака влияют на общий критерий отбора, условие попадания в отобранную группу может сделать их зависимыми, даже когда до отбора они независимы. Общий эффект в причинном графе называют коллайдером.

Не каждая третья переменная безопасна для контроля

Общая причина и общее следствие играют разные роли. Если исходный фактор влияет и на метод, и на результат, его контроль может быть нужен для устранения смешения. Но если переменная возникла как следствие двух других, условие на неё способно открыть новую зависимость. Поэтому совет «учесть побольше признаков» без причинной схемы не является универсальным правилом.

Рассмотрим два независимых двоичных умения A и B, каждое встречается с вероятностью одна вторая. В кружок берут тех, кто обладает хотя бы одним: S означает A или B. Во всей совокупности все четыре сочетания равновероятны. После отбора сочетание без обоих умений исчезает, и остаются три равновероятных сочетания.

Отрицательная связь появляется из условия

Внутри кружка вероятность A равна двум третьим, B тоже двум третьим, а совместного наличия — одной третьей. Произведение двух третей равно четырём девятым и не совпадает с одной третью. Следовательно, после отбора независимость утрачена. Это не доказательство, что одно умение мешает развитию другого.

Если известно, что отобранный участник не имеет A, у него обязательно есть B. Если A уже есть, B по исходной модели встречается лишь с вероятностью одна вторая. Различие создаётся самим критерием допуска. Такая конструкция показывает механизм и не утверждает, что реальные способности в школе действительно независимы или отбираются по такому простому правилу.

Пример

В данной модели найдите P(B|S) и P(B|A,S).

Среди трёх оставшихся сочетаний B есть в двух, поэтому P(B|S)=2/3. При известном A отбор уже обеспечен, а B остаётся с вероятностью 1/2. Условие меняет состав сравниваемых групп.

Проверьте, откуда взялось ограничение выборки

Коллайдер может появиться не только как отдельная колонка, включённая в регрессию, но и как условие допуска в сам набор данных. Например, запись существует лишь для объектов, прошедших критерий, на который влияют два исследуемых признака. Тогда анализ «только имеющихся строк» уже условен, даже если критерий явно не включён в формулу.

Не всякая зависимость после отбора обязательно вызвана именно этим механизмом: возможны общие причины и другие связи. Нужна содержательная схема причин и процесса наблюдения. По одной корреляции нельзя определить направление стрелок. Пример помогает проверить правдоподобие вывода и искать сведения об отборе, а не автоматически объявлять любую связь ложной.

От чтения к действию

А теперь — вы

A и B независимы, P(A)=1/4, P(B)=1/2. Отбирают S=A∪B. Чему равна P(A∩B|S)?

Частые вопросы

Контроль любой дополнительной переменной улучшает причинный вывод?

Нет. Условие на общее следствие двух признаков может создать зависимость. Роль переменной определяется причинной структурой, а не только наличием данных.

Отбор без явной переменной в таблице тоже важен?

Да. Если в набор попадают лишь прошедшие общий критерий объекты, анализ уже условен на этот критерий.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться