Вероятность и статистика · объяснение и практика
Почему случайно пропущенные и зависимые от значения данные различаются
Определите, от каких наблюдаемых и скрытых значений зависит пропуск, и отделите MCAR, MAR и MNAR без автоматического обещания исправить данные.

В теме Выборка и план исследования · Учебная карта
Главная мысль
Для частично наблюдаемого показателя различают полностью случайные пропуски, условно случайные при учёте наблюдаемых признаков и зависимые от самого скрытого значения. Эти механизмы задают разные предпосылки анализа.
Пропуск — результат некоторого процесса
Пусть результат Y иногда отсутствует, а признак Z записан у всех. При MCAR вероятность отсутствия Y не зависит ни от самого Y, ни от Z. В простой иллюстрации компьютер заранее случайно выбирает половину строк для дополнительного измерения независимо от всех их значений. Пропуск не сообщает, каким был бы результат, хотя данных становится меньше.
При MAR вероятность пропуска может зависеть от наблюдаемого Z, но после учёта Z не зависит дополнительно от скрытого Y. Слово «случайно» в названии не означает одинаковые шансы во всех строках. Разные классы могут отвечать с разной частотой; если внутри каждого класса ответ не зависит от результата, это совместимо с MAR относительно выбранного набора наблюдаемых признаков.
Наблюдаемая группа может объяснять различие ответов
Представим два класса по сорок человек: в иллюстрации значения Y у первого равны десяти, у второго — двадцати. Ответили все сорок из первого и двадцать из второго. Среднее ответивших равно 40/3, тогда как среднее полного набора равно пятнадцати. Разный ответ по известному классу изменил общий состав наблюдений.
Если модель ответа внутри классов обоснована, сведения о классах и вероятностях могут использоваться в взвешивании или условной модели восстановления. Но одно наличие названия класса не доказывает нужную независимость: внутри него высокие и низкие результаты тоже могут отвечать по-разному. Предположение должно быть содержательно проверено настолько, насколько позволяют процесс сбора и дополнительные данные.
Пример
В описанной таблице вероятности ответа по классам 1 и 1/2. Что даёт простая обратная поправка?
Веса 1 и 2 восстанавливают в этой иллюстрации численности 40 и 40. Взвешенная сумма 40·10+20·2·20=1200, сумма весов 80, среднее 15. Точное совпадение здесь задано устройством примера, а не обещано для любой случайной выборки.
Зависимость от скрытого значения требует осторожности
Если даже среди людей с одинаковым Z вероятность ответа зависит от неизвестного Y, механизм относят к MNAR. Например, самые длительные незаписанные времена чаще скрываются независимо от всех доступных признаков. Модель по одним наблюдаемым строкам может не восстановить такой хвост без дополнительных предположений, повторного контакта или анализа чувствительности.
Из наблюдаемых данных обычно нельзя окончательно доказать, что скрытая зависимость отсутствует. MAR является предпосылкой относительно конкретной информации, а не диагнозом, автоматически выдаваемым тестом таблицы. Заполнение пропусков одним средним также не делает их реально измеренными: оно может занизить разброс и изменить связи. Нужно хранить индикатор пропуска и сообщать метод вместе с неопределённостью.
От чтения к действию
А теперь — вы
Частые вопросы
MAR означает, что все строки пропущены с одной вероятностью?
Нет. Вероятность может зависеть от наблюдаемых признаков. Требуется отсутствие дополнительной зависимости от скрытого значения после учёта этих признаков.
Можно ли доказать MAR только отсутствием видимой связи?
Обычно нет. Неизвестные значения не наблюдаются, поэтому механизм требует предпосылок и сведений о сборе, а не одного автоматического теста.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как неодинаковые вероятности ответа отражаются в весах наблюдений
Скорректируйте неодинаковую представленность ответивших через обратные вероятности ответа и назовите предпосылки, без которых веса не восстанавливают пропуски.
Открыть темуКак правое цензурирование сохраняет часть сведений о времени события
Запишите время и индикатор события при окончании наблюдения раньше события; не заменяйте неизвестное полное время границей наблюдения.
Открыть тему