История · объяснение и практика
Кого не видно в двух списках: наблюдаемый охват и модель недоучёта
Разведите число людей, замеченных хотя бы в одном историческом списке, и модельную оценку тех, кто пропущен обоими. Проверьте пересечение и предпосылку независимости списков.

Вузовский уровень · Все вузовские темы
В теме Исторический вопрос и источник · Учебная карта
Главная мысль
В двух вымышленных списках одной закрытой группы есть 30 и 24 человека, двенадцать встречаются в обоих. Наблюдаемое объединение содержит 30+24−12=42 человека. Простая двухсистемная подстановка даёт 30·24/12=60, включая 18 не замеченных ни одним списком. Второе число зависит от модели; это не восемнадцать обнаруженных биографий.
Сначала получите проверенное пересечение
Задайте одну совокупность, территорию и период. Список работников одного предприятия и перечень всех жителей уезда не становятся двумя охватами одной группы только из-за общих фамилий. В учебной модели группа закрыта: между двумя регистрациями нет входа и выхода. Для исторических источников такое условие требует отдельной проверки.
Удалите внутренние дубли по обоснованным соответствиям и установите пары между списками. Совпавшее имя ещё не является подтверждённым человеком в пересечении. Ошибка сопоставления влияет не только на объединённый список: она меняет знаменатель оценки. Сохраните исходные ID, основания принятых связей и нерешённые случаи.
Отделите наблюдаемую сумму от подстановки
Объединение считается сложением размеров с вычитанием пересечения один раз. Оно показывает людей, присутствующих хотя бы в одном наборе, если очистка и связывание верны. Люди, отсутствующие в обоих, в таком объединении не появляются. Их число нельзя узнать простым просмотром двух очищенных таблиц.
Для простой модели предположим независимое попадание в списки и одинаковые вероятности охвата внутри рассматриваемой группы. Тогда доля первого списка среди попавших во второй служит ориентиром для его охвата всей группы: m/nB приблизительно заменяет nA/N. Отсюда подстановка Nhat=nA·nB/m при положительном m. Это оценочная формула, а не точное равенство любой конечной реализации.
Пример
Пусть nA=10, nB=8, m=4. Сколько наблюдается людей и сколько даёт простая модель?
Объединение равно 10+8−4=14. Подстановка Nhat=10·8/4=20, разница 6 относится к не наблюдаемой модельной части. Утверждение о шести конкретных пропущенных людях не получено: их личности в двух списках не указаны.
Проверьте, что делает модель уязвимой
Если второй список переписан с первого, независимого охвата нет. Если заметные люди имеют высокую вероятность попасть сразу в оба, неодинаковая видимость тоже нарушает простую схему. Две ведомости могут выглядеть независимо оформленными, сохраняя общую систему регистрации. Название документа не доказывает независимость процесса.
При нулевом пересечении эта подстановка не определена, а малое пересечение делает оценку чувствительной. Нельзя добавлять выдуманную пару ради конечного ответа. В итоговой таблице раздельно сообщают наблюдаемое объединение, модельную оценку и условия. Здесь не рассчитывается доверительный интервал и не обещается отсутствие смещения; для реального недоучёта нужны более полная модель и проверка данных.
От чтения к действию
А теперь — вы
Частые вопросы
Два разных архива гарантируют независимость?
Нет. Они могли получить копии одной ведомости либо зависеть от общего порядка регистрации. Проверяют происхождение списков и механизм включения.
Можно оценку 60 назвать точной численностью?
Нет. Она условна относительно модели и случайности охвата. Наблюдаемое объединение и оценку полного размера следует публиковать раздельно.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Округление возраста в переписи: рассчитайте индекс Уиппла
Рассчитайте индекс Уиппла для возрастов 23–62, проверьте предпочтение окончаний 0 и 5 и отделите показатель качества записи от причин демографического изменения.
Открыть темуКачество OCR старого текста: посчитайте ошибки по проверенной строке
Сверьте OCR с ручной контрольной строкой, посчитайте вставки, удаления и замены и определите, что найденная доля ошибок говорит о проверенном фрагменте.
Открыть темуСтарое название на карте: выберите запись места по контексту
Сопоставьте историческое название с устойчивой записью места по времени, типу объекта и географической иерархии. Не подменяйте название случайными современными координатами.
Открыть тему