Вероятность и статистика · объяснение и практика

Как повторная выборка из данных создаёт бутстреп-оценку неопределённости

Создайте повторные выборки с возвращением из наблюдённых строк и объясните, какую неопределённость приближает бутстреп и чего он не добавляет.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Оценивание и проверка гипотез: углубление · Учебная карта

Главная мысль

Обычный непараметрический бутстреп многократно выбирает с возвращением n строк из исходных n наблюдений и пересчитывает статистику. Разброс реплик приближает её выборочную неопределённость при подходящих условиях.

Моделью служит эмпирический набор

Пусть имеются n независимых одинаково собранных наблюдений. Обычный бутстреп временно рассматривает их эмпирическое распределение как приближение неизвестного источника. Новую выборку получают независимым выбором n исходных индексов с возвращением. Поэтому одни строки повторяются, другие могут не попасть в конкретную реплику; объём реплики обычно равен исходному.

Если строки содержат пары признаков, пересэмплируют целую строку, сохраняя соответствие значений. Независимое перемешивание каждого столбца создало бы другую процедуру и разрушило бы исходную совместную структуру. Число реплик B определяет вычислительное приближение, а не количество новых реальных участников исследования.

Малый пример можно перечислить полностью

Для данных 2, 4, 8 одна допустимая бутстреп-реплика — 8, 2, 8 со средним шесть. Другая — 2, 2, 4 со средним восемь третьих. Исходное среднее четырнадцать третьих. Для каждой реплики используется тот же алгоритм статистики, поэтому полученный набор средних описывает колебания результата при повторном выборе из эмпирического распределения.

Для исходных двух чисел ноль и два возможны четыре равновероятные упорядоченные реплики длины два. Их средние равны нулю, одному, одному и двум. Среднее этих реплик равно единице, а дисперсия их распределения — половине. Это точный расчёт условного бутстреп-распределения для данного крошечного набора, не гарантия точной оценки всей неизвестной популяции.

Пример

Перечислите реплики длины два из исходных данных 0 и 2 и найдите разброс их средних.

Реплики (0;0), (0;2), (2;0), (2;2) имеют вероятности по 1/4. Средние 0, 1, 1, 2 дают дисперсию (1+0+0+1)/4=1/2 и стандартное отклонение √(1/2).

Повторы не исправляют смещение

Бутстреп не создаёт значений, отсутствующих в исходном эмпирическом наборе. Если редкий важный тип вообще не наблюдался или выборка смещена, повторный выбор не восстанавливает пропущенные сведения автоматически. Больше реплик уменьшает вычислительный шум процедуры, но не исправляет сам сбор данных и не увеличивает исходный объём информации.

Для временных рядов, кластеров и других зависимых данных обычный независимый пересэмплинг строк может нарушить структуру. Используют специальные блочные или иные схемы. Интервалы также строятся разными методами и не обладают одинаковыми свойствами для любых статистик. Поэтому отчёт должен называть схему, статистику и число реплик, не обещая универсальной точности от одного слова «бутстреп».

От чтения к действию

А теперь — вы

Исходные четыре наблюдения: 3, 5, 7, 9. Какая строка допустима как обычная бутстреп-реплика того же объёма?

Частые вопросы

Повторный выбор должен быть без возвращения?

В обычном непараметрическом бутстрепе — с возвращением. Выбор всех n строк без возвращения дал бы тот же набор и не создал бы разброс среднего.

Тысячи реплик равны тысячам новых наблюдений?

Нет. Все они построены из исходных данных. Увеличивается точность вычислительной аппроксимации, а не объём новых реальных сведений.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться