Вероятность и статистика · объяснение и практика

Псевдосчётчики в категориальном прогнозе: что меняет добавление единицы

Разбираем добавление псевдосчётчиков к фиксированному набору категорий. Выводим знаменатель, проверяем пустые категории и отделяем модельную поправку от настоящих наблюдений.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Оценивание и проверка гипотез: углубление · Учебная карта

Главная мысль

Если заранее объявлены K≥2 категорий, их наблюдённые счётчики cᵢ имеют сумму N, а α>0, симметричная сглаженная оценка равна (cᵢ+α)/(N+Kα). Каждой категории добавляется одинаковый псевдосчётчик, поэтому знаменатель тоже меняется. Это отдельное правило оценки вероятностей, а не утверждение, что дополнительные события действительно наблюдались.

Добавка в числителе требует добавки в сумме

Пусть есть три возможных сигнала: короткий, длинный и двойной. В шести наблюдениях их количества равны пяти, одному и нулю. Несглаженные доли равны 5/6, 1/6 и нулю. При добавлении единицы получаем новые числители шесть, два и один, всего девять. Оценки равны 2/3, 2/9 и 1/9. Деление этих числителей на старые шесть дало бы сумму больше единицы и нарушило бы смысл вероятностей.

Добавка единицы называется сглаживанием Лапласа. Возможны другие положительные α, но их величину требуется назвать. Наблюдённый ноль не доказывает невозможности категории в будущем, поэтому положительная оценка может быть полезной в прогнозной модели. Однако она не доказывает существование редкого события и не заменяет проверку того, правильно ли вообще составлен список возможных категорий. Неверно классифицированные данные от добавки не исправляются.

Число объявленных категорий меняет результат

Для N>0 формулу можно записать как смесь наблюдённой доли cᵢ/N с равномерной долей 1/K. Вес наблюдений равен N/(N+Kα), вес равномерной части — Kα/(N+Kα). Так видно, что сглаживание тянет оценки к равномерному распределению. При большом объёме и неизменных K,α влияние добавки уменьшается, а в короткой серии оно может быть заметным.

Если в прежнем примере объявить ещё четвёртую возможную категорию с нулевым счётом, знаменатель станет десять, а оценки — 6/10, 2/10, 1/10, 1/10. Нельзя добавить новую категорию только в перечень, оставив старые вероятности: они уже расходуют всю массу. Поэтому правило о неизвестной категории нужно устанавливать до оценки и последовательно применять к данным и будущим запросам.

Пример

Заранее заданы четыре категории со счётчиками 2,0,1,1. Используется α=1/2. Найдите сглаженные оценки.

N=4, суммарная добавка Kα=2, знаменатель равен шести. Числители 5/2, 1/2, 3/2, 3/2 дают вероятности 5/12, 1/12, 1/4, 1/4. Сумма равна единице, а ненаблюдённая категория получила 1/12, а не половину.

Псевдосчётчики не становятся дополнительной выборкой

При N=0 и α>0 правило даёт равные вероятности 1/K. Это исходное симметричное предположение без данных, а не эмпирически подтверждённая частота. При α=0 и N>0 возвращаются обычные доли; при пустых данных возникло бы деление нуля на ноль. Поэтому область выбранного правила и наличие наблюдений нужно проверять до подстановки, особенно в программной реализации.

Сглаженная оценка обычно отличается от оценки максимального правдоподобия для одной только наблюдённой категориальной выборки. Под определённой вероятностной моделью добавки можно связать с априорным распределением, но такая интерпретация требует явно назвать модель. Здесь достаточно понимать нормирование и силу добавленного предположения. Качество будущего прогноза проверяют на новых данных, а не по самому факту отсутствия нулевых вероятностей.

От чтения к действию

А теперь — вы

Заданы три категории со счётчиками 0,2,2. При α=1 какова оценка вероятности ненаблюдённой категории?

Частые вопросы

Единицу добавляют только пустым категориям?

В описанном симметричном правиле — всем. Добавление только пустым задаёт другой алгоритм с другим нормированием.

Псевдосчётчики можно включить в отчёт как собранные ответы?

Нет. Они являются частью модели оценки и должны быть отделены от фактически наблюдённых счётчиков.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться