Вероятность и статистика · объяснение и практика
Псевдосчётчики в категориальном прогнозе: что меняет добавление единицы
Разбираем добавление псевдосчётчиков к фиксированному набору категорий. Выводим знаменатель, проверяем пустые категории и отделяем модельную поправку от настоящих наблюдений.

В теме Оценивание и проверка гипотез: углубление · Учебная карта
Главная мысль
Если заранее объявлены K≥2 категорий, их наблюдённые счётчики cᵢ имеют сумму N, а α>0, симметричная сглаженная оценка равна (cᵢ+α)/(N+Kα). Каждой категории добавляется одинаковый псевдосчётчик, поэтому знаменатель тоже меняется. Это отдельное правило оценки вероятностей, а не утверждение, что дополнительные события действительно наблюдались.
Добавка в числителе требует добавки в сумме
Пусть есть три возможных сигнала: короткий, длинный и двойной. В шести наблюдениях их количества равны пяти, одному и нулю. Несглаженные доли равны 5/6, 1/6 и нулю. При добавлении единицы получаем новые числители шесть, два и один, всего девять. Оценки равны 2/3, 2/9 и 1/9. Деление этих числителей на старые шесть дало бы сумму больше единицы и нарушило бы смысл вероятностей.
Добавка единицы называется сглаживанием Лапласа. Возможны другие положительные α, но их величину требуется назвать. Наблюдённый ноль не доказывает невозможности категории в будущем, поэтому положительная оценка может быть полезной в прогнозной модели. Однако она не доказывает существование редкого события и не заменяет проверку того, правильно ли вообще составлен список возможных категорий. Неверно классифицированные данные от добавки не исправляются.
Число объявленных категорий меняет результат
Для N>0 формулу можно записать как смесь наблюдённой доли cᵢ/N с равномерной долей 1/K. Вес наблюдений равен N/(N+Kα), вес равномерной части — Kα/(N+Kα). Так видно, что сглаживание тянет оценки к равномерному распределению. При большом объёме и неизменных K,α влияние добавки уменьшается, а в короткой серии оно может быть заметным.
Если в прежнем примере объявить ещё четвёртую возможную категорию с нулевым счётом, знаменатель станет десять, а оценки — 6/10, 2/10, 1/10, 1/10. Нельзя добавить новую категорию только в перечень, оставив старые вероятности: они уже расходуют всю массу. Поэтому правило о неизвестной категории нужно устанавливать до оценки и последовательно применять к данным и будущим запросам.
Пример
Заранее заданы четыре категории со счётчиками 2,0,1,1. Используется α=1/2. Найдите сглаженные оценки.
N=4, суммарная добавка Kα=2, знаменатель равен шести. Числители 5/2, 1/2, 3/2, 3/2 дают вероятности 5/12, 1/12, 1/4, 1/4. Сумма равна единице, а ненаблюдённая категория получила 1/12, а не половину.
Псевдосчётчики не становятся дополнительной выборкой
При N=0 и α>0 правило даёт равные вероятности 1/K. Это исходное симметричное предположение без данных, а не эмпирически подтверждённая частота. При α=0 и N>0 возвращаются обычные доли; при пустых данных возникло бы деление нуля на ноль. Поэтому область выбранного правила и наличие наблюдений нужно проверять до подстановки, особенно в программной реализации.
Сглаженная оценка обычно отличается от оценки максимального правдоподобия для одной только наблюдённой категориальной выборки. Под определённой вероятностной моделью добавки можно связать с априорным распределением, но такая интерпретация требует явно назвать модель. Здесь достаточно понимать нормирование и силу добавленного предположения. Качество будущего прогноза проверяют на новых данных, а не по самому факту отсутствия нулевых вероятностей.
От чтения к действию
А теперь — вы
Частые вопросы
Единицу добавляют только пустым категориям?
В описанном симметричном правиле — всем. Добавление только пустым задаёт другой алгоритм с другим нормированием.
Псевдосчётчики можно включить в отчёт как собранные ответы?
Нет. Они являются частью модели оценки и должны быть отделены от фактически наблюдённых счётчиков.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как доля успехов становится оценкой параметра Бернулли
Получите оценку вероятности успеха из максимизации правдоподобия, проверьте крайние случаи и не считайте выборочную долю точным параметром.
Открыть темуКак читать таблицу абсолютных и относительных частот
Как переводить количества в доли и проценты, проверять таблицу частот и сохранять правильную базу при пропусках и вопросах с несколькими вариантами ответа.
Открыть тему