Вероятность и статистика · объяснение и практика

Как таблица цены ошибок выбирает порог решения

Как из заданных потерь двух типов ошибки вывести порог решения, почему он не обязан равняться половине и какие предположения делают расчёт применимым.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Таблицы категорий и качество классификации · Учебная карта

В маршруте Качество классификации без автоматических вердиктов · 10 тем

Главная мысль

Если верные ответы имеют нулевую потерю, ложный положительный стоит C_FP, пропуск — C_FN, то положительное решение минимизирует ожидаемую потерю при p≥C_FP/(C_FP+C_FN), с отдельной оговоркой о равенстве.

Прогноз вероятности ещё не выбирает действие

Пусть p — корректная условная вероятность положительного исхода для данного объекта. Нужно выбрать один из двух ответов, а потери ошибок заранее заданы в условных единицах. Положительный ответ ошибочен с вероятностью 1−p и имеет ожидаемую потерю C_FP(1−p). Отрицательный ошибочен с вероятностью p и даёт C_FNp.

Предполагаем неотрицательные постоянные потери и нулевую потерю верного решения. Сравнивая два ожидания, получаем C_FP(1−p)≤C_FNp. Если сумма двух цен положительна, это равносильно p≥C_FP/(C_FP+C_FN). При равенстве оба решения одинаково хороши по этой модели; дополнительное правило может выбрать любой из них.

Порог меняется вместе с соотношением потерь

Пусть ложное выделение файла для ручной проверки имеет потерю два, а пропуск нужного файла — восемь. Порог равен 2/10=0,2. Для объекта с p=0,3 положительный ответ имеет ожидаемую потерю 2·0,7=1,4, отрицательный — 8·0,3=2,4. Поэтому модель выбирает положительный ответ, хотя вероятность меньше половины.

Если обе потери умножить на одно положительное число, порог не изменится: важна их относительная величина. При одинаковых положительных потерях получается привычная половина. Более дорогая ложная тревога повышает порог, более дорогой пропуск понижает его. Это вывод из указанной таблицы потерь, а не универсальное требование к любому классификатору.

Пример

Что будет, если обе потери равны нулю?

Все решения имеют нулевую ожидаемую потерю. Дробь для единственного порога не определена, а сама модель не различает два действия.

Когда простой порог перестаёт быть достаточным

Если вероятности плохо калиброваны, подстановка чисел, похожих на p, может не минимизировать реальную ожидаемую потерю. Нужна проверка вероятностной шкалы. Если цена зависит от объекта, добавлены ненулевые потери верных ответов или ограничено общее число положительных решений, формулу следует вывести заново из полной постановки.

Порог нельзя выбирать по итоговым проверочным ответам и затем на них же обещать независимое качество. Данные для настройки и оценки разделяют. Также заданные в учебной модели условные единицы не являются оценкой реального вреда за пользователя. Формула позволяет согласовать решения с явно названными последствиями, но не определяет эти последствия и допустимые ограничения сама.

От чтения к действию

А теперь — вы

Потеря ложного положительного ответа равна 9, пропуска — 1, верных ответов — 0. Каков порог положительного решения при корректной вероятности p?

Частые вопросы

Почему порог может быть меньше 0,5?

Если пропуск дороже ложной тревоги, даже сравнительно небольшая вероятность события делает положительное решение выгоднее по заданной ожидаемой потере.

Изменится ли порог после умножения обеих цен на десять?

Нет. Общий положительный множитель сократится в отношении, хотя сами ожидаемые потери вырастут в десять раз.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться