Оценка классификатора: порог, редкий класс и калибровка

Свяжите таблицу ошибок с precision, recall и специфичностью. Разведите выбор порога, macro/micro усреднение, ROC/PR-кривые и проверку вероятностных прогнозов.

Задачи модуля

Сначала назовём положительный класс и соберём таблицу ошибок. Один и тот же набор предсказаний позволяет ответить на разные вопросы: сколько истинных объектов найдено и какая доля срабатываний оказалась полезной.

Затем изменим порог и способ усреднения по классам. Отдельно проверим, соответствуют ли заявленные вероятности наблюдаемым частотам: хорошее ранжирование само по себе не обеспечивает калибровку. Калькулятор работает с одной заданной таблицей, а не строит кривые по сырым прогнозам.

  • Выбирать метрику по цене пропусков и ложных срабатываний.
  • Объяснять влияние порога и частоты положительного класса на оценку.
  • Различать качество ранжирования, усреднение метрик и калибровку вероятностей.

Вероятностный прогноз

Оценка вероятностного прогноза: Brier и групповая калибровка

Вероятностный прогноз нужно оценивать до выбора порога. Средний квадрат ошибки вероятности различает уверенную ошибку и осторожное предсказание.

Перед началом: Бинарный исход; Средний квадрат ошибки.

Brier оценивает числа вероятностей

Для исходов yᵢ∈{0,1} и прогнозов pᵢ∈[0,1] Brier score равен среднему (pᵢ−yᵢ)². Чем меньше, тем лучше. Уверенная ошибочная вероятность получает большой штраф, осторожная — меньший. Пороговая точность после превращения p в класс теряет эту информацию. Преобразование всех вероятностей монотонной функцией может сохранить ранжирование и AUC, но изменить Brier и калибровку. Поэтому качество порядка объектов и качество численных вероятностей следует проверять отдельно на данных вне обучения.

Оценивать вероятности следует с сохранённой исходной численной точностью; преждевременное округление может изменить сравнение близких моделей.

Почему истинная вероятность оптимальна

При истинном условном шансе q математическое ожидание квадратичной потери равно q(1−p)²+(1−q)p²=q(1−q)+(p−q)². Единственный минимум по p достигается при p=q. Поэтому Brier является строго правильной оценкой вероятностного прогноза. Неустранимая часть q(1−q) отражает случайность исхода, а дополнительный квадрат — ошибку предсказанной вероятности. Эта алгебра относится к условному закону, а не обещает низкий балл каждому отдельному исходу.

Калибровка проверяется группами с осторожностью

Для объектов с прогнозом около p доля успехов должна быть около p. Но маленькая группа даёт шумную долю, а широкие интервалы прогнозов могут скрыть противоположные ошибки. Даже идеальная общая средняя вероятность не гарантирует условную калибровку во всех подгруппах. Постоянный прогноз базовой частоты может быть калиброванным, оставаясь бесполезным для ранжирования. Выбор калибровочной функции на той же проверочной выборке создаёт оптимизм; её следует обучать и оценивать раздельно. При смене базовой частоты переносимость также требует проверки.

Разобранная задача

Условие. Для четырёх объектов прогнозы равны 0,2;0,2;0,8;0,8, а исходы 0;1;1;1. Найдите Brier и наблюдаемую калибровку двух групп одинакового прогноза.

  1. Квадраты ошибок равны 0,04;0,64;0,04;0,04.
  2. Их сумма 0,76, среднее Brier=0,76/4=0,19.
  3. В группе p=0,2 доля успехов 1/2, в группе p=0,8 — 2/2=1. Эти наблюдаемые доли отличаются от прогнозов.
  4. Постоянный прогноз общей частоты 3/4 имел бы Brier=[(3/4)²+3(1/4)²]/4=3/16=0,1875.

Ответ. Brier=0,19; групповые доли 0,5 и 1. На этой маленькой выборке постоянный прогноз даёт 0,1875.

Проверка. Независимое суммирование дробями даёт (1+16+1+1)/(25·4)=19/100. Две группы по два объекта слишком малы для уверенного вывода о популяционной калибровке.

Где легко ошибиться. Не объявляйте точность класса доказательством калибровки. Порог скрывает различие между вероятностями 0,51 и 0,99.

Проверьте понимание

При истинной вероятности q какое p минимизирует ожидаемую квадратичную потерю?

Вопросы к этой главе

Калиброванный прогноз обязательно хорошо ранжирует?

Нет. Постоянная базовая частота может быть калибрована, но не различает объекты между собой.

Можно ли откалибровать и проверить на одних данных?

Для честной оценки нужен отдельный контроль или корректная перекрёстная схема. Иначе процедура подгоняется под шум самой проверки.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • scikit-learn: Brier score definition

    Официальная документация scikit-learn: бинарный Brier score и правильность квадратичной оценки. Четыре прогноза и сравнение с постоянной частотой заданы самостоятельно.

Связанные методы

Как одна таблица ошибок даёт разные знаменатели качества

Accuracy делит все верные решения на N, precision — TP на TP+FP, recall — TP на TP+FN, specificity — TN на TN+FP. Разные знаменатели отвечают на разные вопросы.

Разобрать с примером

Как объединение классов меняет итоговую метрику

Macro сначала считает метрику каждого класса и усредняет их с одинаковым весом. Micro сначала складывает TP,FP,FN всех классов и лишь затем вычисляет метрику по общим числам.

Разобрать с примером

Как изменение порога строит ROC-кривую

ROC строит TPR=TP/P по вертикали против FPR=FP/N₀ по горизонтали при разных порогах. Здесь P,N₀ — количества фактических положительных и отрицательных объектов.

Разобрать с примером

Темы по порядку

  1. Как одна таблица ошибок даёт разные знаменатели качестваКак из одной таблицы ошибок получить общую долю верных решений, точность положительных ответов, полноту и специфичность, не переставив фактические и предсказанные классы.
  2. Как объединение классов меняет итоговую метрикуКак усреднение по классам отличается от объединения всех ошибок, почему редкий класс может исчезнуть в общем числе и отчего средний F1 не равен F1 средних величин.
  3. Как изменение порога строит ROC-кривуюКак последовательно понижать порог оценок и строить точки ROC, правильно выбирать знаменатели FPR и TPR и обрабатывать одинаковые оценки одной группой.
  4. Почему PR-кривая меняется при редком положительном классеПочему одинаковые полнота и частота ложных тревог могут дать разную точность положительных ответов, как читать PR-кривую и учитывать базовую долю класса.
  5. Чем калиброванная вероятность отличается от правильного ранжированияКак сопоставить выданные вероятности с наблюдаемыми частотами, отличить калибровку от ранжирования и увидеть ограничения грубой проверки по группам.

Проверьте понимание

У модели TP=15,FP=5,FN=10,TN=70. Чему равна recall положительного класса?

Рассчитать и проверить

Частые вопросы

Почему precision не равна recall?

Они делят TP на разные множества: все положительные ответы модели и все фактические положительные объекты.

Почему micro-F1 совпадает с accuracy при одной метке на объект и учёте всех классов?

Каждый неверный ответ создаёт один FP и один FN при суммировании по всем классам, а верный даёт один TP. Это делает формулы одинаковыми.

Можно ли разделить объекты с одинаковой оценкой разными порогами?

Нет, если решение зависит только от этой оценки и одного общего порога. Они переходят границу одним блоком.