Оценка вероятностного прогноза: Brier и групповая калибровка
Вероятностный прогноз нужно оценивать до выбора порога. Средний квадрат ошибки вероятности различает уверенную ошибку и осторожное предсказание.
Перед началом: Бинарный исход; Средний квадрат ошибки.
Brier оценивает числа вероятностей
Для исходов yᵢ∈{0,1} и прогнозов pᵢ∈[0,1] Brier score равен среднему (pᵢ−yᵢ)². Чем меньше, тем лучше. Уверенная ошибочная вероятность получает большой штраф, осторожная — меньший. Пороговая точность после превращения p в класс теряет эту информацию. Преобразование всех вероятностей монотонной функцией может сохранить ранжирование и AUC, но изменить Brier и калибровку. Поэтому качество порядка объектов и качество численных вероятностей следует проверять отдельно на данных вне обучения.
Оценивать вероятности следует с сохранённой исходной численной точностью; преждевременное округление может изменить сравнение близких моделей.
Почему истинная вероятность оптимальна
При истинном условном шансе q математическое ожидание квадратичной потери равно q(1−p)²+(1−q)p²=q(1−q)+(p−q)². Единственный минимум по p достигается при p=q. Поэтому Brier является строго правильной оценкой вероятностного прогноза. Неустранимая часть q(1−q) отражает случайность исхода, а дополнительный квадрат — ошибку предсказанной вероятности. Эта алгебра относится к условному закону, а не обещает низкий балл каждому отдельному исходу.
Калибровка проверяется группами с осторожностью
Для объектов с прогнозом около p доля успехов должна быть около p. Но маленькая группа даёт шумную долю, а широкие интервалы прогнозов могут скрыть противоположные ошибки. Даже идеальная общая средняя вероятность не гарантирует условную калибровку во всех подгруппах. Постоянный прогноз базовой частоты может быть калиброванным, оставаясь бесполезным для ранжирования. Выбор калибровочной функции на той же проверочной выборке создаёт оптимизм; её следует обучать и оценивать раздельно. При смене базовой частоты переносимость также требует проверки.
Разобранная задача
Условие. Для четырёх объектов прогнозы равны 0,2;0,2;0,8;0,8, а исходы 0;1;1;1. Найдите Brier и наблюдаемую калибровку двух групп одинакового прогноза.
- Квадраты ошибок равны 0,04;0,64;0,04;0,04.
- Их сумма 0,76, среднее Brier=0,76/4=0,19.
- В группе p=0,2 доля успехов 1/2, в группе p=0,8 — 2/2=1. Эти наблюдаемые доли отличаются от прогнозов.
- Постоянный прогноз общей частоты 3/4 имел бы Brier=[(3/4)²+3(1/4)²]/4=3/16=0,1875.
Ответ. Brier=0,19; групповые доли 0,5 и 1. На этой маленькой выборке постоянный прогноз даёт 0,1875.
Проверка. Независимое суммирование дробями даёт (1+16+1+1)/(25·4)=19/100. Две группы по два объекта слишком малы для уверенного вывода о популяционной калибровке.
Где легко ошибиться. Не объявляйте точность класса доказательством калибровки. Порог скрывает различие между вероятностями 0,51 и 0,99.
Проверьте понимание
Вопросы к этой главе
Калиброванный прогноз обязательно хорошо ранжирует?
Нет. Постоянная базовая частота может быть калибрована, но не различает объекты между собой.
Можно ли откалибровать и проверить на одних данных?
Для честной оценки нужен отдельный контроль или корректная перекрёстная схема. Иначе процедура подгоняется под шум самой проверки.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- scikit-learn: Brier score definition
Официальная документация scikit-learn: бинарный Brier score и правильность квадратичной оценки. Четыре прогноза и сравнение с постоянной частотой заданы самостоятельно.