Вероятность и статистика · объяснение и практика
Чем калиброванная вероятность отличается от правильного ранжирования
Как сопоставить выданные вероятности с наблюдаемыми частотами, отличить калибровку от ранжирования и увидеть ограничения грубой проверки по группам.

В теме Оценивание и проверка гипотез: углубление · Учебная карта
В маршруте Качество классификации без автоматических вердиктов · 10 тем
Главная мысль
Калибровка означает согласование предсказанной вероятности с долей событий среди объектов, получивших такую оценку. Хорошее ранжирование и высокая доля верных меток сами по себе этого не гарантируют.
Вероятность проверяется на группе повторяемых случаев
Оценка 0,7 не обещает, что конкретный объект обязательно положительный, и не требует семи успехов в любых десяти следующих наблюдениях. Смысл калибровки — среди сопоставимых случаев с оценками около 0,7 положительная доля должна быть близка к 0,7 в подходящей общей модели. Отклонения конечной выборки неизбежны.
Для практической проверки прогнозы разбивают на интервалы. В каждой группе считают среднюю выданную вероятность и наблюдаемую долю положительных. На диаграмме согласования эти числа служат горизонтальной и вертикальной координатами. Сравнивать нужно средний прогноз, а не всегда геометрическую середину интервала: объекты могут распределяться внутри него неравномерно.
Высокий ранг не означает верную численную уверенность
Пусть в проверочной группе из пятидесяти объектов всем выдали вероятность 0,6, а положительными оказались двадцать. Точка диаграммы равна (0,6;0,4): на этой группе прогноз выше наблюдаемой частоты. Но одного такого отклонения недостаточно, чтобы без оценки выборочной неопределённости объявить точную величину ошибки вероятностной модели.
Строго возрастающее преобразование оценок может сохранить весь порядок объектов и ROC-кривую, изменив численные вероятности. Например, замена p на p² оставит ранги в прежнем порядке, но оценки 0,8 превратит в 0,64. Утверждать одновременную калибровку обеих шкал для одинаковых случаев без дополнительных условий нельзя.
Пример
Может ли правило, выдающее всем одну базовую вероятность π, быть калиброванным?
Да, если фактическая доля события в соответствующей популяции равна π. Но оно не различает отдельные объекты, поэтому калибровка сама по себе не означает полезного ранжирования.
Группировка и повторное использование данных скрывают ошибки
Широкие интервалы могут объединить подгруппы с противоположными отклонениями, которые взаимно компенсируются. Очень узкие интервалы, напротив, содержат мало наблюдений и дают шумные частоты. Поэтому рядом с диаграммой полезно показывать численность групп и не выдавать совпадение нескольких точек за универсальное доказательство калибровки во всех условиях.
Настройка преобразования вероятностей и итоговая оценка на одних данных создают оптимистичную картину. Нужен отдельный проверочный набор или аккуратная схема разделения данных. Также средняя квадратичная или логарифмическая потеря оценивает несколько свойств прогноза сразу: её улучшение не обязательно означает улучшение только калибровки. При изменении состава среды согласование требует новой проверки.
От чтения к действию
А теперь — вы
Частые вопросы
Может ли модель быть калиброванной, но плохо различать объекты?
Да. Постоянный прогноз правильной базовой доли может быть калиброванным и при этом не давать никакого ранжирования внутри группы.
Почему нельзя всегда сравнивать частоту с серединой интервала?
Среднее предсказание зависит от фактических оценок объектов внутри интервала и может существенно отличаться от его середины.
Углублённый разбор
Сферический скор: нормировка вектора вероятностей и строгая правильность
Сферический скор оценивает вероятностный прогноз через длину всего вектора вероятностей. Его честный оптимум доказывается геометрией, а не логарифмическим штрафом.
Перед началом: Матрица ошибок и условные частоты классов; Пороговый рейтинг и вероятностный прогноз.
Определение и постановка
Для конечного набора классов и вероятностного вектора p определим norm₂(p)=sqrt(Σ_i p_i²). Сферическая награда равна S(p,y)=p_y/norm₂(p). Больше означает лучше. При желании потерю задают отрицательной наградой, явно сохраняя направление сравнения.
Вывод и вычислительный критерий
Если истинный закон классов равен q, ожидаемая награда равна (q·p)/norm₂(p). Неравенство Коши — Буняковского даёт q·p≤norm₂(q)norm₂(p), поэтому ожидаемая награда не превосходит norm₂(q). Равенство требует положительной пропорциональности p и q. Так как обе суммы координат равны единице, это возможно лишь при p=q.
Следовательно, скор строго правилен: в ожидании лучшая стратегия сообщает истинный вероятностный вектор. Это утверждение о повторяемом законе, а не обещание выигрыша на каждом отдельном случайном исходе.
Нормировка вектора делает показатель отличным от линейной награды p_y. Последняя обычно поощряет выдавать всю массу самому вероятному классу, тогда как сферическая награда учитывает изменение длины вектора и сохраняет честный оптимум.
Условия и границы вывода
Вероятностный вектор не может быть нулевым, поэтому его евклидова норма положительна. Нулевые отдельные координаты допустимы; при неожиданном классе награда тогда нулевая, а не отрицательно бесконечная логарифмическая величина.
Строгая правильность не означает одинакового ранжирования конечных прогнозов со всеми другими proper scores. Разные функции оценки по-разному реагируют на уверенность и распределение ошибок. Сравнивать численные значения разных шкал без определения бессмысленно.
При проверке по выборке сохраняют независимость или соответствующую структуру данных и отдельно оценивают неопределённость среднего score. Максимум математического ожидания не устраняет случайные колебания конечного результата и не доказывает калибровку по одному наблюдению.
Число координат конечно, а вероятностный вектор имеет ненулевую евклидову норму из-за единичной суммы. Условие равенства Коши даёт положительную пропорциональность; нормировка суммы устраняет её произвольный коэффициент. Поэтому здесь доказана строгая правильность именно на симплексе вероятностей, а не на множестве всех ненормированных векторов.
Разобранная задача
Условие. Истинные вероятности двух классов q=(3/7,4/7). Сравните ожидаемую сферическую награду честного прогноза p=q и переставленного p=(4/7,3/7).
- Оба прогнозных вектора имеют норму√(9+16)/7=5/7.
- При честном прогнозе награды двух исходов равны3/5 и4/5.
- Ожидание равно(3/7)(3/5)+(4/7)(4/5)=25/35=5/7.
- При переставленном прогнозе ожидание равно(3/7)(4/5)+(4/7)(3/5)=24/35, меньше на1/35.
Ответ. Честная ожидаемая награда5/7 превосходит24/35 у переставленных вероятностей.
Проверка. Геометрическая верхняя граница равнаnorm₂(q)=5/7 и достигнута честным прогнозом. Переставленный вектор не пропорционален q, поэтому неравенство Коши строгое.
Где легко ошибиться. Нужно различать награду, которую максимизируют, и потерю, которую минимизируют: смена знака без смены направления выбора перевернёт оценку.
Проверьте понимание
Вопросы к этой главе
Почему простое p_y не является тем же методом?
Без нормировки ожидаемая награда линейна по p и предпочитает край вероятностного симплекса. Деление на норму меняет задачу и делает честный вектор единственным оптимумом.
Означает ли лучший ожидаемый score безошибочные метки?
Нет. При недетерминированном q ошибки отдельных жёстких решений неизбежны. Proper score оценивает качество вероятностного сообщения, а не гарантирует каждый исход.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Gneiting and Raftery: strictly proper scoring rules
Прочитаны определение строгой правильности и Example 2 о псевдосферическом семействе, включая сферический случай. Геометрическое доказательство Коши и рациональное сравнение двух прогнозов собственные.
Brier: неопределённость, разрешение и надёжность прогноза
Разложение Brier разделяет надёжность чисел, различение групп и исходную неопределённость класса. Одинаковая итоговая потеря может скрывать разные сочетания этих свойств.
Перед началом: Матрица ошибок и условные частоты классов; Пороговый рейтинг и вероятностный прогноз.
Определение и постановка
Пусть внутри каждой группы k всем выдана одна и та же вероятность pₖ. Вес группы wₖ равен её доле, частота положительного qₖ, общая частота q̄=Σwₖqₖ.
Вывод и вычислительный критерий
Средняя квадратичная потеря в группе равна qₖ(1−qₖ)+(pₖ−qₖ)². Это точное конечное тождество для бинарных исходов: случайная часть вокруг групповой частоты отделена от несогласованности прогноза и частоты.
После усреднения групп получается BS=UNC−RES+REL, где UNC=q̄(1−q̄), RES=Σwₖ(qₖ−q̄)² иREL=Σwₖ(pₖ−qₖ)². Первый член задаёт неопределённость общей доли, второй — различие групповых частот, третий — ошибку вероятностной согласованности.
Чем сильнее группы различаются по qₖ, тем больше RES и тем ниже Brier при той же надёжности. Поэтому улучшение общей потери не обязано означать уменьшение одной только ошибки калибровки. Даже хорошо согласованный постоянный прогноз не имеет разрешения между разными типами объектов.
Условия и границы вывода
Трёхчленная запись здесь точна благодаря постоянным прогнозам внутри групп. Если произвольно объединить разные p в широкие интервалы и заменить их одним средним, могут появиться дополнительные внутригрупповые слагаемые. Нельзя объявить такую грубую группировку точным разложением исходного score без проверки.
Наблюдаемые qₖ являются конечными частотами. НулевойREL на тех же данных после подстановки pₖ=qₖ не доказывает будущую калибровку: настройка использовала известные ответы.
Для интерпретации нужно сохранять численности и правило формирования групп. Изменение разбиения влияет на компоненты даже при неизменных исходных прогнозах. Разложение полезно как прозрачная диагностика заданного набора, а не как автоматическая сертификация вероятностной модели.
В примереRES иREL случайно одинаковы и взаимно компенсируются. Это равенство не является общим свойством разложения: улучшение одного компонента при неизменном другом напрямую изменит итоговыйBrier. Поэтому полезно сохранять три числа, а не только результат их алгебраической суммы.
Тождество точно для групп с одинаковым объявленным прогнозом внутри каждой группы. Если разные вероятности предварительно округлить в широкие интервалы и заменить средними, исходная сумма Brier может получить дополнительный внутригрупповой член. Нельзя объявлять трёхчленное разложение исходных индивидуальных прогнозов точным после произвольной потери этой информации.
Разобранная задача
Условие. Прогнозы равны(1/4,1/4,3/4,3/4), исходы(0,1,1,1). По двум группам одинакового прогноза вычислите UNC,RES,REL иBrier.
- Обе группы имеют вес1/2, частоты q₁=1/2,q₂=1, общая q̄=3/4.
- UNC=(3/4)(1/4)=3/16.
- RES=(1/2)[(1/2−3/4)²+(1−3/4)²]=1/16; REL=(1/2)[(1/4−1/2)²+(3/4−1)²]=1/16.
- Brier=3/16−1/16+1/16=3/16.
Ответ. UNC=3/16,RES=1/16,REL=1/16; итоговая потеря3/16.
Проверка. Прямые квадраты ошибок равны1/16,9/16,1/16,1/16. Их среднее12/64=3/16 подтверждает разложение независимо от групповых формул.
Где легко ошибиться. Уменьшение Brier может происходить за счёт разрешенияRES и само по себе не доказывает улучшение одной только калибровкиREL.
Проверьте понимание
Вопросы к этой главе
Что даст постоянный прогноз3/4 всем объектам?
Он имеет Brier3/16 и нулевое разрешение. Равенство итоговой потери исходному примеру показывает, что один score не раскрывает структуру групповых качеств.
Что даст замена pₖ на наблюдённые qₖ?
На этом наборе REL станет нулём и Brier снизится до1/8. Это подгонка по ответам, поэтому результат нельзя выдавать за независимую проверку будущей калибровки.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- scikit-learn: probability calibration
Прочитан раздел о разложении Murphy: Brier одновременно учитывает reliability, resolution и uncertainty, поэтому одной ошибки недостаточно для калибровки. Точное разложение по конечным группам здесь выведено самостоятельно.
Монотонная калибровка: слияние блоков и сертификат KKT
В трёх упорядоченных группах наблюдаемые частоты равны 4/5, 1/5 и 3/5. Простая замена прогнозов этими частотами нарушила бы требуемый порядок. Найдём ближайшие монотонные значения с учётом разных численностей и проверим оптимум условиями KKT.
Перед началом: Взвешенное среднее и квадратичная потеря.
Порядок и веса задают точную задачу
Группы заранее упорядочены по исходной оценке риска. Ищем x₁≤…≤xₙ, минимизирующие J=½Σwᵢ(xᵢ−yᵢ)² при строго положительных весах. Для групп бинарных наблюдений естественный вес равен численности, а yᵢ — наблюдаемой доле. Тогда внутригрупповой разброс добавляет к исходной бинарной потере только постоянный член.
Положительные веса делают критерий строго выпуклым. Допустимое множество замкнуто и выпукло, поэтому найденный оптимум единственен. Частоты лежат между нулём и единицей; их взвешенные средние также сохраняют эти границы. Отдельное обрезание результата не требуется.
Нарушившие порядок соседи становятся блоком
Начинаем с отдельных групп. Если среднее левого блока выше среднего правого, объединяем их и заменяем значения общим взвешенным средним. После слияния заново проверяем предшествующую границу: новая общая величина могла нарушить порядок ещё левее. Так работает PAVA, алгоритм последовательного слияния соседних нарушителей.
Простая сортировка исходных yᵢ не решает задачу, потому что переставляет ответы между фиксированными группами. Невзвешенное усреднение тоже неверно при разных wᵢ: большая группа вносит больший вклад в целевую потерю. Весь блок хранит сумму весов и сумму произведений wᵢyᵢ.
Сертификат имеет определённый знак
Для ограничений xₖ−xₖ₊₁≤0 введём λₖ≥0, а на концах положим λ₀=λₙ=0. Стационарность даёт λₖ=Σᵢ≤ₖwᵢ(yᵢ−xᵢ). Следовательно, все накопленные величины должны быть неотрицательны, последняя равна нулю, а произведение λₖ(xₖ−xₖ₊₁) равно нулю на каждой границе.
Эти условия вместе с монотонностью достаточны благодаря выпуклости. На строгой границе множитель нулевой; внутри активного блока он может быть положительным. Полученная обучающая подгонка ещё не доказывает будущую калибровку. Для оценки качества требуется отдельная выборка; возникающие ничьи прогнозов также способны изменить ранговые показатели.
Три группы с разными весами
Условие. Для y=(4/5,1/5,3/5) и весов w=(1,3,1) найдите монотонную подгонку, значение J и два внутренних множителя KKT.
- Первая граница нарушена: 4/5>1/5. Сливаем первые две группы с общим весом 4 и суммой взвешенных частот 7/5.
- Среднее слитого блока равно (7/5)/4=7/20. Оно меньше последнего значения 3/5, поэтому новая граница допустима.
- Оценки равны (7/20,7/20,3/5). Половина суммы взвешенных квадратов отклонений равна ½[(9/20)²+3(−3/20)²]=27/200.
- Множители равны λ₁=9/20 и λ₂=9/20−9/20=0. Первая граница активна, вторая строга; монотонность, знак и комплементарность выполнены.
Ответ. Единственный оптимум (7/20,7/20,3/5), J=27/200; множители (9/20,0).
Проверка. Независимый перебор всех четырёх разбиений трёх групп на последовательные блоки оставляет допустимые блоковые средние. Минимум среди них совпадает с ответом. Условия KKT дополнительно удостоверяют оптимум среди всех вещественных допустимых векторов, а не только перечисленных разбиений.
Где легко ошибиться. Знак множителей зависит от того, как записано ограничение. При выбранной записи xₖ−xₖ₊₁≤0 нужен накопленный остаток y−x, а не x−y. Отрицательный результат нельзя объявлять допустимым, просто поменяв знак после вычисления.
Взвешенная монотонная калибровка PAVA
1–40 упорядоченных групп. Частоты y от 0 до 1 и строго положительные веса. Порядок групп задан входом; одинаковые исходные scores заранее объедините. Минимизируется ½Σw(x−y)² при x₁≤…≤xₙ. Обучающий оптимум не доказывает качество на новых данных.
Проверьте понимание
Вопросы к этой главе
Что означает нулевой множитель внутри блока равных оценок?
Равенство оценок не требует строго положительного множителя. Комплементарность допускает ноль; два соседних равных блока можно объединить без изменения самого оптимального вектора.
Можно ли задать нулевой вес?
В этом инструменте нет: строго положительные веса обеспечивают строгую выпуклость и понятный сертификат единственности. Нулевые веса требуют отдельного соглашения о выборе среди возможных оптимумов.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- SciPy: isotonic_regression, Notes
Прочитан официальный раздел Notes: взвешенная квадратичная задача, соседние блоки PAVA и их границы. Условия KKT и собственные дробные данные выведены независимо; пример документации не используется.
Моментный свидетель некалиброванности: проверка без широких бинов
Широкая группа может скрыть противоположные ошибки вероятностей. Вместо очередного разбиения проверим знаковый момент остатка с заранее выбранной функцией прогноза. Один ненулевой момент даст и свидетельство некалиброванности, и количественную нижнюю границу её квадратичной величины.
Перед началом: Условные вероятности бинарных классов; Математическое ожидание и показатели классификации.
Калибровка как условное равенство
Пусть бинарный Y∈{0,1}, прогноз P∈[0,1], а q(P)=E(Y|P). Калибровка означает q(P)=P почти наверное. Для любой ограниченной измеримой функции g(P) тогда E[(Y−P)g(P)]=E[(q(P)−P)g(P)]=0 по повторному ожиданию. Это условие относится к вероятностной модели, а не к обязательному совпадению каждой конечной частоты.
Обратно, если момент равен нулю для всех таких g, можно выбрать индикаторы областей знака q(P)−P; интеграл положительной и отрицательной частей вынужденно обнулится. Поэтому все моменты характеризуют калибровку. Один заранее выбранный момент проверяет лишь одно направление: его нуль ещё не удостоверяет всё условное равенство.
Нижний сертификат по неравенству Коши
Обозначим r(P)=q(P)−P и квадратичную ошибку калибровки C=E[r(P)²]. Для функции g с 0<Eg²<∞ момент m=E[(Y−P)g(P)] удовлетворяет m²≤C·Eg². Значит C≥m²/Eg². При g, пропорциональной r, граница достигается, но для свидетельства достаточно любой заранее заданной подходящей функции.
Масштабирование g на ненулевую константу не меняет отношение m²/Eg². Если Eg²=0, функция тождественно нулевая в рассматриваемом законе и информации не даёт. Выбор g после перебора множества шумных выборочных корреляций требует контроля процедуры выбора; нельзя трактовать самый большой случайный момент как заранее подтверждённое популяционное свидетельство.
Почему знаки внутри бина важны
Постоянная g=1 проверяет только общий баланс E(Y−P). Положительная ошибка при малых P может компенсировать отрицательную при больших P. Функция, меняющая знак между этими областями, превращает компенсацию в согласованный сигнал. На конечном носителе полный набор индикаторов отдельных значений P позволяет проверить все соответствующие условные средние.
На данных m оценивают средним наблюдённых вкладов, а затем учитывают его выборочную неопределённость на независимой проверке. Равенство или неравенство конечных средних само по себе не доказывает точную популяционную калибровку. Ниже весь четырёхточечный совместный закон задан точно, поэтому сертификат является математическим свойством модели, а не статистическим выводом из четырёх случайных ответов.
Общий баланс без условной калибровки
Условие. Пусть P принимает 1/4 и 3/4 равновероятно, а Y — независимый честный бит. Возьмите g(P)=2P−1. Найдите m,Eg² и нижний сертификат для C; сравните с объединением прогнозов в один широкий бин.
- В обеих группах q=1/2. Остаточная функция r равна 1/4 при P=1/4 и −1/4 при P=3/4; g соответственно −1/2 и 1/2.
- Произведение r·g постоянно равно −1/8, поэтому m=−1/8. Квадрат g постоянно равен 1/4, значит Eg²=1/4.
- Граница Коши даёт C≥(1/64)/(1/4)=1/16. Прямой расчёт C=(1/2)(1/16+1/16)=1/16 подтверждает достижение границы: r=−g/2.
- Общий средний прогноз равен 1/2, общая вероятность успеха тоже 1/2. Один широкий бин и постоянный свидетель дали бы нулевой момент, скрыв ненулевое C. Знаковая функция обнаружила именно пропущенное направление.
Ответ. m=−1/8,Eg²=1/4,C=1/16; нижний моментный сертификат точен, хотя общая средняя ошибка равна нулю.
Проверка. Все четыре пары (P,Y) имеют массу 1/4. Прямое усреднение (Y−P)g(P) даёт значения 1/8,−3/8,−3/8,1/8 со средним −1/8, независимо подтверждая условное вычисление.
Где легко ошибиться. Ненулевой популяционный момент опровергает калибровку, но нулевой выборочный момент одной функции не доказывает её. Здесь различаются и полнота класса свидетелей, и неопределённость конечного оценивания.
Проверьте понимание
Вопросы к этой главе
Нужно ли строить интервалы прогнозов?
Нет: свидетель может быть гладкой функцией P и не требует бинов. Но его смысл и правило выбора всё равно нужно определить до статистической проверки.
Является ли C полной Brier-потерей?
Нет. C измеряет только расхождение условной частоты и выданной вероятности. Brier дополнительно включает собственную бинарную неопределённость при данном P.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Vaicenavicius et al.: calibration function and reliability
Прочитаны постановка и определения калибровочной функции/тождественной надёжности в §§2–3. Моментный эквивалент, нижняя граница Коши и собственный независимый четырёхточечный закон выведены здесь.
Калибровка классов по отдельности и калибровка полного вектора
Калибровка каждой координаты отдельно слабее калибровки всего вероятностного вектора. Другие координаты могут раскрывать подгруппу, где даже одинаковая вероятность выбранного класса систематически неверна.
Перед началом: Условная вероятность; Точная арифметика.
Условие должно назвать всю информацию
Пусть прогноз P=(P₁,…,P_K) лежит в симплексе, а Y — истинный класс. Полная векторная калибровка требует E[1{Y=k}|P]=P_k для каждого k. Координатная версия использует только E[1{Y=k}|P_k]=P_k. Полная версия влечёт координатную по условному усреднению. Обратный вывод в общем неверен, потому что условие по одному числу объединяет разные векторы, а их ошибки могут компенсироваться.
Контрпример требует согласованных вероятностей
Чтобы показать разницу, удобно начать с нескольких векторов и задать малые возмущения истинных условных масс, сумма которых в каждом векторе равна нулю. Для координатного контроля возмущения должны в среднем сокращаться среди строк с одинаковым P_k. Тогда каждое одномерное калибровочное сравнение проходит, хотя отдельные полные векторы имеют неверный условный закон. Положительность истинных масс и сумма один являются обязательными проверками такого примера.
Практическая проверка ограничена данными
При непрерывных векторах точные повторения редки, поэтому оценивание полной калибровки требует сглаживания, группировки или специальных моментных проверок. Успешная диаграмма по каждой координате не доказывает полную гарантию на всех подгруппах. Также правильность одной наиболее вероятной метки не заменяет проверку всей вероятностной массы. Выбор диагностик должен соответствовать тому, как вероятности затем используются в решении и какие условные группы важны.
Разобранная задача
Условие. Равновероятно выдаются три прогноза: A=(1/2,1/4,1/4), B=(1/4,1/2,1/4), C=(1/4,1/4,1/2). Истинные условные законы равны A+(0,δ,−δ), B+(−δ,0,δ), C+(δ,−δ,0), где δ=1/10. Проверьте две версии калибровки.
- Все истинные массы положительны: меньшая равна 1/4−1/10=3/20. Сумма поправок каждой строки нулевая, поэтому это допустимые законы классов.
- Для класса 1 значение P₁=1/2 встречается только у A и имеет точную истинную массу 1/2. Значение 1/4 встречается у B,C, где поправки −δ и +δ усредняются в ноль.
- Для класса 2 аналогично точная половина у B, а четверти у A,C имеют поправки +δ,−δ. Для класса 3 точная половина у C, четверти у A,B также компенсируются.
- Каждая координата отдельно калибрована. Но при полном векторе A истинная вероятность класса 2 равна 7/20, а прогноз 1/4, поэтому полная калибровка нарушена.
Ответ. Все три координатные проверки проходят, однако каждый полный вектор содержит направленные ошибки между двумя менее вероятными классами.
Проверка. Общая доля каждого класса остаётся 1/3: сумма его трёх прогнозных масс равна единице, а поправки сокращаются. Это дополнительная проверка согласованности, которая тоже не обнаруживает условную векторную ошибку.
Где легко ошибиться. Не делайте обратный вывод из закона полного ожидания. Усреднение полного условного равенства даёт координатное, но усреднение ошибок может скрыть ненулевые различия в более узких группах.
Проверьте понимание
Вопросы к этой главе
Почему нужны как минимум несколько различных прогнозов?
Одно значение полного вектора не оставляет скрытых подгрупп в самом прогнозе. Здесь повторение отдельных координат при разных остальных координатах создаёт пространство для компенсации ошибок.
Исправит ли ситуацию проверка общей доли классов?
Нет. В примере общие доли совпадают идеально, но условный закон при каждом векторе неверен. Общие доли являются ещё более грубой проверкой.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Vaicenavicius et al.: Evaluating Model Calibration in Classification (2019)
Калибровка полного вероятностного вектора в многоклассовой классификации и более слабые её ограничения.
Калибровка перекрывающихся групп: поправка с убыванием квадратичной потери
Поправить среднее одной группы легко, но группы могут пересекаться. Тогда изменение общих объектов разрушает прежнее равенство. Вместо надежды на один проход используют общий потенциал: каждое достаточно большое нарушение допускает поправку, уменьшающую квадратичную потерю на вычислимую величину.
Перед началом: Средний остаток и Brier-потеря; Проекция на интервал и конечный потенциал.
Поправка по одной группе имеет точную цену
Конечная равновесная совокупность из N объектов с известными yᵢ∈[0,1] и прогнозами pᵢ∈[0,1]. Задано конечное семейство групп; проверяется средний остаток каждой группы, а не все условные уровни прогноза внутри неё.
Для группы G положительной массы w=|G|/N обозначим δ=|G|⁻¹Σ_{i∈G}(yᵢ−pᵢ). Без ограничения диапазона заменим pᵢ на pᵢ+δ внутри группы. Раскрытие квадратов даёт L(p)−L(p+δ1_G)=wδ², где L=N⁻¹Σ(yᵢ−pᵢ)². Одновременно средний остаток выбранной группы становится нулевым.
Если сдвинутый прогноз выходит за [0,1], применяют покоординатную проекцию на этот интервал. Поскольку yᵢ лежат внутри него, проекция не увеличивает расстояние до yᵢ. Следовательно уменьшение L не меньше wδ². Но после обрезания средний остаток группы уже не обязан точно обнулиться: равенство относится к необрезанному общему сдвигу.
Перекрытие требует возврата к прежним ограничениям
Если следующая группа H пересекает G, её поправка меняет часть прогнозов внутри G. Ранее нулевой остаток G может стать ненулевым. Поэтому проверяют всё семейство после обновлений, а не отмечают обработанную группу навсегда завершённой. Монотонной величиной является общая потеря L, а не абсолютный остаток каждой отдельной группы.
Пусть все проверяемые группы имеют массу не меньше γ>0 и обновление выполняется лишь при |δ|>ε. Каждое такое действие уменьшает L больше чем γε². Так как 0≤L≤1, число действий конечно и не превосходит безопасной границы floor(L₀/(γε²)). После прекращения поиска нарушений все заданные группы одновременно имеют |δ|≤ε.
Согласование средних слабее полной калибровки
Условия здесь имеют вид E_G(y−p)≈0 для заранее заданных групп. Полная калибровка внутри группы дополнительно требует согласования среди объектов с одинаковыми или близкими текущими p. В литературе различают групповую среднюю точность и multicalibration; один фиксированный набор групповых средних нельзя выдавать за все такие условные требования.
Если y — известные истинные вероятности конечной модели, доказательство относится прямо к этой модели. Если y — наблюдённые бинарные ответы обучающего набора, уменьшение его Brier-потери и остановка являются лишь обучающими свойствами. Перенос на будущую популяцию требует отдельного контроля оценки и адаптивного выбора групп. Потенциал сам по себе не доказывает обобщение.
Два пересекающихся тройных набора
Условие. N=4, y=(1,0,1,0), исходные p=(1/2,1/2,1/2,1/2). Группы G={1,2,3}, H={2,3,4}. Сначала исправьте G, затем H, используя точные средние остатки без обрезания.
- В G средняя метка равна 2/3, средний прогноз 1/2, поэтому δ_G=1/6. После первого шага p=(2/3,2/3,2/3,1/2), остаток G нулевой.
- Начальная потеря равна 1/4. Первое уменьшение равно (3/4)(1/6)²=1/48, поэтому L₁=11/48.
- В H средняя метка 1/3, а средний прогноз (2/3+2/3+1/2)/3=11/18. Следующая поправка δ_H=−5/18.
- После неё p=(2/3,7/18,7/18,2/9). Потеря уменьшается на (3/4)(5/18)²=25/432 и становится L₂=37/216. Все прогнозы остались внутри [0,1].
- Группа H теперь имеет нулевой средний остаток. Но в G средний прогноз равен 13/27 при средней метке 2/3, поэтому новый остаток δ_G=5/27: первый шаг нельзя считать окончательным.
Ответ. Два шага дают p=(2/3,7/18,7/18,2/9), L=37/216. Потеря строго уменьшалась, хотя остаток ранее исправленной G снова стал 5/27.
Проверка. Прямые остатки после второго шага равны (1/3,−7/18,11/18,−2/9). Среднее их квадратов равно [36+49+121+16]/1296=37/216. Сумма остатков по H равна нулю, по G — 5/9, то есть среднее 5/27.
Где легко ошибиться. Не обещайте монотонного улучшения каждой группы и не сохраняйте утверждение о точном обнулении её среднего после покоординатного обрезания.
Проверьте понимание
Вопросы к этой главе
Почему исправление одной группы портит другую?
Общие объекты получают новый сдвиг и меняют средний прогноз ранее обработанной группы. Убывающая общая потеря обеспечивает конечный прогресс, но не независимость групповых ограничений.
Достаточно ли такого алгоритма для полной multicalibration?
Нет. Здесь контролируется только объявленное конечное семейство средних. Для условной калибровки по текущим уровням p нужны дополнительные подгруппы, обновление их определений и отдельный анализ обобщения.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Hébert-Johnson, Kim, Reingold, Rothblum: Multicalibration, Algorithm1
Различает групповое среднее согласование и условную калибровку по значениям прогноза; использует групповые сдвиги с проекцией. Здесь доказан более узкий конечный вариант для заданных групп с явным квадратичным потенциалом и без утверждения будущей калибровки.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как квадраты вероятностных ошибок оценивают прогнозы
Как средняя квадратичная ошибка вероятностей различает прогнозы с одинаковыми жёсткими метками, почему честная вероятность оптимальна в ожидании и как не смешать шкалы вариантов формулы.
Открыть темуКак изменение порога строит ROC-кривую
Как последовательно понижать порог оценок и строить точки ROC, правильно выбирать знаменатели FPR и TPR и обрабатывать одинаковые оценки одной группой.
Открыть тему