Вероятность и статистика · объяснение и практика
Как одна таблица ошибок даёт разные знаменатели качества
Как из одной таблицы ошибок получить общую долю верных решений, точность положительных ответов, полноту и специфичность, не переставив фактические и предсказанные классы.

В теме Таблицы категорий и качество классификации · Учебная карта
В маршруте Качество классификации без автоматических вердиктов · 10 тем
Главная мысль
Accuracy делит все верные решения на N, precision — TP на TP+FP, recall — TP на TP+FN, specificity — TN на TN+FP. Разные знаменатели отвечают на разные вопросы.
Сначала задаём смысл четырёх клеток
Положительным назовём заданный интересующий класс, например письмо, требующее сортировки в отдельную папку. TP — верно названные положительные объекты, FP — ложные положительные, FN — пропущенные положительные, TN — верно названные отрицательные. Здесь буква true относится к правильности ответа, а positive — к выбранному классу, не к общему качеству объекта.
Всего N=TP+FP+FN+TN. Доля всех правильных ответов accuracy равна (TP+TN)/N. Но она не сообщает отдельно, сколько важных положительных объектов пропущено или сколько ложных тревог создано. При редком положительном классе даже правило «всегда отрицательно» может иметь большую общую долю совпадений.
Меняем знаменатель вместе с вопросом
Precision=TP/(TP+FP) спрашивает, какая доля положительных ответов действительно верна. Recall=TP/(TP+FN) спрашивает, какая доля всех фактических положительных найдена. Specificity=TN/(TN+FP) оценивает верное отклонение отрицательных объектов. Поэтому один и тот же TP может участвовать в двух разных дробях без противоречия.
Пусть TP=18,FP=6,FN=12,TN=64. Тогда N=100, accuracy=0,82, precision=18/24=0,75, recall=18/30=0,6, specificity=64/70=32/35. Высокая общая точность не отменила пропуск сорока процентов фактического положительного класса. Каждое число нужно читать вместе с его знаменателем.
Пример
Чему равен F1 для этой таблицы?
Гармоническое среднее precision и recall равно 2TP/(2TP+FP+FN)=36/54=2/3. Оно использует баланс двух положительных метрик, но не включает TN напрямую.
Пустые знаменатели требуют явного соглашения
Если модель не дала ни одного положительного ответа, TP+FP=0 и обычная precision не определена. Если в проверке нет фактических положительных, аналогичная проблема возникает у recall. Подстановка нуля или единицы может быть программным соглашением, но его нельзя выдавать за результат обычного деления или универсальное доказательство качества.
Выбор метрики зависит от задачи, а не от желания получить наибольшее число. Для одной и той же таблицы разные ошибки могут иметь разные последствия. Но никакая метрика сама не выбирает эти последствия за пользователя. Сравнивать модели нужно на сопоставимых проверочных данных, с одинаковым положительным классом и одинаковым правилом обработки неопределённых случаев.
От чтения к действию
А теперь — вы
Частые вопросы
Почему precision не равна recall?
Они делят TP на разные множества: все положительные ответы модели и все фактические положительные объекты.
Учитывает ли F1 верные отрицательные ответы напрямую?
Нет. В формуле через клетки присутствуют TP,FP,FN; поэтому F1 нельзя считать полным описанием всех четырёх типов решений.
Углублённый разбор
Многоклассовый коэффициент Мэтьюса: корреляция центрированных one-hot
Многоклассовый коэффициент Мэтьюса сравнивает совпадение меток с их маргинальными распределениями. Он использует всю матрицу ошибок и сохраняет смысл совпадающих названий классов.
Перед началом: Матрица ошибок и условные частоты классов; Пороговый рейтинг и вероятностный прогноз.
Определение и постановка
Пусть s — общее число объектов, c — сумма диагонали, tₖ — фактические численности классов, pₖ — предсказанные. Тогда MCC=(cs−Σpₖtₖ)/√[(s²−Σpₖ²)(s²−Σtₖ²)].
Вывод и вычислительный критерий
Формула получается из корреляции центрированных векторов one-hot. Для каждого объекта истинная и предсказанная метки представлены единичными координатными векторами. Их скалярное произведение равно единице именно при совпадении меток.
После вычитания средних суммарное перекрёстное произведение равно c−Σpₖtₖ/s. Нормы двух центрированных наборов равны квадратным корням s−Σpₖ²/s и s−Σtₖ²/s. Умножение числителя и знаменателя на s даёт записанную форму.
В бинарной задаче выражение сокращается к детерминантной формуле(TP·TN−FP·FN)/√[(TP+FP)(TP+FN)(TN+FP)(TN+FN)]. В многоклассовом случае это не среднее отдельных бинарных MCC, а один общий нормированный функционал.
Условия и границы вывода
Если все предсказания принадлежат одному классу, один центрированный набор имеет нулевую норму и математическая корреляция не определена. Некоторые программы возвращают условный ноль; такое соглашение нужно отличать от деления по формуле.
Одновременная перестановка названий истинных и предсказанных классов сохраняет показатель. Перестановка только предсказанных названий меняет смысл диагонали и результат: в задаче качества классификации соответствие меток существенно.
MCC не заменяет анализ ошибок конкретного редкого класса. Положительное суммарное значение не гарантирует приемлемую полноту всех категорий и не сообщает причин возникновения ошибок. Для сравнения моделей нужны одинаковые проверочные объекты и согласованный набор классов.
Для того же набора отдельных полей точная независимость предсказанной и истинной меток дала бы ожидаемую диагональную сумму17/7. Наблюдаемая сумма4 превышает этот уровень на11/7. Именно такой центрированный избыток совпадений стоит в геометрическом числителе, а не сама доля4/7.
Если истинная либо предсказанная метка всегда одна и та же, один центрированный one-hot векторный ряд имеет нулевую энергию. Формула корреляции получает нулевой знаменатель. Любое программное соглашение о возвращаемом числе в этой ситуации должно быть объявлено отдельно; оно не создаёт наблюдаемого разнообразия классов.
Разобранная задача
Условие. Матрица ошибок по трём классам равна((2,1,0),(0,1,1),(1,0,1)); строки истинные, столбцы предсказанные. Найдите MCC.
- Общий объём s=7, число совпадений c=4. Строковые и столбцовые итоги одинаковы:(3,2,2).
- Сумма произведений полей равна3²+2²+2²=17.
- Числитель равен4·7−17=11. Оба множителя под корнем равны49−17=32.
- Знаменатель равен32, поэтому MCC=11/32.
Ответ. Многоклассовый MCC равен11/32, тогда как обычная accuracy равна4/7.
Проверка. Центрированное перекрёстное произведение one-hot равно4−17/7=11/7, а произведение норм32/7. Их отношение независимо возвращает11/32.
Где легко ошибиться. В многоклассовой задаче нельзя механически усреднить бинарные коэффициенты и назвать результат тем же общим MCC.
Проверьте понимание
Вопросы к этой главе
Почему учитываются поля?
Они задают совпадение, возникающее уже из неравных частот меток. Центрирование вычитает этот маргинальный компонент перед нормировкой.
Равен ли MCC величине ассоциации номинальных признаков?
Он использует смысл диагонального совпадения истинного и предсказанного класса. Простая номинальная ассоциация допускает отдельное переименование категорий, поэтому отвечает другому вопросу.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- scikit-learn: classification metrics
Целенаправленно прочитаны определения balanced accuracy, многоклассового MCC, macro-усреднения, Jaccard и ROC. Порог с учётом априорной частоты, центрированные one-hot векторы и контрпримеры агрегации выведены самостоятельно.
Сбалансированная точность: целевой закон классов и порог вероятности
Сбалансированная точность соответствует равному целевому весу классов. Для откалиброванной индивидуальной вероятности её оптимальный порог может отличаться от половины.
Перед началом: Матрица ошибок и условные частоты классов; Пороговый рейтинг и вероятностный прогноз.
Определение и постановка
В бинарной задаче BA=(TPR+TNR)/2. Ошибка1−BA равна половине суммы условных вероятностей пропуска положительного и ложного положительного.
Вывод и вычислительный критерий
Обычная accuracy усредняет ошибки с фактическими долями классовπ и1−π. BA заменяет эти доли одинаковыми весами, сохраняя условные законы наблюдений внутри каждого класса. Поэтому тиражирование отрицательных объектов при прежних условных частотах ошибок не меняет BA.
Пустьη(x)=P(Y=1|X=x) откалибрована при фактической долеπ. Для сбалансированного риска локальная цена ответа0 пропорциональнаη/π, а ответа1 —(1−η)/(1−π). Выбор1 выгоднее приη>π. При равенстве допускается ничья.
Это порог для конкретной цели равного веса двух классов. При минимизации обычной доли ошибок с одинаковой ценой каждого объекта используетсяη>1/2. Несовпадение правил не означает, что одна и та же вероятность одновременно откалибрована и неверна: изменился оптимизируемый риск.
Условия и границы вывода
Требуется присутствие обоих истинных классов, чтобы оценить обе условные доли. Подстановка условного значения за отсутствующий класс меняет метрику и не создаёт новых сведений о нём.
Порогη>π имеет заявленный смысл только для верной posterior вероятности в той же среде. Числовой рейтинг без калибровки нельзя автоматически сравнивать сπ. Если доля класса меняется, перенос вероятностей требует дополнительных предпосылок об условных законах.
Равный вес классов не является универсально правильной практической ценой ошибок. В конкретной задаче последствия пропуска и ложного сигнала могут различаться; тогда нужно явно выбрать другой риск, а не выдавать BA за автоматический окончательный ответ.
Перевзвешивание к равной доле классов можно представить как искусственную целевую смесь с неизменными законами X|Y. Риск в ней пропорционален локальным сравнениям η/π и(1−η)/(1−π). Это объясняет, почему нужный порог использует исходную долю π, хотя сама целевая смесь задаёт обоим классам массу половина.
Разобранная задача
Условие. На проверке TP=1,FN=1,TN=4,FP=2. Найдите BA. В среде сπ=1/4 новый объект имеет откалиброваннуюη=2/5: какое решение минимизирует сбалансированный риск?
- Полнота положительного класса равна1/2, специфичность равна4/6=2/3.
- BA=(1/2+2/3)/2=7/12. Фактическая доля положительных в таблице равна2/8=1/4.
- Для нового объектаη=2/5>1/4, поэтому выбираем положительную метку.
- Локальные масштабированные потери равныη/π=8/5 при ответе0 и(1−η)/(1−π)=4/5 при ответе1.
Ответ. BA=7/12; для нового объекта сбалансированный риск предпочитает ответ1, хотяη<1/2.
Проверка. Прямое сравнение двух локальных потерь4/5<8/5 подтверждает порог без обращения к самой метрике. Обычная accuracy с равной ценой ошибок предпочла бы ответ0.
Где легко ошибиться. Порог половина относится к обычному невзвешенному риску и не переносится автоматически на цель равного веса классов.
Проверьте понимание
Вопросы к этой главе
Что даст копирование отрицательной части проверки?
TPR иTNR сохранятся, поэтому BA не изменится. Общая accuracy может измениться, потому что фактическая доля отрицательных объектов вырастет.
Можно ли выбрать порогπ для любого рейтинга?
Нет. Он получен для откалиброваннойη. Строго возрастающее преобразование рейтинга сохраняет порядок, но обычно меняет правильное численное положение порога.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- scikit-learn: classification metrics
Целенаправленно прочитаны определения balanced accuracy, многоклассового MCC, macro-усреднения, Jaccard и ROC. Порог с учётом априорной частоты, центрированные one-hot векторы и контрпримеры агрегации выведены самостоятельно.
Классификация с отказом: риск среди принятых и доля покрытия
Отказ от классификации создаёт третье действие, у которого есть цена. Точность среди оставшихся ответов тогда нужно сообщать вместе с покрытием. При известной условной вероятности класса оптимальный отказ находится сравнением трёх локальных рисков.
Перед началом: Условные вероятности бинарных классов; Математическое ожидание и показатели классификации.
Три действия вместо одного порога
Пусть η(x)=P(Y=1|x) известна в модели. Верный ответ имеет потерю ноль, ошибка — один, отказ — фиксированную цену c∈(0,1/2). Условный риск ответа ноль равен η, ответа один — 1−η, отказа — c. Минимизация выполняется отдельно при каждом x, потому что итоговая ожидаемая потеря является средним этих условных рисков.
Следовательно, ответ ноль оптимален при η<c, ответ один при η>1−c, а между границами выгоднее отказаться. На равенствах несколько действий имеют одинаковую цену; правило обработки ничьих нужно объявить. Произвольный скор, лишь сохраняющий порядок объектов, не заменяет η в таком численном сравнении рисков.
Покрытие меняет знаменатель ошибки
Пусть A — событие принятого ответа. Покрытие равно P(A), селективный риск при положительном покрытии — P(ошибка|A). Полная ожидаемая потеря равна P(A)·P(ошибка|A)+c·P(отказа). Одна низкая условная ошибка ничего не сообщает о цене многочисленных отказов без знания покрытия.
При нулевом покрытии условная ошибка среди принятых не определена, хотя полная потеря равна c. Поэтому нельзя записать её как наблюдённый нулевой риск и объявить идеальным классификатором. Кривая риск—покрытие описывает компромисс, но выбор рабочей точки требует цены отказа или другого явно заданного ограничения.
Вероятностные предпосылки важнее уверенного скора
Правило по η использует настоящую условную вероятность. Если численные оценки плохо откалиброваны или меняется среда, решение по тем же границам может потерять оптимальность. Настраивать отказ и проверять селективный риск на одних данных без контроля также означает оценивать уже выбранную по ответам процедуру.
Разные стоимости ошибок классов или зависимая от объекта цена отказа меняют три локальные функции риска. Тогда симметричный промежуток [c,1−c] не сохраняется автоматически. Сравнивать нужно исходные функции потерь в одной среде, а не только доли правильных ответов после разных правил фильтрации.
Три типа объектов и цена отказа
Условие. Три типа объектов имеют массы (1/2,1/4,1/4) и условные вероятности положительного класса (1/10,2/5,9/10). Цена отказа c=1/5. Найдите оптимальную политику, покрытие, риск среди принятых и полную потерю.
- Для первого типа риски действий 0,1,отказ равны 1/10,9/10,1/5: выбираем ноль. Для второго — 2/5,3/5,1/5: отказываемся.
- Для третьего типа риски 9/10,1/10,1/5: выбираем один. Приняты первый и третий типы, их общая масса равна 3/4.
- Масса ошибок среди всей популяции равна (1/2)(1/10)+(1/4)(1/10)=3/40. Деление на покрытие 3/4 даёт селективный риск 1/10.
- Цена отказов равна (1/4)(1/5)=1/20, полная потеря — 3/40+1/20=1/8. Без отказов байесовская классификация имела бы потерю 7/40, а постоянный отказ — 1/5.
Ответ. Политика (0,отказ,1) имеет покрытие 3/4, селективный риск 1/10 и минимальную полную потерю 1/8.
Проверка. Можно перебрать все 3³=27 детерминированных политик. Положительные массы типов и строгие локальные минимумы делают указанную политику единственным глобальным минимумом; случайные смеси не улучшают минимум линейной потери.
Где легко ошибиться. Сравнивать селективные 1/10 напрямую с полной потерей без отказов 7/40 неверно: у них разные знаменатели и состав затрат. Для решения по цене c сопоставляют полные потери всех политик.
Проверьте понимание
Вопросы к этой главе
Зачем платить за отказ, если он не ошибается?
Отказ оставляет задачу нерешённой и может требовать ручной обработки. Фиксированная цена в модели явно выражает этот расход; её величина определяет допустимый компромисс.
Можно ли улучшить риск просто отказом от всех?
Условный риск среди принятых тогда вообще не определён. Полная потеря становится c; в данном примере 1/5 хуже оптимальных 1/8, несмотря на отсутствие классификационных ошибок.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- C. K. Chow: optimum recognition error and reject tradeoff
Прочитан официальный первичный авторский abstract IBM об оптимальном правиле отказа и error/reject tradeoff; полный текст статьи не заявлен прочитанным. Правило трёх рисков и собственная 27-политик модель выведены и проверены независимо.
Ошибки эталонной разметки: обращение шумового канала
Таблица качества зависит от того, насколько надёжен эталон. При известной ошибке разметчика можно обратить бинарный шумовой канал, но такая поправка требует условной независимости и допустимого результата.
Перед началом: Условная вероятность; Точная арифметика.
Разметка является измерением скрытой истины
Пусть Y — истинный бинарный класс, L — наблюдённая метка, A — ответ классификатора. Заданы чувствительность s=P(L=1|Y=1) и ложноположительная вероятность f=P(L=1|Y=0). Предполагаем, что ошибка разметчика при данном Y не зависит от A. Тогда внутри любой группы A=a доля меток ℓa=f+(s−f)πa, где πa=P(Y=1|A=a). Условная независимость существенна: если разметчик чаще ошибается именно на ошибках модели, одна общая матрица канала недостаточна.
Обращение имеет проверяемую область
При s≠f получаем πa=(ℓa−f)/(s−f). Для полезного направления s>f допустимые ℓa лежат между f и s. Выход за этот интервал в оценённых данных не надо молча обрезать: он может отражать выборочный шум, неверные параметры канала или нарушение условной независимости. При s=f метка не различает истинные классы, и обращение не определяет πa. Даже близость s и f делает поправку неустойчивой, усиливая погрешности исходных долей.
Восстановление таблицы требует размеров групп
Умножив πa на долю ответов A=a, получим совместные истинные массы. Из них можно вычислить precision, sensitivity и другие показатели относительно предполагаемой истины. Это условная модельная реконструкция, а не проверенная новая разметка каждого объекта. Неопределённость s и f, оценённых на внешней проверке, должна учитываться отдельно. Отсутствие данных по некоторой группе A также нельзя заменить нулевым истинным риском.
Разобранная задача
Условие. Ответ A равновероятно равен 0 или 1. Наблюдаемая доля L=1 среди A=1 равна 7/10, среди A=0 — 3/10. Разметчик имеет s=4/5,f=1/5 и указанную условную независимость. Восстановите истинный precision модели и её accuracy.
- Разность s−f равна 3/5. Для A=1 истинная доля положительных равна (7/10−1/5)/(3/5)=5/6.
- Для A=0 истинная положительная доля равна (3/10−1/5)/(3/5)=1/6. Обе реконструкции лежат в допустимом интервале [0,1].
- Совместные массы правильных ответов равны P(A=1,Y=1)=(1/2)(5/6)=5/12 и P(A=0,Y=0)=(1/2)(5/6)=5/12.
- Истинный precision равен 5/6. Истинная accuracy равна 5/12+5/12=5/6, тогда как наблюдаемое согласие с L составляет 7/10.
Ответ. При заданном канале precision и accuracy относительно скрытой истины равны 5/6. Согласие с ошибочной меткой 7/10 является другой величиной.
Проверка. Прямое пропускание восстановленной группы A=1 через канал даёт (5/6)(4/5)+(1/6)(1/5)=7/10. Для A=0 получается 3/10, подтверждая обе наблюдённые доли без повторного обращения.
Где легко ошибиться. Нельзя применять одну поправку, если ошибки эталона зависят от ответа модели после условия на Y. В этом случае видимая таблица не описывается указанным двухпараметрическим каналом.
Проверьте понимание
Вопросы к этой главе
Почему при s=f истина не идентифицируется?
Тогда ℓa=f независимо от πa. Разные истинные доли дают одинаковую наблюдаемую метку, и деление на s−f невозможно.
Можно ли исправить ответы отдельных объектов?
Таблица восстанавливает модельные массы групп. Она не сообщает, какая конкретная метка была ошибочной, и не заменяет повторную экспертную проверку.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Natarajan, Dhillon, Ravikumar, Tewari: Learning with Noisy Labels (2013)
Модель ошибок бинарных меток с вероятностями шума, зависящими от истинного класса.
Согласие экспертов: каппа и зависимость от распространённости
Одинаковая доля совпадений экспертов может давать разную каппу. Поправка использует ожидаемое согласие по произведению их предельных долей и потому чувствительна к распространённости меток.
Перед началом: Условная вероятность; Точная арифметика.
Совпадение и случайный эталон задаются отдельно
Для двух бинарных разметчиков наблюдаемое согласие po равно доле диагональных клеток их совместной таблицы. Если предельные доли положительной метки равны pA,pB, условный независимый эталон согласия pe=pApB+(1−pA)(1−pB). Каппа Коэна κ=(po−pe)/(1−pe) при pe<1. Эталон не утверждает, что реальные эксперты независимы: он является частью определения поправки. При вырожденном pe=1 знаменатель нулевой и показатель не определён.
Редкая метка повышает эталонное совпадение
Когда оба эксперта почти всегда выбирают отрицательную метку, произведение их отрицательных долей близко к единице. Большое наблюдаемое согласие тогда может мало превышать pe и давать небольшую κ. Это не арифметическое противоречие. Сравнение капп между наборами с разным составом объектов требует анализа полей и таблицы, а не только итоговых чисел. Показатель также не сообщает, кто из экспертов прав: без внешнего эталона измеряется согласованность, не точность истины.
Храните исходную таблицу
По одной κ нельзя восстановить направления несогласия и частоту класса. Поэтому полезно показывать po,pe и обе предельные доли вместе. Большой дисбаланс несогласных клеток указывает на разную склонность экспертов назначать положительную метку и может требовать отдельной парной проверки. Ниже обе схемы симметричны по экспертам, чтобы изолировать именно эффект распространённости. Выборочные интервалы для κ и зависимость повторных разметок здесь не рассматриваются.
Разобранная задача
Условие. В ста объектах таблица «оба положительно, только A, только B, оба отрицательно» равна сначала (45,5,5,45), затем (1,5,5,89). Найдите согласие и каппу двух наборов.
- В обоих наборах диагональная сумма равна девяноста, поэтому po=9/10. Количество несогласных объектов также одинаково — десять.
- В первом наборе обе положительные доли равны половине, pe=1/2. Каппа равна (0,9−0,5)/(1−0,5)=4/5.
- Во втором обе положительные доли равны 6/100=3/50. Эталон pe=(3/50)²+(47/50)²=1109/1250=0,8872.
- Каппа второго набора равна [(1125−1109)/1250]/[141/1250]=16/141, приблизительно 0,1135.
Ответ. Наблюдаемое согласие одинаково 90%, но κ меняется с 0,8 до примерно 0,1135 из-за предельных долей.
Проверка. Во втором наборе превышение реального согласия над эталоном равно 0,0128, оставшийся максимум превышения — 0,1128. Их отношение 0,0128/0,1128=16/141 независимо подтверждает нормировку.
Где легко ошибиться. Не делайте вывод, что второй набор имеет меньше фактических совпадений: их число одинаково. Каппа меняет базу сравнения через распространённость меток, а не пересчитывает диагональные объекты.
Проверьте понимание
Вопросы к этой главе
Доказывает ли κ=0 отсутствие всякой зависимости?
В двоичной таблице при pₑ<1 равенство κ=0 эквивалентно независимости двух разметок: pₒ−pₑ=2(ad−bc) для нормированных клеток a,b,c,d. Для большего числа категорий одно равенство согласий не гарантирует факторизации всей таблицы. Даже двоичная безусловная независимость не утверждает независимости в каждой подгруппе или правильности относительно истинного класса.
Почему κ не является accuracy?
Для accuracy нужен эталон истинного класса. В таблице двух экспертов ни один автоматически не объявлен истинным, поэтому согласие не определяет правильность.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- statsmodels: cohens_kappa
Таблица двух экспертов и каппа Коэна с поправкой на ожидаемое согласие по предельным долям.
Общий баланс ошибок: оптимальное рандомизированное согласование двух классификаторов
Для согласования условных ошибок недостаточно выбрать удобную точку на одной ROC-кривой. Итоговая пара частот должна быть достижима отдельно в каждой группе. Пересечение двух областей рандомизации задаёт ограничения, а линейная цель позволяет доказать глобальный минимум и выписать исполнимые вероятности изменения ответов.
Перед началом: ROC-координаты и выпуклые смеси; Бинарное случайное преобразование и линейные ограничения.
Рандомизация использует сигнал, но не скрытый исход
Два бинарных исходных сигнала S с известными групповыми TPR/FPR. Новый ответ может зависеть только от наблюдаемых S и группы; рандомизация независима от истинного Y при этих условиях. Цель — равные TPR/FPR и минимальная сбалансированная ошибка.
В группе g зададим u_g=P(Ŷ=1|S=0,g), v_g=P(Ŷ=1|S=1,g), обе величины в [0,1]. Если исходные частоты равны f_g=P(S=1|Y=0,g), t_g=P(S=1|Y=1,g), итоговые частоты имеют вид f=u_g+(v_g−u_g)f_g и t=u_g+(v_g−u_g)t_g. Один и тот же монетный механизм применяется независимо от неизвестного Y.
Квадрат допустимых пар (u,v) линейно отображается в параллелограмм с вершинами (0,0),(f_g,t_g),(1−f_g,1−t_g),(1,1). Это вся достижимая область преобразования данного бинарного сигнала. Вершины соответствуют постоянному нулю, сохранению сигнала, его перевороту и постоянной единице. Допустимость конкретной ROC-точки можно проверить обратным решением по u,v.
Общие ошибки требуют пересечения двух областей
Равные TPR и FPR означают одну и ту же пару (f,t) в обеих группах. Поэтому выбирают точку пересечения их параллелограммов; находиться внутри одной области недостаточно. Сбалансированная ошибка равна [(1−t)+f]/2, так что минимизация эквивалентна максимизации вертикального отрыва t−f от диагонали.
Если известны иные цены пропуска и ложной тревоги или иной целевой закон классов, коэффициенты линейной цели меняются. Достижимая общая область остаётся той же, но её оптимальная точка может стать другой. Равенство условных ошибок также не гарантирует равного PPV при разных базовых долях: это отдельное требование с другим знаменателем.
Глобальный сертификат сильнее проверки нескольких правил
Чтобы удостоверить оптимум, можно вывести поддерживающие линейные ограничения каждой области и ограничить t−f на всём их пересечении. Такой сертификат исключает все допустимые случайные преобразования, а не только несколько явно перебранных порогов. После нахождения точки нужно восстановить u_g,v_g и проверить диапазон [0,1]; геометрическая точка без исполнимых вероятностей ещё не завершает решение.
Здесь частоты объявлены известными параметрами конечной модели. При оценённых частотах требуется независимая проверка и учёт неопределённости. Результат описывает конкретное математическое согласование ошибок; он не объявляет его универсально предпочтительным правилом принятия решений и не исправляет неверный эталон Y.
Два параллелограмма и единственная лучшая общая точка
Условие. Исходные ROC-координаты равны A:(f_A,t_A)=(1/10,4/5), B:(1/5,9/10). Найдите общий минимум сбалансированной ошибки среди всех допустимых групповых преобразований (u,v).
- Для области A верхнее правое ребро даёт t≤7/9+2f/9. Для B верхнее левое ребро даёт t≤9f/2. Оба неравенства действуют на всех соответствующих параллелограммах.
- Прямые встречаются при 7/9+2f/9=9f/2. Получаем f=2/11,t=9/11 и отрыв t−f=7/11.
- Если f≤2/11, второе ограничение даёт t−f≤7f/2≤7/11. Если f≥2/11, первое даёт t−f≤7(1−f)/9≤7/11. Равенство возможно только в найденной точке, что доказывает глобальный максимум отрыва.
- В A берём u_A=1/11,v_A=1: отрицательный исходный сигнал иногда переводится в единицу, положительный сохраняется. Подстановка даёт f=1/11+(10/11)(1/10)=2/11 и t=1/11+(10/11)(4/5)=9/11.
- В B берём u_B=0,v_B=10/11: часть положительных сигналов случайно отбрасывается. Получаем f=(10/11)(1/5)=2/11,t=(10/11)(9/10)=9/11. Сбалансированная ошибка равна (1−7/11)/2=2/11.
Ответ. Единственная оптимальная общая ROC-точка (2/11,9/11). Её реализуют A:(u,v)=(1/11,1), B:(0,10/11); минимальная сбалансированная ошибка 2/11.
Проверка. Обратные формулы A:u=(8f−t)/7,v=(−2f+9t)/7 и B:u=(9f−2t)/7,v=(−f+8t)/7 возвращают указанные допустимые вероятности. Здесь FPR=FNR=2/11, поэтому обычная ошибка π·FNR+(1−π)·FPR также равна 2/11 при любой π; для иных цен ошибок это равенство цели не утверждается.
Где легко ошибиться. Нельзя согласовать группы, просто назначив им одну понравившуюся ROC-точку: нужно доказать её достижимость в каждой группе преобразованием, не использующим истинный исход.
Проверьте понимание
Вопросы к этой главе
Почему рандомизация ухудшает отдельные исходные ответы?
У каждой группы исходная точка своя, поэтому сохранить оба сигнала без изменений и одновременно получить общие частоты невозможно. Оптимум минимизирует объявленную потерю среди общих достижимых точек.
Почему нельзя переворачивать только заведомо ошибочные ответы?
Для нового объекта истинная ошибка ещё неизвестна. Разрешённое правило использует только наблюдаемый сигнал и группу; подсматривание Y вышло бы за пределы достижимого параллелограмма.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Hardt, Price, Srebro: Equality of Opportunity in Supervised Learning, §4
Характеризует все преобразования бинарного сигнала через выпуклую оболочку четырёх ROC-точек и равенство групповых частот. Здесь две самостоятельно заданные области решены точным пересечением рёбер, глобальным сертификатом и обратными вероятностями исполнения.
Выбрать порог отказа по данным: одновременные границы вместо лучшей видимой ошибки
Порог с наименьшей видимой ошибкой выбран по тем же данным, на которых его оценивают. Отдельная граница для заранее выбранного порога не защищает такую процедуру выбора. Конечная сетка позволяет построить все границы одновременно, а затем выбирать среди прошедших контроль риска.
Перед началом: Условный биномиальный закон и односторонняя граница доли; Неравенство объединения и селективный риск.
Число принятых случайно, но условный закон известен
Фиксированные обученный классификатор, score и конечная сетка K порогов заданы до независимой iid-проверки. Ошибка бинарна, целевой условный риск среди принятых не выше r₀; общий уровень неудачи δ.
Для порога j обозначим nⱼ число принятых проверочных объектов и kⱼ число ошибок среди них. При фиксированном правиле отбора и iid-данных условно на nⱼ ошибки имеют Bin(nⱼ,rⱼ)-закон, где rⱼ — истинная ошибка при условии принятия. Случайное количество принятых не разрешает подменять знаменатель общим размером проверки.
Для nⱼ>0 строим одностороннюю точную верхнюю границу Uⱼ с вероятностью неудачи δ/K. При kⱼ<nⱼ она решает Σₗ₌₀ᵏ C(nⱼ,l)Uⱼˡ(1−Uⱼ)ⁿ⁻ˡ=δ/K; при всех ошибках Uⱼ=1. Если принято ноль объектов, условная ошибка не наблюдается: назначаем Uⱼ=1 для отбора и объявляем порог непрошедшим содержательную проверку.
Одновременность разрешает последующий выбор
У каждого фиксированного порога вероятность rⱼ>Uⱼ не больше δ/K после усреднения по случайному nⱼ. Объединение K событий даёт P(для всех j: rⱼ≤Uⱼ)≥1−δ. Независимости между порогами не требуется: их принятые подмножества могут быть вложенными и использовать одни и те же наблюдения.
Среди порогов с nⱼ>0 и Uⱼ≤r₀ можно выбрать максимальное эмпирическое покрытие nⱼ/N. На общем событии ни один такой выбор не нарушает целевой риск. Если подходящих порогов нет, результат процедуры — отсутствие сертифицированного рабочего порога. Обещание найти хотя бы один порог этим доказательством не даётся.
Что именно защищает проверка
Одновременная граница относится к фиксированной до проверки сетке и модели. Добавление новых порогов после просмотра ошибок или подгонка самого score на этих ответах меняет семейство процедур. Поправка K должна отражать реальный заранее объявленный поиск; одна выбранная постфактум граница не заменяет её.
Максимизируется наблюдённое покрытие среди сертифицированных кандидатов, а не доказанное наилучшее популяционное покрытие. Неравенство риска имеет частотный смысл по повторным независимым проверкам. Оно не является posterior-вероятностью правильности конкретного объекта и не сохраняется автоматически при изменении распределения данных.
Три заранее заданных порога
Условие. На независимой проверке N=100 заданы пороги score 9/10,7/10,1/2. Они приняли соответственно 20,50,100 объектов и допустили 0,0,5 ошибок. K=3,δ=1/20, целевой риск r₀=1/10. Выберите порог с максимальным эмпирическим покрытием после одновременного контроля.
- На один порог выделяется δ/K=1/60. Для нуля ошибок биномиальное уравнение упрощается до (1−U)ⁿ=1/60, то есть U=1−(1/60)¹⁄ⁿ.
- Для 20 принятых U≈0,185122>0,1. Отсутствие видимых ошибок в маленьком наборе ещё не сертифицирует требуемый риск.
- Для 50 принятых U≈0,0786238<0,1, поэтому средний порог проходит. Эмпирическое покрытие равно 50/100=1/2.
- Для 100 принятых с пятью ошибками при U=0,1 биномиальный нижний хвост до пяти равен примерно 0,05758, что больше 1/60. Он убывает по U, значит корень U строго больше 0,1 и широкий порог не проходит.
- Единственный прошедший кандидат — score≥7/10. Выбираем его. Все три решения использовали общий контроль; сравнение только наблюдённых долей 0,0,0,05 ошибочно разрешило бы принять всех.
Ответ. Выбирается порог 7/10 с эмпирическим покрытием 1/2 и верхней границей риска около 0,078624. Два остальных кандидата не сертифицированы для r₀=0,1.
Проверка. Для нулевых ошибок подстановка вычисленного U обратно в (1−U)⁵⁰ даёт 1/60. Для широкого порога достаточно точного конечного хвоста Bin(100,1/10): его сравнение с 1/60 определяет сторону корня без приближения χ² или нормального закона.
Где легко ошибиться. Нулевая наблюдённая ошибка не является нулевым риском, а точная граница одного заранее выбранного порога не защищает выбор лучшего из многих по тем же ответам.
Проверьте понимание
Вопросы к этой главе
Почему зависимость порогов не мешает поправке?
Неравенство объединения ограничивает вероятность хотя бы одной неудачи без предположения независимости. Вложенность принятых наборов меняет совместный закон, но не эту верхнюю границу.
Что делать, если ни один порог не прошёл?
Не объявлять риск подтверждённым. Процедура возвращает отсутствие сертифицированного кандидата; дополнительные независимые данные или новая заранее спланированная проверка решают другую задачу.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Geifman, El-Yaniv: Selective Classification for Deep Neural Networks, §3
Определяет риск среди принятых и биномиальную верхнюю границу с одновременным контролем. Здесь используется явно фиксированная до проверки конечная сетка, для которой условный биномиальный закон и поправка объединения доказаны непосредственно; адаптивный бинарный поиск статьи не переносится автоматически.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как изменение порога строит ROC-кривую
Как последовательно понижать порог оценок и строить точки ROC, правильно выбирать знаменатели FPR и TPR и обрабатывать одинаковые оценки одной группой.
Открыть темуКак объединение классов меняет итоговую метрику
Как усреднение по классам отличается от объединения всех ошибок, почему редкий класс может исчезнуть в общем числе и отчего средний F1 не равен F1 средних величин.
Открыть тему