Вероятность и статистика · объяснение и практика

Почему несколько определений равенства ошибок могут конфликтовать

Почему равенство двух условных частот ошибок в группах может не дать равенства точности положительных ответов и какие исключения ограничивают этот математический вывод.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Условные вероятности и зависимости · Учебная карта

В маршруте Качество классификации без автоматических вердиктов · 10 тем

Главная мысль

При разных базовых долях π одинаковые положительные TPR=t и FPR=f обычно дают разную precision: πt/(πt+(1−π)f). Поэтому выбранные определения равенства качества могут конфликтовать.

Сравниваем явно названные величины

Пусть в двух условных потоках объектов положительный класс встречается с разными долями. Можно потребовать одинаковую полноту TPR и одинаковую частоту ложных тревог FPR. Можно вместо этого сравнивать долю настоящих положительных среди выбранных, то есть precision. Эти требования используют разные знаменатели и не являются одним арифметическим условием.

Обозначим базовую долю положительных π, общие TPR через t и FPR через f. Доля верных положительных во всём потоке равна πt, ложных — (1−π)f. Поэтому precision=πt/(πt+(1−π)f). При положительных t,f и разных π внутри промежутка от нуля до единицы это выражение строго возрастает с π.

Две таблицы показывают конфликт без словесной оценки

В потоке A сто объектов, из них двадцать положительных. При t=0,8,f=0,2 получаем TP=16,FN=4,FP=16,TN=64. Precision равна половине. В потоке B тоже сто объектов, но пятьдесят положительных. Те же t,f дают TP=40,FN=10,FP=10,TN=40 и precision=0,8.

Обе условные частоты ошибок согласованы между потоками, а точность положительных ответов различается. Это следствие состава групп и правила условных вероятностей, не обязательно ошибка подсчёта. Требование одинаковой precision вместе с теми же положительными t,f нельзя удовлетворить простым переименованием показателя или перестановкой подписей.

Пример

Доказывает ли пример, что любое представление о равенстве качества невозможно?

Нет. Он касается конкретного сочетания трёх численных требований при разных базовых долях и ненулевых t,f. Другие определения и специальные граничные случаи могут быть совместимы.

Исключения не позволяют превращать пример в универсальный запрет

Если f=0 и положительные ответы существуют, ложных положительных нет, поэтому precision равна единице независимо от π. При одинаковых базовых долях конфликт также исчезает. Нулевые знаменатели требуют отдельной оговорки. Поэтому фраза «метрики справедливости всегда несовместимы» была бы намного сильнее доказанного здесь факта и неверно скрывала бы условия.

Математическая совместимость не решает, какие требования содержательно уместны. Надёжность фактических меток, различия отбора и последствия ошибок остаются вопросами модели и задачи. В исследованиях существуют более общие теоремы о конфликтующих свойствах вероятностных оценок; разобранный расчёт — узкая самостоятельная иллюстрация для жёстких решений, а не универсальный нормативный вердикт о людях или системах.

От чтения к действию

А теперь — вы

В двух группах 0<π<1, TPR=0 и FPR>0. Положительные ответы существуют. Чему равна precision в каждой группе?

Частые вопросы

Почему равный FPR не гарантирует равную precision?

FPR считается среди фактических отрицательных, а precision среди всех положительных ответов; соотношение размеров классов влияет на второй знаменатель.

Что происходит при отсутствии ложных положительных?

Если FPR=0 и положительные ответы есть, все они верны, поэтому precision равна единице в обеих группах независимо от разных базовых долей.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться