Вероятность и статистика · объяснение и практика
Как объединение классов меняет итоговую метрику
Как усреднение по классам отличается от объединения всех ошибок, почему редкий класс может исчезнуть в общем числе и отчего средний F1 не равен F1 средних величин.

В теме Таблицы категорий и качество классификации · Учебная карта
В маршруте Качество классификации без автоматических вердиктов · 10 тем
Главная мысль
Macro сначала считает метрику каждого класса и усредняет их с одинаковым весом. Micro сначала складывает TP,FP,FN всех классов и лишь затем вычисляет метрику по общим числам.
Два порядка действий отвечают на разные вопросы
В многоклассовой задаче каждый класс можно временно считать положительным, а остальные — отрицательными. Получатся собственные precision,recall,F1. Macro даёт каждому классу одинаковый вес независимо от его численности. Поэтому качество редкого класса влияет на среднее так же сильно, как качество самого многочисленного.
Micro складывает соответствующие количества TP,FP,FN по всем классам, после чего применяет формулу. Классы с большим числом наблюдений вносят больше событий. При одном истинном и одном предсказанном классе у каждого объекта, с учётом всех классов, micro-precision, micro-recall и micro-F1 совпадают с accuracy. Для многометочных задач это совпадение не универсально.
Большой класс способен скрыть слабый маленький
Пусть фактически объектов класса A девяносто, класса B десять. Все A распознаны верно, а из B правильно назван только один, остальные девять ошибочно отнесены к A. Общая accuracy и micro-F1 равны 91/100. Но recall для B равна 1/10, то есть редкий класс почти целиком пропущен.
Для A величина F1 равна 180/(180+9)=20/21, для B — 2/(2+9)=2/11. Их macro-F1 составляет (20/21+2/11)/2=131/231, примерно 0,567. Это значительно ниже micro-F1, потому что одинаковый вес классов не позволяет девяноста верным объектам A полностью заслонить пропуски B.
Пример
Можно ли получить macro-F1, сначала усреднив precision и recall, затем взяв их гармоническое среднее?
В общем случае нет. Гармоническое среднее нелинейно, поэтому усреднение готовых F1 и вычисление F1 из усреднённых составляющих являются разными операциями.
Нужно сохранить список классов и правило нулей
Weighted-среднее добавляет ещё один вариант: каждый класс получает вес по фактической численности. Оно не тождественно micro, поскольку усредняет уже вычисленные нелинейные показатели. Поэтому в отчёте надо назвать не просто «средний F1», а точный способ усреднения и перечень участвующих классов.
Если класс ни разу не предсказан или отсутствует среди истинных ответов, отдельные знаменатели могут стать нулевыми. Исключение такого класса, подстановка нуля или другого условного значения меняют итог. Сравнивать модели можно лишь при согласованных соглашениях. Ни macro, ни micro сами не решают, насколько важен конкретный редкий класс для задачи: это содержательный выбор вне формулы.
От чтения к действию
А теперь — вы
Частые вопросы
Почему micro-F1 совпадает с accuracy при одной метке на объект и учёте всех классов?
Каждый неверный ответ создаёт один FP и один FN при суммировании по всем классам, а верный даёт один TP. Это делает формулы одинаковыми.
Является ли weighted-F1 другим названием micro-F1?
Нет. Weighted усредняет поклассовые F1 по численностям, micro сначала объединяет ошибки; из-за нелинейности результаты могут различаться.
Углублённый разбор
Fβ: асимметричный обмен precision и recall и роль квадрата β
Fβ меняет относительный вес полноты и precision внутри гармонического показателя. Квадрат β в формуле важен: β=2 не означает простое удвоение одного слагаемого.
Перед началом: Матрица ошибок и условные частоты классов; Пороговый рейтинг и вероятностный прогноз.
Определение и постановка
Для положительных знаменателей Fβ=(1+β²)PR/(β²P+R), где P — precision, R — recall и β>0. При β=1 получается обычный F1.
Вывод и вычислительный критерий
Обратная величина равна[1/P+β²/R]/(1+β²). Поэтому увеличение β усиливает влияние малого recall на гармоническое среднее. При β→∞ показатель стремится к R, при β→0 — к P.
Через таблицу ошибок выражение имеет вид(1+β²)TP/[(1+β²)TP+β²FN+FP]. Такая запись делает различие штрафов за пропуск и ложный положительный видимым, но не превращает Fβ в простую среднюю денежную цену ошибок. Знаменатель также зависит от TP.
Выбор β задают до сравнения моделей. Подбор того β, при котором желаемая модель получает наибольшее преимущество на уже просмотренной проверке, меняет процедуру выбора. Для многоклассовой задачи отдельно объявляют способ усреднения: нелинейность никуда не исчезает.
Условия и границы вывода
Формула может иметь нулевой знаменатель при пустых классах или отсутствии положительных ответов. Условная программная подстановка нуля либо единицы должна быть явной, особенно при последующем macro-усреднении.
Fβ не учитывает TN. Поэтому увеличение числа верно отклонённых отрицательных объектов без изменения TP,FP,FN оставляет показатель тем же. Это свойство цели, а не доказательство неважности отрицательного класса в любой практике.
Два показателя с разными β нельзя назвать одной и той же шкалой качества. Сильная precision и слабая полнота дают разные компромиссы в зависимости от выбранного веса. Контекст задачи должен объяснить, почему именно этот компромисс полезен.
При неизменныхTP,FP,FN добавление любого числаTN не меняет ни одну из трёх вычисленныхFβ. Поэтому сравнение таких показателей не заменяет отдельную оценку специфичности. Один и тот же компромисс положительного класса может сопровождаться очень разным объёмом отрицательных наблюдений.
Параметр β входит в формулу квадратом. Поэтому заявление «полнота важнее вдвое» нельзя без определения цели автоматически превратить в численную цену каждого пропуска. Fβ является нелинейной агрегированной метрикой; оптимальный порог по ней зависит от распределения оценок и не получается простым приравниванием локальных цен ошибок.
Разобранная задача
Условие. У модели precision=3/4, recall=1/2. Найдите F1,F2 иF₁/₂ и проверьте направление изменения при усилении веса полноты.
- Произведение PR равно3/8. Для β=1 получаем2·3/8/(3/4+1/2)=3/5.
- Для β=2 квадрат равен4; F2=5·3/8/(4·3/4+1/2)=15/28.
- Для β=1/2 квадрат равен1/4; F₁/₂=(5/4)·3/8/[(1/4)·3/4+1/2]=15/22.
- Поскольку R<P, усиление веса полноты уменьшает показатель:15/28<3/5<15/22.
Ответ. F1=3/5,F2=15/28,F₁/₂=15/22.
Проверка. Такие P,R реализуются таблицей TP=3,FP=1,FN=3. Подстановка этих целых клеток в счётную форму независимо даёт6/10,15/28 и15/22.
Где легко ошибиться. В F2 используется β²=4; замена его числом2 задаст другой показатель и другой компромисс ошибок.
Проверьте понимание
Вопросы к этой главе
Равен ли β отношению реальных цен ошибок?
Не автоматически. Формула Fβ является нелинейным отношением и не совпадает с ожидаемой линейной потерей C_FN·FN+C_FP·FP. Для денежных последствий нужна отдельная функция риска.
Что если precision и recall равны?
Тогда любое положительное β возвращает их общее значение. Вес влияет на компромисс только при различающихся компонентах.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- scikit-learn: F-beta score
Прочитана формула F-beta через tp, fp, fn с квадратом beta и предельные приоритеты precision/recall. Сравнение трёх beta выполнено точно для одной собственной матрицы ошибок.
Jaccard и F1: преобразование класса и смена ранга после усреднения
Jaccard иF1 монотонно связаны для одного класса, но после macro-усреднения способны по-разному ранжировать модели. Нелинейное преобразование не проходит через среднее.
Перед началом: Матрица ошибок и условные частоты классов; Пороговый рейтинг и вероятностный прогноз.
Определение и постановка
Для положительного объединения J=TP/(TP+FP+FN), а F1=2TP/(2TP+FP+FN). Исключая TP через J, получаем F1=2J/(1+J).
Вывод и вычислительный критерий
Функция h(J)=2J/(1+J) строго возрастает на[0,1], поэтому в одном и том же классе увеличение J эквивалентно увеличению F1. Но macro-F1 равно среднему h(Jₖ), а не h от среднего Jₖ.
Функция h вогнута: её вторая производная отрицательна. Поэтому разброс качеств между классами влияет на среднее преобразованных значений. Модель с более ровным качеством может получить лучший macro-F1 при меньшем macro-Jaccard.
Тождество сохраняется для micro-показателей, если сначала сложить одни и те же TP,FP,FN, а затем вычислять оба отношения. Проблема появляется именно из-за разного порядка нелинейного преобразования и усреднения по классам.
Условия и границы вывода
Список классов и соглашение при пустом объединении должны совпадать у сравниваемых моделей. Иначе различие итогов может быть вызвано не самой функцией h, а исключением разных пустых категорий.
В многометочной задаче можно оценивать каждую метку как отдельную бинарную задачу. Для одного объекта несколько меток могут быть одновременно истинными; micro-равенства с обычной одноимённой accuracy здесь не следует переносить без определения.
Смена ранжирования не является арифметической ошибкой. Метрики при macro-усреднении по-разному учитывают неоднородность качества. Поэтому выбирать показатель надо по вопросу оценки и сообщать поклассовые значения, а не искать одно безусловно правильное среднее.
Для одной общей ненулевой матрицы преобразование J↦2J/(1+J) строго возрастает и действительно сохраняет ранжирование. Нарушение появляется после усреднения разных классов: теряется распределение отдельных J. Поэтому контрпример не опровергает поклассовое тождество, а точно указывает на операцию, при которой оно перестаёт определять общий порядок моделей.
Разобранная задача
Условие. Две метки имеют по10 положительных и10 отрицательных объектов. МодельA идеально находит первую метку, вторую никогда не предсказывает. МодельB находит4из10 положительных каждой метки без ложных положительных. Сравните macro-Jaccard иmacro-F1.
- Для моделиA значения J равны1 и0, значит macro-J=1/2. Те же крайние значения F1 дают macro-F1=1/2.
- Для моделиB в каждом классе TP=4,FN=6,FP=0, поэтому J=4/10=2/5.
- F1 каждого класса равен8/(8+6)=4/7; оба macro-показателя совпадают со своими одинаковыми поклассовыми значениями.
- Получаем macro-J(A)=1/2>2/5, но macro-F1(A)=1/2<4/7.
Ответ. По macro-Jaccard лучшеA, по macro-F1 лучшеB; ранжирование меняется.
Проверка. Преобразование среднего J моделиA даёт h(1/2)=2/3, что не равно её настоящему macro-F1=1/2. Эта явная разница подтверждает некоммутативность усреднения.
Где легко ошибиться. Нельзя преобразовать уже усреднённый macro-Jaccard формулой одного класса и выдать результат за macro-F1.
Проверьте понимание
Вопросы к этой главе
Противоречит ли пример монотонности?
Нет. В моделиB улучшен слабый класс и ухудшен сильный, поэтому нет поклассового доминирования. Монотонность одного класса не задаёт порядок таких компромиссов.
Когда порядок точно сохранится?
Если одна модель не хуже другой по J в каждом классе при тех же весах, возрастающее преобразование сохранит это поклассовое преимущество и после усреднения.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- scikit-learn: classification metrics
Целенаправленно прочитаны определения balanced accuracy, многоклассового MCC, macro-усреднения, Jaccard и ROC. Порог с учётом априорной частоты, центрированные one-hot векторы и контрпримеры агрегации выведены самостоятельно.
Многометочные предсказания: точность набора и покомпонентные ошибки
Полный ответ с несколькими метками считается правильным только при одновременном совпадении всех координат. Поэтому одинаковое число ошибок отдельных меток может соответствовать разным долям целиком ошибочных объектов.
Перед началом: Условная вероятность; Точная арифметика.
Две функции потерь считают разные события
Пусть каждый объект имеет d бинарных меток, а Ei показывает ошибку по i-й координате. Hamming loss равна d⁻¹ΣEi и усредняет долю ошибочных координат. Subset loss равна 1{ΣEi>0} и учитывает, испорчен ли хоть один элемент полного ответа. Первая зависит только от отдельных вероятностей P(Ei=1), вторая — от вероятности объединения ошибок и потому требует знания их совместного закона.
Границы следуют из включений событий
Вероятность полной ошибки не меньше максимальной отдельной вероятности и не больше суммы этих вероятностей, ограниченной единицей. При одинаковом риске p каждой координаты получаем p≤subset risk≤min(1,dp). Нижняя граница достигается при полностью совпадающих ошибках, верхняя — при непересекающихся ошибках, если dp≤1. Независимые ошибки дают промежуточное значение 1−(1−p)ᵈ. Независимость не следует из одинаковой архитектуры голов модели или одинаковых средних метрик.
Выбор метрики должен соответствовать использованию
Если каждую метку применяют отдельно, средняя доля координатных ошибок может быть уместна. Если весь набор запускает одно действие, риск хотя бы одной ошибки важнее. В отчёте полезно показывать обе характеристики и число меток на объект. Сравнение subset accuracy между задачами с разными d без оговорки может вводить в заблуждение. Пропущенная эталонная метка также не должна автоматически считаться отрицательной: это меняет наблюдаемую функцию потерь.
Разобранная задача
Условие. Два алгоритма решают двухметочную задачу на ста объектах. У первого ошибки обеих координат приходятся на одни и те же десять объектов. У второго по десять ошибок каждой координаты, но эти группы не пересекаются. Сравните Hamming loss и subset accuracy.
- У каждого алгоритма всего двадцать координатных ошибок среди двухсот решений меток. Hamming loss в обоих случаях равна 20/200=1/10.
- У первого хотя бы одна ошибка есть только на десяти объектах, поскольку обе ошибки совпали. Subset loss равна 1/10, accuracy — 9/10.
- У второго ошибочны двадцать различных объектов. Subset loss равна 1/5, accuracy — 4/5.
- Отдельные риски каждой координаты одинаковы и равны 1/10. Различается только их совместное расположение по объектам.
Ответ. Покомпонентный риск одинаков — 1/10. Полная точность первого равна 9/10, второго — 4/5.
Проверка. Формула объединения даёт P(E₁∪E₂)=P(E₁)+P(E₂)−P(E₁∩E₂). Подстановка пересечения 1/10 и нуля соответственно воспроизводит оба subset-риска независимо от подсчёта объектов.
Где легко ошибиться. Нельзя получить точность полного набора усреднением точностей меток. Такое среднее не содержит вероятности пересечения ошибок, необходимой для события правильности всего ответа.
Проверьте понимание
Вопросы к этой главе
Каков результат при независимых рисках по 1/10?
Для двух координат subset accuracy равна (9/10)²=81/100. Она находится между двумя примерами, а не обязана совпадать с одним из них.
Может ли высокий subset-risk сочетаться с малым Hamming loss?
Да, при большом числе меток редкие непересекающиеся ошибки могут затронуть много объектов, оставляя малую среднюю долю ошибочных координат.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- scikit-learn: accuracy_score
Subset accuracy требует полного совпадения набора меток и отличается от средней покоординатной ошибки.
Ответ на узле иерархии: байесовский выбор глубины классификации
Вместо полного отказа классификатор может назвать более широкую категорию. Такая категория сообщает меньше, но имеет больше шансов включить истинный лист. Сравнение её цены с риском точного ответа требует вероятности всего поддерева, включая листья, которые по отдельности не выиграли классификацию.
Перед началом: Условный байесовский риск; Дерево классов и суммирование вероятностей.
Широкий ответ является отдельным действием
Истинный класс — ровно один лист конечного корневого дерева. Разрешено отвечать любым узлом. Для каждого узла заранее задана потеря c_v∈[0,1] при верном поддереве и потеря 1 вне него; условные вероятности листьев известны.
Пусть D(v) — множество листьев под узлом v и p_v=Σ_{y∈D(v)}P(Y=y|x). Если истинный лист входит в D(v), объявленная потеря равна c_v; иначе она равна 1. Условный риск R_v=c_vp_v+(1−p_v)=1−(1−c_v)p_v. Для листа можно задать c_v=0, а для менее конкретных ответов положительную цену.
Корень включает все листья и имеет p_root=1, поэтому его риск равен c_root. Это аналог полного отказа от конкретизации, но внутренние узлы дают промежуточные действия. Цены должны выражать пользу конкретности в самой задаче; дерево как структура не назначает их автоматически и не определяет универсальный порядок предпочтений.
Массы снизу вверх, сравнение по всему дереву
Сначала складывают вероятности детей, получая p_v для каждого внутреннего узла. Затем выбирают узел с минимальным R_v, или эквивалентно максимальным (1−c_v)p_v. Один проход снизу вверх и одно сравнение всех узлов требуют числа операций порядка размера дерева. При ничьей нужно объявить согласованное правило.
Нельзя ограничиваться предками самого вероятного листа. Другое поддерево может объединять несколько немного менее вероятных листьев и иметь больший полезный суммарный вес. Также нельзя сравнивать только p_v без цены: тогда корень всегда выиграет с вероятностью один, уничтожив смысл содержательного ответа.
Предок не равен набору независимых меток
Здесь объект имеет один истинный лист, а внутренний ответ означает включение этого листа в одну категорию. Это отличается от многометочной задачи, где несколько меток могут быть истинными одновременно и оцениваются покоординатные или полные наборные ошибки. Складывать вероятности детей допустимо потому, что их листья взаимоисключающие и покрывают родительское поддерево.
Байесовская оптимальность относится к настоящим условным вероятностям и указанной потере. Числа произвольных отдельных бинарных классификаторов могут не суммироваться в согласованное дерево. Их сначала нужно привести к обоснованной вероятностной модели; высокая уверенность одной головы сама по себе не обеспечивает корректности риска внутреннего узла.
Одинаковый лучший лист, разные лучшие категории
Условие. Корень r имеет детей A,B; A содержит листья a₁,a₂, B — b₁,b₂. Цены верного ответа: листья 0, узлы A,B — 1/5, корень — 1/2. Сравните вероятности P=(7/20,3/10,1/5,3/20) и Q=(7/20,0,33/100,8/25).
- Для P суммарные массы A=13/20,B=7/20. Риски A=1−(4/5)(13/20)=12/25, B=18/25, корня=1/2.
- Риски отдельных листьев равны 13/20,7/10,4/5,17/20. Минимум среди всех семи действий — 12/25 у A: выгоднее назвать широкую категорию A.
- Для Q массы A=7/20,B=13/20. Поэтому риски A и B меняются местами: 18/25 и 12/25, а риск корня остаётся 1/2.
- Самый вероятный лист в обеих моделях один и тот же a₁ с вероятностью 7/20. Но у Q узел B имеет риск 12/25 и оптимален, хотя a₁ не входит в его поддерево.
- Вероятности обеих моделей неотрицательны и суммируются в 1. Различие решений вызвано распределением остальных масс, а не сменой цены или победившего листа.
Ответ. При P оптимален узел A, при Q — узел B; минимальный риск в обоих случаях 12/25. Одна пара «лучший лист, его вероятность» не определяет оптимальный иерархический ответ.
Проверка. Прямое суммирование потерь узла A при P даёт (1/5)(7/20+3/10)+(1/5+3/20)=13/100+35/100=12/25. Для B при Q аналогично 13/100+35/100=12/25; это проверка по всем истинным листьям, а не только по формуле риска.
Где легко ошибиться. Не сводите иерархическое решение к движению вверх от argmax-листа: оптимальное поддерево может находиться в другой ветви.
Проверьте понимание
Вопросы к этой главе
Почему нельзя всегда выдавать корень с вероятностью правильности один?
Такой ответ почти не конкретизирует класс и получает объявленную цену c_root. Оптимизируется полная потеря, а не одна вероятность включения истинного листа.
Может ли внутренний ответ выиграть у всех отдельных листьев?
Да. Он объединяет взаимоисключающие вероятности, оплачивая меньшую конкретность. В примере выигрыш внутреннего ответа возникает в обеих моделях, хотя один и тот же лист остаётся наиболее вероятным.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Deng, Krause, Berg, Fei-Fei: Hedging Your Bets, §4.1
Использует вероятности поддеревьев и ожидаемую награду для выбора уровня конкретности. Здесь задана собственная конечная функция потерь и полностью перебраны действия двух четырёхлистовых моделей; алгоритм настройки глобальной гарантии DARTS не воспроизводится.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как одна таблица ошибок даёт разные знаменатели качества
Как из одной таблицы ошибок получить общую долю верных решений, точность положительных ответов, полноту и специфичность, не переставив фактические и предсказанные классы.
Открыть темуПочему PR-кривая меняется при редком положительном классе
Почему одинаковые полнота и частота ложных тревог могут дать разную точность положительных ответов, как читать PR-кривую и учитывать базовую долю класса.
Открыть тему