Вероятность и статистика · объяснение и практика

Почему PR-кривая меняется при редком положительном классе

Почему одинаковые полнота и частота ложных тревог могут дать разную точность положительных ответов, как читать PR-кривую и учитывать базовую долю класса.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Таблицы категорий и качество классификации · Учебная карта

В маршруте Качество классификации без автоматических вердиктов · 10 тем

Главная мысль

PR-кривая сопоставляет precision=TP/(TP+FP) с recall=TP/(TP+FN) по порогам. При прочих равных precision зависит от доли положительного класса, поэтому сравнивать кривые разных выборок нужно осторожно.

В обеих осях участвует найденный положительный класс

Полнота recall показывает долю найденных среди фактических положительных объектов. Precision показывает долю настоящих положительных среди выбранных моделью. При изменении порога получаем разные пары этих величин. Обычно recall откладывают по горизонтали, precision по вертикали; это другая система осей, чем у ROC.

Если снизить порог достаточно, чтобы выбрать всех, recall станет единицей, а precision будет равна базовой доле положительных π. При пустом наборе выбранных обычная precision не определена. Некоторые графические реализации добавляют условную крайнюю точку с precision один, но это соглашение построения, а не наблюдённая безошибочность реального набора ответов.

Редкий класс меняет состав положительных ответов

Обозначим TPR через t, FPR через f. Среди N объектов ожидаемые масштабы найденных положительных и ложных положительных пропорциональны πt и (1−π)f. Поэтому precision=πt/(πt+(1−π)f). Даже неизменные условные частоты ошибок не фиксируют precision, если меняется π.

В наборе из 10 положительных и 990 отрицательных при t=0,8 и f=0,1 получим TP=8,FP=99. Precision равна 8/107, примерно 7,5%. В другом наборе с 500 положительными и 500 отрицательными те же t,f дали бы TP=400,FP=50 и precision=8/9. Предположение неизменных t,f здесь явно задано для сравнения моделей.

Пример

Почему небольшой FPR не гарантировал много правильных положительных ответов в редком классе?

Одна десятая от 990 отрицательных дала 99 ложных тревог, которые намного превысили восемь найденных положительных. Важно не только отношение внутри класса, но и размер самого класса.

Кривая помогает увидеть цену увеличения полноты

При последовательном добавлении объектов recall не уменьшается, а precision может как вырасти, так и упасть в зависимости от состава нового блока. Поэтому PR-кривая не обязана быть гладкой или монотонной по вертикали. Объекты с одинаковыми оценками снова нужно включать одновременно при одном общем пороге.

Сравнение моделей на искусственно выровненной выборке может завысить представление о precision в среде, где положительный класс редок. Также площадь и средняя precision зависят от выбранного способа агрегирования порогов; разные названия не следует молча считать одной формулой. Сама кривая не даёт вероятностной калибровки и не устраняет потребность в независимых проверочных данных.

От чтения к действию

А теперь — вы

Из 200 объектов 20 положительные. При выбранном пороге TP=15,FP=45. Чему равна precision?

Частые вопросы

Какова precision у правила «все положительные»?

Она равна доле положительных объектов в проверочном наборе, а recall при наличии таких объектов равна единице.

Почему PR на другой выборке может измениться без изменения TPR и FPR?

Итоговая доля верных положительных зависит также от базовой доли класса π, то есть от состава выборки.

Углублённый разбор

Average precision: ступенчатое интегрирование полноты

Average precision суммирует precision только с теми весами, на которые действительно увеличилась полнота. Это ступенчатая характеристика PR-кривой, не обычная трапецеидальная площадь.

Перед началом: Матрица ошибок и условные частоты классов; Пороговый рейтинг и вероятностный прогноз.

Определение и постановка

Для достижимых порогов AP=Σ(Rₖ−Rₖ₋₁)Pₖ, где R — recall, P — precision после включения очередного блока оценок.

Вывод и вычислительный критерий

При разных оценках каждая найденная положительная метка увеличивает recall на1/m, где m — число положительных объектов. Поэтому AP равна среднему precision на позициях положительных объектов в упорядоченном списке. Отрицательная позиция напрямую не добавляет полноту, но понижает precision последующих находок.

При одинаковых оценках весь связанный блок включается одновременно. Прирост recall блока умножается на precision после включения всего блока. Выбор удобного внутреннего порядка по истинным ответам создаёт искусственное улучшение, недостижимое порогом.

Линейная интерполяция между PR-точками задаёт другой интеграл. Она может завышать значение относительно ступенчатого определения. Поэтому рядом с числом нужно указывать именно AP либо конкретную AUPRC-процедуру, а не называть любые площади одинаково.

Условия и границы вывода

AP зависит от доли положительных в проверке и условного качества рейтинга. Сравнение разных наборов с резко разными долями класса требует осторожности, даже если ранжирование внутри классов сохраняется.

Если положительных объектов нет, обычные приросты recall не определены. Программное соглашение о возвращаемом числе не создаёт свидетельства качества поиска отсутствующего класса.

Показатель описывает весь порядок, но не определяет рабочий порог и количество допустимых ложных ответов. Высокий AP способен соседствовать с неприемлемой precision на выбранной рабочей полноте. Для применения всё равно рассматривают конкретную точку и исходные количества найденных объектов.

При одном положительном объекте и разных оценках AP равна обратному рангу этого объекта. Это проверка определения на минимальном примере. При совпадении его оценки с отрицательными объектами применяется общий пороговый блок: произвольная внутренняя перестановка не должна превращаться в дополнительную информацию, которой рейтинг не содержит.

Разобранная задача

Условие. Пять объектов уже упорядочены по строго убывающим оценкам, их метки равны(1,0,1,0,1). Вычислите AP. Затем объясните, почему связанный блок из одного положительного и одного отрицательного нельзя оценить как удачно упорядоченный.

  1. Положительных объектов три; они стоят на позициях1,3,5.
  2. Precision на этих позициях равны1,2/3,3/5, каждый прирост recall равен1/3.
  3. AP=(1+2/3+3/5)/3=34/45.
  4. Если отдельная проверка содержит только два объекта с равной оценкой и метками1,0, весь блок даёт recall1 иprecision1/2; его AP=1/2, а не1.

Ответ. Для исходного списка AP=34/45; равная пара не допускает искусственного AP=1 через перестановку по ответу.

Проверка. Ступенчатые площади трёх приростов равны1/3,2/9,1/5. Приведение к знаменателю45 даёт15/45+10/45+9/45=34/45.

Где легко ошибиться. AP нельзя получить обычным средним precision всех пяти позиций: веса задаются приростами полноты, а не количеством просмотренных порогов.

Проверьте понимание

При разных оценках какие позиции входят в среднее для AP?

Вопросы к этой главе

Что изменит добавление отрицательных в начало списка?

Precision последующих положительных позиций снизится, поэтому AP уменьшится. Число положительных и величина их шагов recall останутся прежними.

Почему трапеции дают другое число?

Они предполагают линейное изменение precision между точками. В определении AP используется precision после фактического порогового включения блока с новым положительным объектом.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • scikit-learn: average precision

    Сверена формула AP как суммы precision с приращениями recall и отличие от трапециевидной интерполяции. Пример рангов и общий блок равных оценок разобраны самостоятельно.

Коррекция индивидуальной вероятности при смене доли класса

При сдвиге доли класса можно пересчитать индивидуальную posterior вероятность через отношение prior-шансов. Формула требует неизменности условных законов признаков внутри каждого класса.

Перед началом: Матрица ошибок и условные частоты классов; Пороговый рейтинг и вероятностный прогноз.

Определение и постановка

Пусть в исходной среде доля положительныхπ₀, в новойπ₁. Если p(x|Y=1) иp(x|Y=0) сохраняются, то меняется только prior, а отношение правдоподобий признаков остаётся тем же.

Вывод и вычислительный критерий

Исходные posterior-шансы o₀(x)=η₀(x)/(1−η₀(x)) равны отношению правдоподобий, умноженному наπ₀/(1−π₀). Поэтому новые шансы o₁=o₀·[π₁/(1−π₁)]/[π₀/(1−π₀)]. Вероятность восстанавливают какη₁=o₁/(1+o₁).

При положительных долях это строго возрастающее преобразование старой вероятности. Оно сохраняет порядок объектов, но меняет численную уверенность и положение порога, соответствующего заданному posterior риску. Поэтому неизменный ROC-рейтинг не означает неизменную калибровку.

Смена только общего состава проверки может оставить условные TPR,FPR прежними и одновременно изменить precision. Индивидуальный пересчёт объясняет тот же механизм на уровне каждого x, а не только одной общей таблицы ошибок.

Условия и границы вывода

Необходимо знать или обоснованно оценить новую долю класса. Из одного набора старых posterior чисел её не получают автоматически без дополнительных условий различимости. Ошибка оценкиπ₁ переносится в новые вероятности.

Если изменились сами p(x|Y), это уже не чистый label shift. Простая prior-поправка способна оставить существенную неправильную калибровку. Например, новый измерительный прибор или отбор внутри класса меняет условный закон признаков.

Исходнаяη₀ должна быть вероятностью в объявленной модели, а не произвольным скором с удобным диапазоном[0,1]. Ранг не определяет отношение правдоподобий. На границах ноль иединица нужны отдельные носительные предпосылки, чтобы не заменять невозможный исход численной бесконечностью без смысла.

Для переноса нужны внутренние исходные частоты и posterior, чтобы запись через шансы была конечной. Нулевые условные вероятности лучше обрабатывать исходной формулой Байеса, не делением на ноль. Если исходный прогноз ошибочно откалиброван, одна замена априорной частоты не исправляет эту дополнительную ошибку модели.

Разобранная задача

Условие. Исходная доля классаπ₀=1/2, откалиброванная вероятность объектаη₀=3/4. В новой средеπ₁=1/4 при неизменных условных законах. Найдитеη₁.

  1. Исходные posterior-шансы равны(3/4)/(1/4)=3.
  2. Исходные prior-шансы равны1, новые равны(1/4)/(3/4)=1/3.
  3. Новые posterior-шансы равны3·(1/3)=1.
  4. Новая вероятность равна1/(1+1)=1/2; старое значение3/4 больше не является правильным posterior в новой смеси.

Ответ. После prior-поправки вероятность равна1/2.

Проверка. Исходный posterior при равных prior означает отношение правдоподобий3. В новой смеси ненормированные веса положительного и отрицательного равны3·1/4 и1·3/4; они одинаковы и после нормировки дают половину.

Где легко ошибиться. Пересчёт prior не исправляет изменение признаков внутри класса и не превращает неоткалиброванный рейтинг в верную вероятность.

Проверьте понимание

Какая стабильность необходима для указанного пересчёта?

Вопросы к этой главе

Изменится ли порядок объектов?

При постоянной поправке prior-шансов и внутренних значенияхη₀ порядок сохраняется. Показатели ранжирования могут остаться прежними, хотя сами вероятности изменились.

Можно ли просто умножитьη₀ наπ₁/π₀?

Нет. Обновление линейно в шкале шансов, а затем требует новой нормировки. Прямое умножение вероятности не учитывает вес отрицательного класса.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Lipton, Wang, Smola: detecting and correcting label shift

    В исходной статье прочитано определение label shift: меняются частоты классов при неизменных условных распределениях признаков. Собственная двухсостоянийная модель и пересчёт апостериорных шансов выведены по Байесу.

Неизвестная доля класса: порог с гарантированным precision

Порог, удобный при одной распространённости класса, может нарушить требование precision в другой среде. Если доля класса известна лишь интервалом, можно искать максимальную полноту среди порогов, гарантирующих нужный precision во всех допустимых средах.

Перед началом: Условные вероятности бинарных классов; Математическое ожидание и показатели классификации.

Условные частоты фиксированы, состав меняется

Пусть для каждого рассматриваемого порога известны популяционные t=TPR и f=FPR, сохраняющиеся при смене среды. Доля положительного класса π лежит в заданном интервале [πmin,πmax] внутри (0,1). Это предположение чистого изменения состава: изменения условного распределения скоров внутри класса в него не входят.

При t>0 precision равна πt/[πt+(1−π)f]. Её производная по π равна tf/[πt+(1−π)f]²≥0. Поэтому худшая среда для precision соответствует πmin. Если f=0, precision равна единице; при t=f=0 положительных решений нет и обычная precision не определена, такой порог нужно трактовать отдельно.

Гарантия превращается в линейное ограничение

Требование precision≥q при 0<q<1 эквивалентно f/t≤πmin(1−q)/[(1−πmin)q]. Его достаточно проверить один раз для каждого порога по худшему составу. Затем среди допустимых детерминированных кандидатов выбирают максимальный t. Это конечная задача оптимизации с явным сертификатом допустимости, а не пересчёт одной точки PR.

Разрешение случайно смешивать разные пороги изменило бы множество кандидатов: t и f такой смеси усредняются, и иногда возможно улучшение. Здесь заранее ограничиваемся перечисленными детерминированными порогами. Добавлять смесь только после неудачи кандидатов и сохранять прежнее утверждение об оптимуме нельзя без нового анализа.

Что именно гарантирует вычисление

Гарантия условна на правильности интервала π и заданных t,f. Если эти частоты только оценены по конечным данным, статистическую неопределённость следует включать отдельно, например через одновременно обоснованные ограничения. В нашем примере частоты заданы как точные свойства модели, поэтому случайность их оценки не скрыта внутри слова «гарантированный».

Максимизация полноты проводится после проверки precision, а не вместо неё. Порог с более высоким t может чуть нарушать границу в самой редкой допустимой среде, хотя выглядеть значительно лучше при средней доле класса. Если ни один кандидат не допустим, нужно честно сообщить отсутствие решения в заданном списке, а не ослаблять q без уведомления.

Три порога при неизвестном составе классов

Условие. Из трёх детерминированных порогов A:(t,f)=(2/5,1/100), B:(7/10,1/50), C:(9/10,1/20) выберите максимальную полноту при precision≥4/5 для всех π∈[1/10,1/5]. Случайные смеси порогов не разрешены.

  1. Худшая распространённость равна 1/10. Допустимый предел f/t=(1/10)(1/5)/[(9/10)(4/5)]=1/36.
  2. Для A отношение f/t равно 1/40, для B — 1/35, для C — 1/18. Только 1/40 не превышает 1/36.
  3. Прямая проверка worst-case precision даёт A:40/49, B:35/44, C:2/3. Первое больше 4/5, второе чуть меньше, третье заметно меньше.
  4. Следовательно, выбирается A с полнотой 2/5. При π=1/5 порог B дал бы precision 35/39 и прошёл ограничение, но это не компенсирует его нарушение при допустимом π=1/10.

Ответ. Единственный допустимый кандидат — A; максимальная гарантированно допустимая полнота равна 2/5.

Проверка. Сравнения выполняются целыми произведениями: 1/40≤1/36, 35/44<4/5, 40/49>4/5. Монотонность precision по π распространяет проверку нижнего конца на весь непрерывный интервал.

Где легко ошибиться. Оценка только при средней доле класса не является гарантией на интервале. Здесь ограничение нарушается порогом B совсем немного, поэтому грубое округление precision до одной десятичной цифры могло бы скрыть недопустимость.

Проверьте понимание

Какая максимальная полнота доступна среди трёх заданных детерминированных порогов при указанной гарантии?

Вопросы к этой главе

Почему проверяется минимальный prior?

При неизменных t,f уменьшение доли положительных увеличивает относительную массу ложных тревог среди выбранных. Доказанная неотрицательная производная делает нижний prior худшим.

Сохраняется ли результат при изменении скоринга внутри классов?

Не обязательно. Тогда t и f тоже меняются, нарушая исходную модель переноса. Гарантия распространяется только на перечисленное семейство сред с фиксированными условными частотами.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Davis–Goadrich: ROC/PR relationship, §2

    Прочитаны первичные определения и связь ROC/PR с составом классов на PDF-страницах 1–3. Робастная постановка на интервале prior, производная и три точных сертификата допустимости выведены здесь. Старое зеркало biostat.wisc вернуло JS-check и не используется.

Ограниченная очередь проверки: ожидаемые находки в первых k позициях

При ограниченной очереди ручной проверки часто важно число ожидаемых находок среди первых k. Если стоимость объектов одинакова и индивидуальные вероятности заданы корректно, оптимальный порядок доказывается одним обменом.

Перед началом: Условная вероятность; Точная арифметика.

Цель является суммой вероятностей

Для объекта i пусть Yi — индикатор полезной находки, а pi — его условная вероятность при доступной информации. Выбирается ровно k объектов одинаковой стоимости до получения результатов. Ожидаемое число находок в наборе S равно Σi∈S pi по линейности ожидания. Независимость Yi для этого равенства не нужна. Однако само качество pi является внешней предпосылкой: произвольные scores нельзя объявить вероятностями только из-за числового диапазона.

Обмен доказывает оптимальность сортировки

Если выбран объект i с pi меньше, чем pj у невыбранного j, замена i на j повышает ожидаемую сумму на pj−pi. Повторяя такие обмены, получаем набор k наибольших вероятностей. При равенстве вероятностей любой выбор внутри ничьей имеет ту же ожидаемую полезность. Это решение не требует ROC-кривой или общего порога стоимости ошибок: бюджет уже фиксирует размер очереди. Ожидаемый precision выбранного фиксированного размера равен сумме вероятностей, делённой на k.

Другие ограничения меняют задачу

Если стоимость проверки разная, простая сортировка pi уже не решает общий целочисленный бюджет: может понадобиться задача рюкзака. Если после каждого результата обновляются вероятности остальных объектов, оптимальная адаптивная политика также может отличаться от заранее фиксированного top-k. Квоты по группам и минимальное покрытие тем задают дополнительные ограничения. Нельзя выдавать условный оптимум простой модели за универсальную организационную рекомендацию или гарантированное реальное число находок.

Разобранная задача

Условие. Пять объектов имеют заданные вероятности (4/5,3/5,1/2,1/5,1/10), стоимость одинакова. Можно проверить три. Найдите оптимальный набор, ожидаемое число находок и ожидаемый precision; оцените потерю при замене второго объекта четвёртым.

  1. Три наибольших вероятности принадлежат объектам 1,2,3. Их сумма равна 4/5+3/5+1/2=19/10.
  2. Ожидаемое число находок составляет 1,9, хотя фактическое целое число будет от нуля до трёх.
  3. Размер очереди фиксирован и равен трём, поэтому ожидаемый precision равен (19/10)/3=19/30.
  4. Замена второго объекта четвёртым уменьшает сумму на 3/5−1/5=2/5. Новое ожидаемое число равно 3/2, precision — 1/2.

Ответ. Оптимальны первые три объекта: ожидается 19/10 находок, ожидаемый precision равен 19/30. Указанная замена теряет 2/5 ожидаемой находки.

Проверка. Можно сравнить наборы через дополнение: общая сумма пяти вероятностей равна 11/5. Исключение двух минимальных 1/5 и 1/10 оставляет 19/10, независимо подтверждая выбор без перебора всех десяти троек.

Где легко ошибиться. Ожидаемое число 1,9 не означает, что в каждом запуске найдётся почти два объекта. Линейность ожидания описывает среднее по условной модели, а зависимость исходов может существенно менять разброс.

Проверьте понимание

Какая ожидаемая потеря вызвана указанной заменой?

Вопросы к этой главе

Нужна ли независимость объектов для оптимума?

Нет при фиксированном наборе и суммарной полезности: линейность ожидания достаточна. Она понадобится для некоторых формул распределения общего числа находок.

Почему ранжирование score может быть недостаточно для числа 19/10?

Оно определяет порядок, но без калиброванных вероятностей не определяет ожидаемые количества. Числовая сумма предполагает именно вероятностный смысл входа.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • scikit-learn: precision_score

    Определение precision и числа истинных находок; оптимальность top-k по заданным вероятностям доказана обменом в главе.

Случайное ранжирование: точное среднее AP при фиксированном числе положительных

Доля положительных является ориентиром precision для случайного отбора, но не точным конечным средним average precision. AP берёт precision именно в позициях положительных находок, включая саму находку в числитель. Эта зависимость создаёт поправку с гармоническим числом.

Перед началом: Average precision без интерполяции; Индикаторы выборки без возвращения.

У позиции положительной находки есть собственный вклад

Строго упорядоченный рейтинг n≥2 объектов с фиксированным числом m положительных, 1≤m≤n. Нулевая модель равномерно распределяет положительные метки по всем C(n,m) наборам позиций; совпадений score нет.

Пусть Iᵢ показывает положительную метку на позиции i, а Sᵢ=Σⱼ≤ᵢIⱼ — число найденных положительных до неё включительно. Тогда AP=m⁻¹ΣᵢIᵢSᵢ/i. Число m фиксировано, поэтому для ожидания можно усреднять каждое произведение отдельно. Заменять precision на постоянную m/n до учёта Iᵢ нельзя: событие Iᵢ=1 уже повышает Sᵢ.

В равномерном случайном наборе позиций E Iᵢ=m/n. Для различных i,j имеем E(IᵢIⱼ)=m(m−1)/[n(n−1)]. Из Iᵢ²=Iᵢ получаем E(IᵢSᵢ)=m/n+(i−1)m(m−1)/[n(n−1)]. Первый член выделяет именно положительный объект на оцениваемой позиции.

Гармоническое число собирает конечную поправку

Обозначим H_n=Σᵢ₌₁ⁿ1/i. Подстановка индикаторных моментов даёт E AP=H_n/n+[(m−1)/(n(n−1))](n−H_n). Равносильная запись: (m−1)/(n−1)+(n−m)H_n/[n(n−1)]. Формула получена для равномерной перестановочной модели и не требует независимости Iᵢ; наоборот, фиксированная сумма делает метки зависимыми.

Разность с базовой долей m/n равна (n−m)(H_n−1)/[n(n−1)]≥0. При 1≤m<n и n>1 она строго положительна. При m=n весь рейтинг положителен и AP=1. При m=1 среднее равно H_n/n, поскольку AP есть обратный ранг единственного положительного. Случай m=0 не включён: обычная recall и AP тогда требуют отдельного соглашения.

Средний нулевой уровень ещё не является тестом

Точное ожидание помогает интерпретировать короткие рейтинги: сравнение с одной prevalence может переоценивать достигнутое улучшение. Однако ожидание не задаёт распределение и хвостовую вероятность. Для точного p-значения конкретного AP нужно отдельно перечислить или обоснованно моделировать все допустимые размещения положительных.

Равномерная нулевая модель означает отсутствие информации о положении меток в строго заданном порядке. Временные блоки, семейства объектов или ограничения дизайна могут делать глобальные перестановки недопустимыми. Равные score тоже меняют задачу: их надо оценивать общими пороговыми блоками, а не случайно объявлять полезный внутренний порядок известным.

Два положительных среди четырёх

Условие. Положительные метки равномерно занимают две из четырёх строго упорядоченных позиций. Найдите E AP и сравните его с m/n=1/2.

  1. Существует C(4,2)=6 равновероятных пар положительных позиций. Гармоническое число H₄=1+1/2+1/3+1/4=25/12.
  2. По формуле E AP=1/3+2·(25/12)/(4·3)=1/3+25/72=49/72.
  3. Для пар (1,2),(1,3),(1,4) значения AP равны 1,5/6,3/4: в каждом случае усредняются precision в двух положительных позициях.
  4. Для пар (2,3),(2,4),(3,4) получаем 7/12,1/2,5/12. Сумма всех шести значений равна 49/12; деление на шесть возвращает 49/72.
  5. Среднее превышает prevalence на 49/72−1/2=13/72. Это конечный нулевой сдвиг самой метрики, а не свидетельство полезного ранжирования.

Ответ. Точное среднее случайного AP равно 49/72≈0,68056, что больше 1/2 на 13/72.

Проверка. Для одной положительной метки в том же списке AP принимает 1,1/2,1/3,1/4 с равными вероятностями и имеет среднее 25/48=H₄/4. Для четырёх положительных AP тождественно 1. Обе крайние проверки совпадают с общей формулой.

Где легко ошибиться. Не считайте индикатор положительности позиции независимым от precision на этой же позиции и не используйте m/n как точное конечное E AP.

Проверьте понимание

Каково точное E AP в разобранной равномерной модели двух положительных среди четырёх?

Вопросы к этой главе

Почему случайное среднее больше prevalence?

Каждое усредняемое precision берётся только после фактической положительной находки, которая уже внесла единицу в числитель. Ранние позиции особенно чувствительны к этому собственному вкладу.

Можно ли из 49/72 получить p-значение наблюдённого AP?

Одного среднего недостаточно. Нужен хвост полного перестановочного распределения и заранее выбранное направление сравнения; для четырёх объектов его можно получить из перечисленных шести исходов.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • scikit-learn: average_precision_score, определение AP

    Закрепляет AP как сумму precision с приращениями recall, отличную от трапецеидальной площади. Формула перестановочного математического ожидания здесь самостоятельно получена из индикаторных парных моментов и проверена полным конечным перебором.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться