Вероятность и статистика · объяснение и практика

Как изменение порога строит ROC-кривую

Как последовательно понижать порог оценок и строить точки ROC, правильно выбирать знаменатели FPR и TPR и обрабатывать одинаковые оценки одной группой.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Таблицы категорий и качество классификации · Учебная карта

В маршруте Качество классификации без автоматических вердиктов · 10 тем

Главная мысль

ROC строит TPR=TP/P по вертикали против FPR=FP/N₀ по горизонтали при разных порогах. Здесь P,N₀ — количества фактических положительных и отрицательных объектов.

Оценка и жёсткая метка — разные данные

Пусть модель выдаёт числовую оценку, где больше означает более уверенное отнесение к положительному классу. Зафиксируем правило: положительный ответ даётся при оценке не меньше порога. Смена порога изменяет метки, хотя сами оценки и реальные классы остаются теми же. Поэтому одной таблицы ошибок для всей ROC-кривой недостаточно.

Для каждого порога считаем найденные положительные TP и ложные положительные FP. Делим TP на все P фактических положительных, FP — на все N₀ фактических отрицательных. Знаменатели при движении порога не меняются. Доля FP среди положительных ответов была бы другой метрикой и не является горизонтальной координатой ROC.

Равные оценки переходят через порог вместе

Возьмём положительные объекты с оценками 0,9;0,6;0,2 и отрицательные с оценками 0,8;0,6;0,1. Выше 0,9 никто не выбран, точка равна (0,0). На пороге 0,9 получаем (0,1/3), на 0,8 — (1/3,1/3). На 0,6 одновременно добавятся один положительный и один отрицательный, давая (2/3,2/3).

Нельзя внутри блока оценок 0,6 произвольно пропустить сначала только правильный объект и нарисовать недостижимый порог. Числовое правило не различает их равные значения. Дальше порог 0,2 даёт (2/3,1), а 0,1 — (1,1). При понижении порога обе координаты не убывают.

Пример

Почему precision не обязана не убывать при том же движении?

Она делит TP на изменяющееся число всех выбранных. В очередной блок могут попасть в основном отрицательные или положительные объекты, поэтому поведение отличается от накопительных TPR и FPR.

Кривая не выбирает рабочее решение автоматически

Разные участки ROC соответствуют разному обмену пропусков и ложных тревог. Для выбора рабочего порога нужны условия задачи и последствия ошибок. Одна площадь под кривой описывает ранжирование, но не гарантирует удобный конкретный порог, хорошую калибровку вероятностей или приемлемое число ложных срабатываний.

Если в проверочной выборке нет одного из реальных классов, соответствующий знаменатель равен нулю и обычная ROC не определена. Также нужно помнить о размерах классов: небольшой FPR при огромном количестве отрицательных может означать много ложных ответов. Поэтому вместе с точкой кривой полезно восстанавливать фактические количества TP и FP.

От чтения к действию

А теперь — вы

На проверке 4 положительных и 6 отрицательных объектов. При пороге получены TP=3,FP=2. Какова ROC-точка (FPR,TPR)?

Частые вопросы

Можно ли разделить объекты с одинаковой оценкой разными порогами?

Нет, если решение зависит только от этой оценки и одного общего порога. Они переходят границу одним блоком.

Является ли FPR долей ошибок среди всех положительных ответов?

Нет. FPR делит FP на фактические отрицательные, а доля ложных среди положительных ответов использует TP+FP.

Углублённый разбор

AUC как вероятность ранжирования с половиной ничьих

AUC можно вычислить как долю правильно упорядоченных положительно-отрицательных пар. Равные оценки получают половину успеха, что согласуется с целым блоком порога.

Перед началом: Матрица ошибок и условные частоты классов; Пороговый рейтинг и вероятностный прогноз.

Определение и постановка

Для независимого положительного и отрицательного объектов AUC=P(S⁺>S⁻)+½P(S⁺=S⁻), если большая оценка означает более положительный класс.

Вывод и вычислительный критерий

В конечной проверке перебирают все P·N пар классов. Правильно упорядоченная пара вносит1, неправильная0, равная1/2. Деление суммы на число пар даёт эмпирическую U-статистику.

Половина ничьей соответствует случайному порядку внутри связанного блока без доступа к истинным меткам. Она также совпадает с площадью трапеции между соседними достижимыми ROC-точками, когда весь блок одинаковых оценок проходит порог одновременно.

Нельзя внутри ничьей специально ставить положительные объекты первыми: это использует ответ при оценке рейтинга. Тогда получится искусственно завышенная площадь, недостижимая одним числовым порогом исходного score.

Условия и границы вывода

Все попарные сравнения не являются независимыми наблюдениями: один положительный объект участвует сразу в N парах. Поэтому обычная ошибка среднего P·N независимых индикаторов обычно неверна. Для доверительного интервала нужен метод, учитывающий эту структуру.

Строго возрастающее преобразование оценок сохраняет все сравнения и AUC. Оно способно изменить калибровку вероятностей, поэтому одинаковая AUC не доказывает одинаковую численную уверенность.

Если один класс отсутствует, число пар равно нулю и обычная AUC не определена. При обращении направления score строгие победы меняются местами с поражениями, ничьи сохраняются; итог становится1−AUC при одинаковом соглашении о половине ничьих.

Если поменять знак всех оценок примера, три строгие победы превратятся в поражения, а одна ничья останется. Новый результат равен(1/2)/4=1/8, то есть1−7/8. Этот инвариант проверяет направление score и половинный учёт связанности одновременно.

Если все оценки равны, каждая положительно-отрицательная пара является ничьёй и AUC равна половине. Это даёт простой крайний тест соглашения. Строго возрастающее преобразование всех оценок сохраняет как победы, так и ничьи, тогда как округление способно создать новые равенства и изменить итоговую площадь.

Разобранная задача

Условие. Положительные объекты имеют оценки3/4 и1/2, отрицательные1/2 и1/4. Найдите AUC полным попарным сравнением.

  1. Первый положительный3/4 превосходит оба отрицательных и даёт две победы.
  2. Второй положительный1/2 равен одному отрицательному и превосходит второй; вклад равен1/2+1.
  3. Всего четыре пары, суммарный вклад равен7/2.
  4. AUC=(7/2)/4=7/8.

Ответ. AUC равна7/8 с половинным учётом единственной ничьей.

Проверка. ROC идёт через точки(0,0),(0,1/2),(1/2,1),(1,1). Первая ненулевая трапеция имеет площадь3/8, последняя1/2; сумма7/8 подтверждает попарный результат.

Где легко ошибиться. Равные оценки не позволяют выбрать полезный порядок по истинным меткам; половина ничьей сохраняет честное соглашение ранжирования.

Проверьте понимание

Какой вклад получает равная пара положительной и отрицательной оценок?

Вопросы к этой главе

Равна ли AUC доле правильно классифицированных?

Нет. Она сравнивает ранги пар без одного рабочего порога. Хорошее ранжирование может сопровождаться неудобной точкой классификации или неверными вероятностями.

Меняет ли доля положительных AUC?

При неизменных условных законах оценок двух классов популяционное попарное определение сохраняется. Но конечная неопределённость зависит от фактических размеров обоих классов.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • scikit-learn: classification metrics

    Целенаправленно прочитаны определения balanced accuracy, многоклассового MCC, macro-усреднения, Jaccard и ROC. Порог с учётом априорной частоты, центрированные one-hot векторы и контрпримеры агрегации выведены самостоятельно.

Линии равного риска и выпуклая оболочка ROC

Линии равного риска выбирают рабочую ROC-точку по доле классов и цене ошибок. Площадь под всей кривой не решает эту локальную задачу.

Перед началом: Матрица ошибок и условные частоты классов; Пороговый рейтинг и вероятностный прогноз.

Определение и постановка

Для точки(f,t)=(FPR,TPR) ожидаемый риск равенπC_FN(1−t)+(1−π)C_FP f. Все коэффициенты и доляπ относятся к целевой среде использования.

Вывод и вычислительный критерий

При фиксированном риске t линейно растёт с f, а наклон линии равен(1−π)C_FP/(πC_FN), если знаменатель положителен. Сдвиг такой линии к верхнему левому краю показывает минимальный достижимый риск.

Если случайно выбирать между двумя правилами с вероятностямиλ и1−λ независимо от объекта, их TPR,FPR и риск также смешиваются с этими весами. Поэтому рандомизация позволяет получить отрезки между ROC-точками.

Точки ниже верхней выпуклой оболочки доминируются некоторой смесью. При линейном риске минимум на конечной оболочке достигается на опорной вершине либо на целом опорном отрезке при совпадении наклона. Добавление смесей не может дать риск ниже наименьшего риска их концов для уже выбранной линейной цены.

Условия и границы вывода

Рандомизированный выбор правил должен быть независим от неизвестного истинного класса. Смешивание по ответам после их раскрытия не является допустимым классификатором и искусственно улучшает ROC.

Сменаπ или цен меняет опорный наклон и способна выбрать другую вершину той же кривой. Поэтому единственного универсального «лучшего порога» без цели риска не существует.

Эмпирические ROC-точки имеют неопределённость. Выбор минимального наблюдённого риска на той же проверке создаёт оптимизм, который нужно учитывать отдельным тестовым набором либо другой заранее объявленной процедурой. Геометрическая оптимизация не устраняет статистическую ошибку оценённых координат.

Уровни риска являются прямыми на плоскости FPR,TPR с наклоном, заданным отношением цен и долей классов. Оптимум конечного набора точек и их случайных смесей достигается на выпуклой границе. При точном совпадении наклонов целое ребро может быть оптимальным, поэтому единственность лучшего правила требует проверки строгих неравенств.

Разобранная задача

Условие. Доступны правилаA:(0,0), B:(1/4,3/4), C:(1,1). Приπ=1/4,C_FN=4,C_FP=1 найдите минимальный риск и объясните, поможет ли смесьA иC.

  1. Коэффициент пропускаπC_FN равен1, ложной тревоги(1−π)C_FP равен3/4.
  2. РискA равен1; рискC равен3/4.
  3. РискB равен1·(1−3/4)+(3/4)·1/4=1/4+3/16=7/16.
  4. Любая смесьA иC имеет риск между3/4 и1, поэтому не улучшает B.

Ответ. Выбирается правилоB с риском7/16; смесь крайних правил его не превосходит.

Проверка. Линия равного риска имеет наклон3/4. Прямое перечисление трёх вершин и линейность риска на каждом соединяющем отрезке дают полный сертификат минимума без непрерывного поиска порога.

Где легко ошибиться. Высшая полнота сама по себе не минимизирует риск: правилоC находит всех положительных, но создаёт слишком много ложных ответов.

Проверьте понимание

Каков риск независимой случайной смеси двух фиксированных правил?

Вопросы к этой главе

Может ли целый отрезок быть оптимален?

Да. Если линия равного риска параллельна соответствующему ребру оболочки, обе вершины и все их независимые смеси имеют одинаковую цену.

Нужна ли калибровка score для этого расчёта?

Нет, если уже известны верные условные ROC-координаты правил. Ноπ и цены должны относиться к целевой среде; перенос координат требует стабильности условных распределений.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • scikit-learn: classification metrics

    Целенаправленно прочитаны определения balanced accuracy, многоклассового MCC, macro-усреднения, Jaccard и ROC. Порог с учётом априорной частоты, центрированные one-hot векторы и контрпримеры агрегации выведены самостоятельно.

Частичная AUC в заданном диапазоне ложных тревог

Полная ROC-площадь может скрыть слабое качество в рабочей области редких ложных тревог. Частичная площадь фиксирует интересующий диапазон FPR. Для осмысленного сравнения нужно дополнительно назвать интерполяцию границы и способ нормировки.

Перед началом: Условные вероятности бинарных классов; Математическое ожидание и показатели классификации.

Рабочая область задаётся до сравнения

Пусть ROC-кривая имеет TPR как функцию допускаемой FPR. При заранее выбранном 0<α≤1 сырая частичная площадь равна Aα=∫₀ᵅTPR(u)du. Она лежит между нулём и α. Поэтому её нельзя напрямую сравнивать с полной AUC на шкале от нуля до единицы или между разными α без объявления нормировки.

Эмпирическую кривую строят по блокам одинаковых скоров. Вертикальные участки не добавляют площади, горизонтальные добавляют ширину, умноженную на TPR. Если α обрезает наклонный участок выбранной линейной ROC-интерполяции, граничную TPR находят интерполяцией и интегрируют только нужную часть. Такая интерполяция может описывать рандомизацию между порогами; её нельзя молча выдавать за отдельный детерминированный порог.

Разные шкалы отвечают разным вопросам

Деление Aα на α даёт среднюю TPR внутри рабочего диапазона, максимум которой равен единице. У случайного диагонального рейтинга Aα=α²/2, поэтому эта простая нормировка имеет случайный ориентир α/2, а не 1/2. При α<1 нельзя автоматически переносить привычную интерпретацию полной AUC.

Одна распространённая стандартизация задаёт Sα=(1/2)[1+(Aα−α²/2)/(α−α²/2)]. Она отправляет диагональный ориентир в 1/2, идеальный рейтинг в единицу и при α=1 возвращает полную AUC. Это ещё одна явно заданная шкала, не тождественная Aα/α. У результата ниже диагонального ориентира стандартизованное число может быть меньше 1/2.

Объём данных ограничивает разрешение

Если отрицательных объектов мало, один ложноположительный исход делает большой скачок FPR. Тогда очень маленький α оценивается лишь по небольшой части кривой и зависит от объявленной интерполяции. Точность хвостовой области нужно оценивать отдельно; большая полная проверочная выборка не гарантирует много отрицательных объектов именно в нужном участке ранжирования.

Порядок объектов важен, но сама частичная площадь не оценивает вероятностную калибровку. Также она не выбирает единственный рабочий порог и не задаёт цену ошибок. Диапазон α следует определить по задаче заранее, иначе выбор лучшего участка после просмотра нескольких моделей создаёт дополнительную процедуру отбора.

Рабочая область до трёх восьмых ложных тревог

Условие. По убыванию восьми различных скоров классы идут P,N,P,N,P,N,P,N; положительных и отрицательных по четыре. Найдите сырую частичную ROC-площадь до α=3/8, её деление на α и указанную стандартизацию.

  1. После первого положительного TPR=1/4 при FPR=0. На участке FPR от нуля до 1/4 высота равна 1/4, площадь 1/16.
  2. После второго положительного высота становится 1/2. До границы 3/8 остаётся ширина 1/8, добавляющая ещё 1/16. Поэтому Aα=1/8.
  3. Простая нормировка Aα/α=(1/8)/(3/8)=1/3. Диагональный ориентир равен α²/2=9/128, идеальная площадь — 3/8=48/128.
  4. Стандартизованное значение равно (1/2)[1+(16/128−9/128)/(48/128−9/128)]=23/39. Полная AUC для данного порядка равна 10/16=5/8 и является другим показателем.

Ответ. Сырая частичная площадь — 1/8, средняя TPR на диапазоне — 1/3, стандартизованная частичная AUC — 23/39.

Проверка. Перечисление всех шестнадцати пар P,N даёт десять правильных полных ранжирований, подтверждая полную AUC=5/8. Отдельное суммирование двух обрезанных ROC-прямоугольников проверяет Aα=1/8.

Где легко ошибиться. Слово «нормированная» без формулы недостаточно. Числа 1/3 и 23/39 одинаково выводятся из одной сырой площади, но используют разные ориентиры и потому не должны смешиваться в сравнительной таблице.

Проверьте понимание

Какова сырая частичная площадь до FPR=3/8 в указанном ранжировании?

Вопросы к этой главе

Нужны ли вероятностные скоры?

Нет, ROC зависит от порядка, включая ничьи. Строго возрастающее преобразование сохраняет кривую и её частичную площадь при неизменном правиле обработки равных оценок.

Почему не взять только готовые ROC-точки до α?

Если следующая точка пересекает границу, получится другая усечённая область. При объявленной интерполяции нужно достроить точку на самой границе, а не произвольно уменьшать диапазон.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • scikit-learn: roc_auc_score, max_fpr

    Прочитана официальная документация max_fpr: стандартизованная partial AUC на [0,max_fpr] и отдельная бинарная область применения. Все три шкалы определены явно здесь; собственные восемь различных скоров проверены прямоугольниками и полным парным перебором.

Парное сравнение AUC: совместные вклады одних и тех же объектов

Две модели, проверенные на одних объектах, имеют связанные оценки AUC. Парное сравнение сохраняет эту связь вместо сложения дисперсий так, будто тестовые наборы независимы.

Перед началом: Условная вероятность; Точная арифметика.

AUC разлагается по положительным и отрицательным объектам

Для m положительных и n отрицательных объектов AUC равна среднему mn сравнений ψ(s⁺,s⁻), где ψ равно единице при победе положительного score, половине при ничьей и нулю при проигрыше. Для каждой модели можно получить средний вклад каждого положительного объекта по всем отрицательным и каждого отрицательного по всем положительным. Эти вклады отражают, какие именно объекты делают ранжирование трудным.

Разность имеет собственные объектные вклады

Для сравнения моделей A и B сначала вычитаем их вклады у одних и тех же положительных объектов и аналогично у отрицательных. Среднее разностей равно разности AUC. Асимптотическая U-статистическая оценка дисперсии использует выборочную дисперсию положительных разностей, делённую на m, плюс отрицательных, делённую на n. Это известная структура метода DeLong для независимых объектов внутри классов; маленькие выборки и вырожденные вклады ограничивают точность нормального приближения.

Парность не означает одинаковое качество

Если обе модели совершают похожие ранговые ошибки, ковариация AUC положительна и ошибка разности может быть меньше ошибки отдельных площадей. Если их ошибки расходятся, картина другая. При независимых тестовых наборах парное вычитание вкладов невозможно и нужна соответствующая независимая схема. Повторные объекты одного пациента или группы нарушают независимость единиц и требуют учёта кластеров. Одного совпадения чисел AUC недостаточно для вывода о равенстве моделей на новой популяции.

Разобранная задача

Условие. Два положительных и два отрицательных объекта имеют scores модели A: положительные (3,1), отрицательные (2,0); модели B: положительные (3,2), отрицательные (1,0). Найдите AUC и парные положительные и отрицательные вклады разности B−A.

  1. У A положительные вклады равны 1 и 1/2, значит AUC_A=3/4. Отрицательные вклады равны 1/2 и 1.
  2. У B каждый положительный превосходит каждого отрицательного, поэтому все объектные вклады равны единице и AUC_B=1.
  3. Положительные разности B−A равны 0 и 1/2. Отрицательные разности равны 1/2 и 0; обе средние равны 1/4.
  4. Выборочная дисперсия каждого двухэлементного списка равна 1/8. Формальная DeLong-оценка дисперсии разности равна (1/8)/2+(1/8)/2=1/8.

Ответ. Разность AUC равна 1/4. Её парные вклады сохраняют идентичность объектов; формальная оценка дисперсии 1/8 не является точной гарантией для такой маленькой выборки.

Проверка. Перечисление четырёх межклассовых сравнений даёт у A три победы из четырёх, у B — четыре. Их разность ровно одна победа из четырёх, независимо подтверждая среднее объектных вкладов.

Где легко ошибиться. Не считайте четыре межклассовые пары независимыми: один объект участвует в нескольких парах. Также не выдавайте асимптотическую нормальную проверку на двух объектах каждого класса за надёжную конечную оценку.

Проверьте понимание

Какова разность AUC_B−AUC_A?

Вопросы к этой главе

Зачем хранить исходные scores обеих моделей?

Они позволяют сопоставить объектные вклады и их ковариацию. Два отдельных итоговых AUC не содержат информации о совместном расположении ошибок.

Что изменяют ничьи?

В каждой паре используют половинный вклад, и те же значения проходят в объектные средние. Произвольное разрушение ничьих изменяет исходную оценку и её сравнение.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

Конформное множество меток: конечновыборочное покрытие из ранга

Для множества возможных меток не обязательно знать правильные вероятности классов. Достаточно сравнить несоответствие будущей истинной метки с обменными калибровочными оценками. Поправка n+1 учитывает сам будущий объект; обычный эмпирический процентиль без неё способен дать недостаточное покрытие.

Перед началом: Обменность и равномерный ранг; Порядковые статистики и разделение обучающей выборки.

Сначала фиксируют правило измерения несоответствия

Модель и функция несоответствия s(x,y) зафиксированы до калибровки. n калибровочных пар и одна будущая пара обменны условно на обучение; 0<α<1. Вывод относится к маргинальному покрытию множества меток.

На независимой обучающей части строят модель и задают s(x,y), где большое значение означает менее подходящую метку. Например, s=1−p̂_y(x) использует численные выходы классификатора. Эти выходы не обязаны быть истинными posterior-вероятностями; для покрытия важен одинаковый способ расчёта на калибровочных и будущей парах, а не идеальная калибровка самой модели.

Получаем Sᵢ=s(Xᵢ,Yᵢ) на n отложенных парах и сортируем их. Положим k=ceil((n+1)(1−α)). Если k≤n, выбираем q=S_(k); если k=n+1, назначаем q=+∞. Ответ C(x)={y:s(x,y)≤q}. Здесь калибровочные истинные метки нужны для порога, а будущие кандидаты проверяются по одному фиксированному правилу.

Будущий объект занимает один из n+1 рангов

При отсутствии совпадений обменность делает ранг будущего S среди всех n+1 оценок равномерным. Событие попадания истинной метки в C совпадает с рангом не больше k, если k≤n. Поэтому P(Y_new∈C(X_new))=k/(n+1)≥1−α. Утверждение усредняет одновременно случайную калибровку и будущий объект.

При совпадениях можно мысленно добавить независимые непрерывные метки для случайного разрешения равных рангов. Исходное правило с включающим неравенством ≤ принимает не меньше случаев, чем такое строго упорядоченное сравнение. Поэтому нижняя гарантия сохраняется и может стать консервативной. Удалять равные граничные значения без нового рандомизированного правила нельзя.

Покрытие не равняется условной точности каждого ответа

Множество может содержать несколько меток, а иногда быть пустым. Гарантия говорит о вероятности включения истинного класса в повторном опыте. Она не утверждает, что каждый конкретный объект или каждая подгруппа имеет покрытие 1−α. Она также не превращает размер множества в откалиброванную вероятность ошибки именно этого объекта.

Если n мало и k=n+1, максимальная наблюдённая оценка не заменяет бесконечный порог. Для непрерывных обменных оценок максимум n калибровочных покрывает лишь долю n/(n+1), которая может быть ниже цели. Переобучение score по тем же калибровочным ответам или сдвиг распределения нарушают простое ранговое доказательство и требуют отдельного метода.

Девять калибровочных оценок и две допустимые метки

Условие. α=1/5,n=9. Отсортированные оценки истинных меток равны (1/10,1/5,1/4,3/10,2/5,1/2,3/5,7/10,4/5). Для нового объекта модель выдаёт p̂=(9/20,7/20,1/5) по меткам A,B,C; score равен 1−p̂_y. Найдите множество.

  1. Порядковый номер k=ceil(10·4/5)=8. Поэтому q — восьмая оценка, то есть 7/10, без интерполяции между соседними значениями.
  2. Оценки трёх кандидатов равны s_A=11/20,s_B=13/20,s_C=4/5. Сравниваем каждую с 7/10.
  3. Первые две оценки не превосходят порог, третья больше него. Получаем C(x)={A,B}; вероятностные выходы не суммировались до заранее выбранного процента.
  4. При непрерывных обменных оценках ровно восемь из десяти возможных рангов будущей истинной оценки дают покрытие, то есть 4/5. При совпадениях включающий порог может принять больше случаев.
  5. Если вместо этого было бы n=3 и α=1/10, получаем k=ceil(4·9/10)=4=n+1. Порог +∞ включает все метки; максимум трёх оценок имел бы лишь 3/4 непрерывного покрытия и не обеспечил бы 9/10.

Ответ. Для данного объекта множество равно {A,B}, порог 7/10. Гарантия не меньше 4/5 относится к повторному обменному опыту, а не к условной вероятности именно этой пары меток.

Проверка. Неравенство 1−p̂_y≤7/10 равносильно p̂_y≥3/10. Вероятности A=9/20 и B=7/20 проходят эту независимую проверку, C=1/5 — нет. Ранговый перебор даёт восемь принимаемых рангов из десяти.

Где легко ошибиться. Не используйте обычный интерполированный квантиль и не объявляйте маргинальное покрытие условной гарантией для каждого объекта после фиксации одной калибровки.

Проверьте понимание

Какое множество выдаёт процедура для нового объекта в основном примере статьи?

Вопросы к этой главе

Нужно ли сначала идеально откалибровать p̂?

Нет. Для этой гарантии score должен быть фиксирован и применён одинаково к обменным данным. Плохая модель способна давать большие малоинформативные множества, сохраняя покрытие.

Почему при маленьком n нужен бесконечный порог?

Будущий объект тоже занимает один из n+1 рангов. Если требуемый ранг равен n+1, никакая конечная калибровочная порядковая статистика не обеспечивает нужную границу без дополнительных предположений.

Сверить определения и условия

Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.

  • Angelopoulos, Bates: A Gentle Introduction to Conformal Prediction, §1 и AppendixD

    Формулирует split-conformal множество и конечновыборочное ранговое покрытие с поправкой n+1. Здесь собственные рациональные оценки позволяют проверить множество, включающие ничьи и бесконечный порог при недостаточной калибровке.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться