Вероятность и статистика · объяснение и практика
Что меняется, если модель может отказаться от ответа
Как оценить модель, которая отвечает только на части объектов, одновременно считать охват и долю ошибок среди принятых решений и не объявлять отказ успехом.

В теме Таблицы категорий и качество классификации · Учебная карта
В маршруте Качество классификации без автоматических вердиктов · 10 тем
Главная мысль
Охват равен доле объектов, на которых модель ответила. Условная ошибка считается только среди принятых решений; её нужно сообщать вместе с охватом, иначе высокий результат может скрыть почти полный отказ.
Решение и разрешение отвечать задаются отдельно
У модели с отказом есть правило предсказания и правило отбора объектов для ответа. Отказ не является автоматически ни верным, ни неверным положительным решением: это отдельное действие. Поэтому сначала фиксируют, какие объекты приняты, а затем сравнивают выданные на них метки с фактическими.
На конечной проверке из N объектов модель приняла M. Охват равен M/N, доля ошибок среди принятых — E/M, где E означает число ошибочных ответов. Доля верных среди принятых составляет 1−E/M. Если M=0, охват нулевой, а условные доли не определены: нельзя объявить идеальное качество из-за отсутствия ошибок без единого ответа.
Одна точность не описывает объём выполненной работы
Из ста файлов модель обработала шестьдесят и дала три неверные метки. Охват составляет 60%, условная ошибка 3/60=5%, условная accuracy 57/60=95%. При этом верные автоматические решения получены только для 57% всего потока. Остальные сорок файлов ещё требуют другого способа обработки.
Другая модель могла бы ответить лишь на двадцати файлах без ошибок. Её условная accuracy равна 100%, но охват всего 20%. Одного процента качества недостаточно, чтобы назвать такую систему лучшей для всей задачи. Нужно учитывать допустимый отказ, оставшуюся работу и последствия ошибок, не смешивая эти разные измерения.
Пример
Что показывает кривая ошибки против охвата?
Она сравнивает несколько правил отбора или порогов, показывая одновременно, какая часть объектов принята и сколько ошибок осталось внутри принятой части.
Ужесточение отбора не гарантирует улучшение на любой выборке
Обычно отбор по надёжной уверенности позволяет уменьшать условную ошибку ценой меньшего охвата. Но это не математическая гарантия для произвольной оценки: правило может отвергать простые объекты и оставлять сложные. Поэтому кривую проверяют по фактическим независимым данным, а не выводят из одного заявления об уверенности.
Если механизм отказа настроен на известные проверочные ответы, оценка становится оптимистичной. Также две группы объектов могут иметь разные охваты, что скрывается за общей средней величиной. Полезный отчёт сохраняет N,M,E и правило отбора, чтобы восстановить знаменатели. Отказ может быть содержательно разумным действием, но не должен использоваться как способ молча удалить неудобные случаи из оценки полного процесса.
От чтения к действию
А теперь — вы
Частые вопросы
Считать ли отказ правильным ответом?
Не автоматически. Это отдельное действие со своими последствиями; условную accuracy вычисляют по тем объектам, где ответ действительно выдан.
Обязательно ли ошибка уменьшится после снижения охвата?
Нет. Это зависит от качества правила отбора и конкретной выборки. Произвольный отбор может даже оставить более сложные случаи.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как таблица цены ошибок выбирает порог решения
Как из заданных потерь двух типов ошибки вывести порог решения, почему он не обязан равняться половине и какие предположения делают расчёт применимым.
Открыть темуКак одна таблица ошибок даёт разные знаменатели качества
Как из одной таблицы ошибок получить общую долю верных решений, точность положительных ответов, полноту и специфичность, не переставив фактические и предсказанные классы.
Открыть тему