Вероятность и статистика · учебный маршрут

Качество классификации без автоматических вердиктов

Предсказание и наблюдение образуют разные ошибки; полезная оценка зависит от порога, классов и цели.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

Чему научитесь

Сравнивать модели по подходящей метрике и понимать, какие свойства она не измеряет.

Что пригодится

  • Вероятность
  • Доля
  • Среднее значение

10 тем по порядку

Читайте объяснение или сразу переходите к заданию

  1. Как одна таблица ошибок даёт разные знаменатели качества

    Как из одной таблицы ошибок получить общую долю верных решений, точность положительных ответов, полноту и специфичность, не переставив фактические и предсказанные классы.

    Практика
  2. Как изменение порога строит ROC-кривую

    Как последовательно понижать порог оценок и строить точки ROC, правильно выбирать знаменатели FPR и TPR и обрабатывать одинаковые оценки одной группой.

    Практика
  3. Почему PR-кривая меняется при редком положительном классе

    Почему одинаковые полнота и частота ложных тревог могут дать разную точность положительных ответов, как читать PR-кривую и учитывать базовую долю класса.

    Практика
  4. Чем калиброванная вероятность отличается от правильного ранжирования

    Как сопоставить выданные вероятности с наблюдаемыми частотами, отличить калибровку от ранжирования и увидеть ограничения грубой проверки по группам.

    Практика
  5. Как квадраты вероятностных ошибок оценивают прогнозы

    Как средняя квадратичная ошибка вероятностей различает прогнозы с одинаковыми жёсткими метками, почему честная вероятность оптимальна в ожидании и как не смешать шкалы вариантов формулы.

    Практика
  6. Почему уверенная ошибка дорого стоит в логарифмической потере

    Как логарифмическая потеря оценивает вероятность фактического исхода, почему уверенная ошибка не равна обычному промаху метки и как отдельно понимать крайние вероятности.

    Практика
  7. Как объединение классов меняет итоговую метрику

    Как усреднение по классам отличается от объединения всех ошибок, почему редкий класс может исчезнуть в общем числе и отчего средний F1 не равен F1 средних величин.

    Практика
  8. Как таблица цены ошибок выбирает порог решения

    Как из заданных потерь двух типов ошибки вывести порог решения, почему он не обязан равняться половине и какие предположения делают расчёт применимым.

    Практика
  9. Что меняется, если модель может отказаться от ответа

    Как оценить модель, которая отвечает только на части объектов, одновременно считать охват и долю ошибок среди принятых решений и не объявлять отказ успехом.

    Практика
  10. Почему несколько определений равенства ошибок могут конфликтовать

    Почему равенство двух условных частот ошибок в группах может не дать равенства точности положительных ответов и какие исключения ограничивают этот математический вывод.

    Практика

Как заниматься

Нужно проходить все темы подряд?

Последовательность помогает связать понятия, но можно открыть любую тему. Если задача уже знакома, начните с практики: ответ сопровождается объяснением.

Что делать, если ответ оказался неверным?

Прочитайте объяснение к ответу и сопоставьте его с разобранным примером. Найдите первый шаг, где ваше рассуждение отличается, затем попробуйте решить задание ещё раз.

Все темы: Вероятность и статистика