Вероятность и статистика · учебный маршрут
Качество классификации без автоматических вердиктов
Предсказание и наблюдение образуют разные ошибки; полезная оценка зависит от порога, классов и цели.

Чему научитесь
Сравнивать модели по подходящей метрике и понимать, какие свойства она не измеряет.
Что пригодится
- Вероятность
- Доля
- Среднее значение
10 тем по порядку
Читайте объяснение или сразу переходите к заданию
- Практика
Как одна таблица ошибок даёт разные знаменатели качества
Как из одной таблицы ошибок получить общую долю верных решений, точность положительных ответов, полноту и специфичность, не переставив фактические и предсказанные классы.
- Практика
Как изменение порога строит ROC-кривую
Как последовательно понижать порог оценок и строить точки ROC, правильно выбирать знаменатели FPR и TPR и обрабатывать одинаковые оценки одной группой.
- Практика
Почему PR-кривая меняется при редком положительном классе
Почему одинаковые полнота и частота ложных тревог могут дать разную точность положительных ответов, как читать PR-кривую и учитывать базовую долю класса.
- Практика
Чем калиброванная вероятность отличается от правильного ранжирования
Как сопоставить выданные вероятности с наблюдаемыми частотами, отличить калибровку от ранжирования и увидеть ограничения грубой проверки по группам.
- Практика
Как квадраты вероятностных ошибок оценивают прогнозы
Как средняя квадратичная ошибка вероятностей различает прогнозы с одинаковыми жёсткими метками, почему честная вероятность оптимальна в ожидании и как не смешать шкалы вариантов формулы.
- Практика
Почему уверенная ошибка дорого стоит в логарифмической потере
Как логарифмическая потеря оценивает вероятность фактического исхода, почему уверенная ошибка не равна обычному промаху метки и как отдельно понимать крайние вероятности.
- Практика
Как объединение классов меняет итоговую метрику
Как усреднение по классам отличается от объединения всех ошибок, почему редкий класс может исчезнуть в общем числе и отчего средний F1 не равен F1 средних величин.
- Практика
Как таблица цены ошибок выбирает порог решения
Как из заданных потерь двух типов ошибки вывести порог решения, почему он не обязан равняться половине и какие предположения делают расчёт применимым.
- Практика
Что меняется, если модель может отказаться от ответа
Как оценить модель, которая отвечает только на части объектов, одновременно считать охват и долю ошибок среди принятых решений и не объявлять отказ успехом.
- Практика
Почему несколько определений равенства ошибок могут конфликтовать
Почему равенство двух условных частот ошибок в группах может не дать равенства точности положительных ответов и какие исключения ограничивают этот математический вывод.
Как заниматься
Нужно проходить все темы подряд?
Последовательность помогает связать понятия, но можно открыть любую тему. Если задача уже знакома, начните с практики: ответ сопровождается объяснением.
Что делать, если ответ оказался неверным?
Прочитайте объяснение к ответу и сопоставьте его с разобранным примером. Найдите первый шаг, где ваше рассуждение отличается, затем попробуйте решить задание ещё раз.