Таблицы категорий и качество классификации
Проверять знаменатели категориальных долей, ожидаемые частоты и различия метрик.
Объяснения и разобранные примеры
Что меняется, если модель может отказаться от ответа
Что меняется, если модель может отказаться от ответа. Охват равен доле объектов, на которых модель ответила.
Как таблица цены ошибок выбирает порог решения
таблица цены ошибок выбирает порог решения. Если верные ответы имеют нулевую потерю, ложный положительный стоит C_FP, пропуск — C_FN, то положительное решение минимизирует ожидаемую потерю при p≥C_FP/(C_FP+C_FN), с отдельной оговоркой о равенстве..
Как одна таблица ошибок даёт разные знаменатели качества
одна таблица ошибок даёт разные знаменатели качества. Accuracy делит все верные решения на N, precision — TP на TP+FP, recall — TP на TP+FN, specificity — TN на TN+FP.
Как сравнивать силу категориальной связи в таблицах разного размера
сравнивать силу категориальной связи в таблицах разного размера. Обычный коэффициент Крамера равен V=√(χ²/(N·min(r−1,c−1))).
Почему ожидаемые частоты при независимости равны произведению итогов
Почему ожидаемые частоты при независимости равны произведению итогов. При независимости двух категориальных признаков ожидаемое число в клетке равно итогу её строки, умноженному на итог её столбца и делённому на общий объём: Eᵢⱼ=RᵢCⱼ/N..
Почему уверенная ошибка дорого стоит в логарифмической потере
Почему уверенная ошибка дорого стоит в логарифмической потере. Логарифмическая потеря двоичного прогноза равна −ln p для y=1 и −ln(1−p) для y=0.
Как объединение классов меняет итоговую метрику
объединение классов меняет итоговую метрику. Macro сначала считает метрику каждого класса и усредняет их с одинаковым весом.
Как χ² сравнивает таблицу категорий с независимостью
χ² сравнивает таблицу категорий с независимостью. Статистика Пирсона для таблицы равна χ²=Σ(Oᵢⱼ−Eᵢⱼ)²/Eᵢⱼ.
Какие клетки дают основной вклад в χ²
Какие клетки дают основной вклад в χ². Остаток Пирсона клетки равен rᵢⱼ=(Oᵢⱼ−Eᵢⱼ)/√Eᵢⱼ.
Как коэффициент φ описывает связь двух двоичных признаков
коэффициент φ описывает связь двух двоичных признаков. Для таблицы два на два φ=(ad−bc)/√((a+b)(c+d)(a+c)(b+d)).
Почему PR-кривая меняется при редком положительном классе
Почему PR-кривая меняется при редком положительном классе. PR-кривая сопоставляет precision=TP/(TP+FP) с recall=TP/(TP+FN) по порогам.
Как изменение порога строит ROC-кривую
изменение порога строит ROC-кривую. ROC строит TPR=TP/P по вертикали против FPR=FP/N₀ по горизонтали при разных порогах.
Почему число свободных клеток меньше числа всех клеток
Почему число свободных клеток меньше числа всех клеток. У полной таблицы r×c с заданными итогами строк и столбцов свободны (r−1)(c−1) клеток.
Как складывать вероятности таблиц в двустороннем тесте Фишера
Перебрать условное распределение таблиц 2×2 с фиксированными полями и вычислить двустороннее p по вероятности наблюдаемой таблицы.
Проверить на своих данных
Откройте подходящий инструмент и попробуйте свои данные.
Ожидаемые частоты и χ² таблицы сопряжённости
Расчёт ожидаемых частот при независимости, описательной статистики Пирсона и предупреждений о малых ожиданиях.
Открыть инструментДоли из таблицы бинарной классификации
Точные accuracy, precision, recall, specificity и F1 из четырёх количеств с явным неопределённым нулевым знаменателем.
Открыть инструментТочный двусторонний критерий Фишера для таблицы 2×2
Перебрать таблицы с фиксированными полями и суммировать вероятности не выше наблюдаемой, явно задав двустороннюю договорённость.
Открыть инструментЧастые вопросы
Как работать с темой «Таблицы категорий и качество классификации»?
Выберите объяснение из списка, восстановите ход примера своими словами и ответьте на проверочный вопрос. Если к теме подключён инструмент, им можно проверить свои данные.
Можно ли вернуться к более простой теме?
Да. Откройте учебную карту или ссылки на необходимые основы перед списком материалов. Уровень по классу помогает выбрать сложность и не ограничивает доступ.