Математическая статистика

Категориальные таблицы, регрессия и оценка классификаторов: выбирайте критерий, проверяйте знаменатели и отделяйте данные от модели.

Классификатор может правильно ответить в 98 случаях из 100 и пропустить все два редких положительных случая. Общая доля правильных ответов тогда скрывает именно ту ошибку, ради которой собирали данные. Статистический вывод начинается с вопроса и знаменателя, а не с одного итогового числа.

В модулях есть таблицы категорий, регрессия, классификация, имитационные оценки и статистические решения. Для каждого расчёта отделяйте наблюдения от принятой модели: независимость, способ отбора и выбор порога определяют, что можно заключить. Вычисленная метрика описывает данные в своём контексте и сама не устанавливает причину различия.

Основные идеи

Модель независимости для таблицы

При независимости двух категориальных признаков ожидаемая частота клетки равна произведению итогов её строки и столбца, делённому на общий объём. Это ожидаемое значение модели, оно может быть дробным.

При итогах строки 30, столбца 20 и общем числе 100 ожидаемая частота равна 30·20/100=6.

Остаток и критерий потерь

Остаток обычно задают как наблюдение минус прогноз. Метод наименьших квадратов выбирает параметры по сумме квадратов остатков. Качество подгонки нужно отделять от проверки на новых данных.

Для наблюдений 2, 4, 9 постоянный прогноз 5 даёт остатки −3, −1, 4 и сумму квадратов 26.

Метрики редкого положительного класса

Полнота TP/(TP+FN) отвечает, какую долю истинно положительных нашли. Точность положительных предсказаний TP/(TP+FP) показывает, какая доля сигналов верна. У них разные знаменатели и разные последствия изменения порога.

При TP=12, FN=3, FP=8 полнота равна 12/15=0,8, а точность сигналов 12/20=0,6.

Темы направления

Статистика категорий: таблицы и проверка независимости

Обзор модуля

Ожидаемые частоты, χ² Пирсона, степени свободы и условная модель Фишера: выбор расчёта для таблиц категорий с независимыми наблюдениями.

Регрессия: критерий потерь, остатки и веса наблюдений

Обзор модуля

Постройте линейную модель, проверьте знаки остатков и смысл квадратичных потерь. Затем сравните обычную и взвешенную подгонку, не смешивая веса с частотами ошибок.

Оценка классификатора: порог, редкий класс и калибровка

Обзор модуля

Свяжите таблицу ошибок с precision, recall и специфичностью. Разведите выбор порога, macro/micro усреднение, ROC/PR-кривые и проверку вероятностных прогнозов.

Монте-Карло: оценка и уменьшение дисперсии

Обзор модуля

Оценка площади случайными точками, антитетические пары, контрольная величина, выборка по важности и стратификация с проверкой весов и неопределённости.

Статистические решения: достаточность, мощность и ложные находки

Обзор модуля

Как сохранить информацию параметра, уменьшить дисперсию оценки и точно назвать критерий ошибки тестирования.

Разобранный пример

Разобрать таблицу ошибок вместо одной доли

На проверочной выборке TP=12, FN=3, FP=8, TN=77. Найдите полноту, точность положительных предсказаний и общую долю правильных ответов.

  1. Истинных положительных объектов 12+3=15; полнота равна 12/15=0,8.
  2. Положительных сигналов 12+8=20; точность этих сигналов равна 12/20=0,6.
  3. Всего объектов 100, верных ответов 12+77=89; общая доля равна 0,89.

Ответ: Полнота 80%, точность положительных сигналов 60%, общая доля правильных ответов 89%.

Проверка: Строки и столбцы таблицы дают один общий объём 100. Разница между 80% и 60% объясняется знаменателями 15 и 20; перестановка этих знаменателей меняет смысл ответа.

Проверьте понимание

Какая величина отвечает на вопрос «какую долю настоящих положительных мы нашли»?

Вопросы по направлению

Почему значимое различие не доказывает причинность?

Критерий оценивает согласие данных с конкретной статистической моделью. Смешивающие факторы, отбор и устройство эксперимента требуют отдельного анализа; малая вероятность данных при нулевой модели не устраняет эти проблемы.

Можно ли выбирать порог по проверочной выборке и на ней же отчитаться?

Такой выбор использует ответы проверки для настройки. Полученная оценка уже не является независимой проверкой выбранного порога. Нужны раздельные этапы настройки и итоговой оценки или соответствующая схема валидации.

Зачем смотреть остатки, если коэффициенты уже найдены?

Систематический изгиб, изменение разброса и отдельные большие остатки могут показать недостатки линейной модели. Минимальная сумма квадратов внутри выбранного семейства не гарантирует пригодности самого семейства.