Вероятность и статистика · объяснение и практика

Как квадраты вероятностных ошибок оценивают прогнозы

Как средняя квадратичная ошибка вероятностей различает прогнозы с одинаковыми жёсткими метками, почему честная вероятность оптимальна в ожидании и как не смешать шкалы вариантов формулы.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Оценивание и проверка гипотез: углубление · Учебная карта

В маршруте Качество классификации без автоматических вердиктов · 10 тем

Главная мысль

Для двоичного исхода y∈{0,1} обычная бинарная потеря Брайера равна среднему (p−y)². Меньше — лучше; она оценивает численные вероятности, а не только метки после порога.

У каждой вероятности есть квадрат ошибки

Пусть p — предсказанная вероятность положительного класса, y — фактический нуль или единица. Потеря одного прогноза равна (p−y)². При y=1 значение p=0,9 получает 0,01, а p=0,6 — 0,16. Оба прогноза дали бы положительную метку при пороге 0,5, но качество численной вероятности оценивается по-разному.

Среднее по N объектам B=(1/N)Σ(pᵢ−yᵢ)² лежит между нулём и единицей при корректных p в этом диапазоне. Нулевая потеря на конечном наборе означает, что каждому фактическому исходу приписали совпадающую крайнюю вероятность. Это не гарантирует такой же точности будущих данных или отсутствия переобучения.

Небольшой расчёт показывает важность уверенности

Возьмём исходы 1;0;1 и прогнозы 0,8;0,3;0,6. Квадраты ошибок равны 0,04;0,09;0,16, сумма 0,29, среднее 29/300. При пороге 0,5 все три жёсткие метки правильны, поэтому accuracy равна единице. Потеря Брайера всё же положительна и различает умеренную и предельную уверенность.

Если истинная условная вероятность события q, ожидаемый квадрат ошибки равен q(1−p)²+(1−q)p²=(p−q)²+q(1−q). Второе слагаемое не зависит от выбранного прогноза, поэтому минимум достигается при p=q. Это свойство объясняет, почему правило поощряет честную вероятность, а не искусственную уверенность во всех ответах.

Пример

Что получится при постоянном прогнозе p=1/2 независимо от фактических нулей и единиц?

Каждый квадрат ошибки равен 1/4, поэтому и средняя потеря равна 1/4 при любом составе двоичного проверочного набора.

Шкала и смысл общей оценки требуют оговорки

Если складывать квадраты ошибок по обоим классам, то для бинарного случая получится вдвое большее число, поскольку вероятности второго класса равны 1−p. Поэтому нужно указать, используется ли обычная бинарная шкала от нуля до единицы или сумма по классам. Без этого одинаковые прогнозы могут казаться разными по качеству в двух отчётах.

Малая общая потеря сочетает свойства калибровки и различающей способности, а также зависит от неопределённости исходов. Она не является самостоятельным доказательством идеальной калибровки каждой подгруппы. Проверять нужно независимые данные и сохранять их фактическую структуру: изменение долей классов или весов наблюдений может изменить среднее, хотя сами условные прогнозы остались похожими.

От чтения к действию

А теперь — вы

Для двух исходов y=(0;1) заданы вероятности положительного класса p=(0,2;0,7). Какова обычная бинарная потеря Брайера?

Частые вопросы

Почему правильные метки могут дать ненулевую потерю?

Метка использует только сторону порога, а Брайер оценивает расстояние самой вероятности от фактического нуля или единицы.

Зачем указывать бинарную или поклассовую шкалу?

В двоичном случае сумма по двум классам ровно вдвое больше обычной бинарной формулы, поэтому числа без соглашения несопоставимы.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться