Вероятность и статистика · объяснение и практика
Почему уверенная ошибка дорого стоит в логарифмической потере
Как логарифмическая потеря оценивает вероятность фактического исхода, почему уверенная ошибка не равна обычному промаху метки и как отдельно понимать крайние вероятности.

В теме Таблицы категорий и качество классификации · Учебная карта
В маршруте Качество классификации без автоматических вердиктов · 10 тем
Главная мысль
Логарифмическая потеря двоичного прогноза равна −ln p для y=1 и −ln(1−p) для y=0. Вероятность фактического класса, близкая к нулю, даёт очень большой штраф.
Берём вероятность того, что действительно произошло
Пусть p обозначает вероятность положительного класса, а y равен нулю или единице. При y=1 оцениваем p, при y=0 — величину 1−p. Потеря равна отрицательному натуральному логарифму выбранной вероятности. Поэтому правильный по порогу ответ всё равно может иметь заметную потерю, если его численная уверенность невелика.
Удобная общая запись −y ln p−(1−y)ln(1−p) объединяет два случая внутри открытого промежутка вероятностей. Но на краях лучше использовать исходное условное определение, а не вычислять произведение нуля на неопределённый логарифм. Если фактическому классу приписана вероятность один, потеря нулевая; если ноль — математически бесконечная.
Одни и те же метки скрывают разные потери
Для исходов y=(1;0) прогнозы p=(0,8;0,3) дают потери −ln0,8 и −ln0,7. Среднее равно −ln(0,56)/2, примерно 0,290. Прогнозы (0,51;0,49) тоже правильно разделятся порогом 0,5, но средняя потеря равна −ln0,51, примерно 0,673. По жёстким меткам обе пары безошибочны, по вероятностям различаются.
Если при фактическом y=1 заменить p=0,1 на p=0,001, потеря вырастет с ln10 до ln1000, то есть втрое. Обе метки были бы отрицательными, но степень ошибочной уверенности существенно изменилась. Именно поэтому логарифмическая оценка информативнее одного подсчёта промахов для вероятностных прогнозов.
Пример
Как сравнить два прогноза p=0,9 и p=0,6, если фактический исход положительный?
Оба дают правильную метку при пороге 0,5, но −ln0,9 меньше −ln0,6. В данном наблюдении более высокая вероятность фактического класса получает меньшую потерю.
Уверенность должна проверяться вне обучающего набора
В среднем по истинной условной модели логарифмическая потеря минимизируется честной вероятностью, а не объявлением уверенных нулей и единиц на всех объектах. Для недетерминированного исхода чрезмерная уверенность создаёт редкие, но очень большие штрафы. Сравнение на независимой проверке помогает заметить это свойство, которое обучение на известных ответах может скрыть.
Программы часто ограничивают вероятности небольшим ε и 1−ε, чтобы избежать бесконечностей машинного расчёта. Тогда конечный штраф зависит от выбранного ограничения и уже не является буквальным значением в математической точке p=0. Основание логарифма также меняет масштаб. Нужно сообщать соглашение, а не сравнивать числа разных реализаций как заведомо одинаковые величины.
От чтения к действию
А теперь — вы
Частые вопросы
Можно ли считать потерю только по готовым меткам?
Это потеряет сведения об уверенности. Для содержательного сравнения нужны исходные вероятности фактических классов.
Что означает конечный большой ответ программы при вероятности ноль?
Возможно, программа обрезала вероятность снизу. В математической формуле вероятность ноль фактического исхода даёт бесконечную потерю.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Как квадраты вероятностных ошибок оценивают прогнозы
Как средняя квадратичная ошибка вероятностей различает прогнозы с одинаковыми жёсткими метками, почему честная вероятность оптимальна в ожидании и как не смешать шкалы вариантов формулы.
Открыть темуЧем калиброванная вероятность отличается от правильного ранжирования
Как сопоставить выданные вероятности с наблюдаемыми частотами, отличить калибровку от ранжирования и увидеть ограничения грубой проверки по группам.
Открыть тему