Вероятность и статистика · объяснение и практика
Логит и вероятность: как перейти между долей и неограниченной шкалой
Переходим от вероятности к логиту и обратно. Проверяем нулевой и отрицательный балл, границы 0/1 и то, почему одинаковая добавка к логиту не означает одинаковую прибавку вероятности.

В теме Связь признаков и регрессия · Учебная карта
Главная мысль
Для 0<p<1 логит равенη=ln(p/(1−p)). Обратное преобразованиеp=1/(1+e⁻η) переводит любое конечное действительноеη в вероятность строго между 0 и 1. Приη=0 получаетсяp=1/2,а не ноль. Логит —не вероятность и не процент: он использует неограниченную числовую шкалу, на которой отрицательные значения допустимы.
Сначала шансы, затем натуральный логарифм
Отношениеp/(1−p) сравнивает вероятность события с вероятностью его отсутствия. Приp=0,8 шансы равны 4,поэтому логит равенln4. Приp=0,2 шансы равны 1/4 и логит−ln4. Два симметричных значения относительно половины дают противоположные логиты. Это не означает, что вероятность отрицательна: знак относится к логарифму числа, которое может быть меньше единицы.
Логарифм берётся натуральный. Если использовать другую базу, получится другая шкала и обратная формула тоже потребует изменения. Концыp=0 иp=1 не имеют конечного логита: в пределеη уходит соответственно к минус и плюс бесконечности. Нельзя подставлять произвольное огромное число вместо бесконечности и объявлять преобразование точным. В вычислительной программе обработка крайних вероятностей должна быть явным решением.
Выражаем вероятность из уравнения
Изe^η=p/(1−p) получаемe^η(1−p)=p. Перенос членов даётp=e^η/(1+e^η),что равносильно 1/(1+e⁻η). Формула сохраняет область вероятностей для любого конечногоη. Например,η=ln3 даётp=3/4,аη=−ln3 —p=1/4. Значениеη=0 имеетe^η=1,поэтому обе вероятности события и его дополнения равны.
Если кη прибавитьa,шансы умножатся наeᵃ. Но вероятность изменится нелинейно. При добавкеln2 к нулевому логиту шансы станут 2 иp=2/3. Та же добавка кη=ln4 даст шансы 8 иp=8/9. Прибавки вероятности различны, хотя на логитной шкале совершён одинаковый шаг. Поэтому коэффициент в этой шкале нельзя прямо читать как постоянное число процентных пунктов.
Пример
Исходная вероятность равна 0,6. К её логиту прибавилиln2. Найдите новую вероятность без округления.
Исходные шансы 0,6/0,4=3/2. Добавкаln2 умножает их на 2,получаются 3. Вероятность равна 3/(1+3)=3/4. Прибавка составляет 0,15,а неln2 и не удвоение вероятности до 1,2.
Удобная шкала не делает модель верной автоматически
В логистической моделиη часто задают линейным выражением признаков. Обратное преобразование гарантирует допустимый диапазон результата, но само по себе не подтверждает качество прогнозов, причинность коэффициентов или соответствие данных модели. Например, допустимая вероятность ещё может плохо согласовываться с частотой событий в наблюдениях. Чтобы проверять эти свойства, нужны отдельные наблюдения и методы. Здесь изучается только связь двух шкал и её точная алгебра, а не обучение классификатора.
При больших по модулюη непосредственное вычисление экспоненты в программе может переполниться или потерять точность около границ. Библиотечные реализации применяют устойчивые формы, но математический смысл остаётся прежним. Для проверки ручного ответа сначала определите знак: положительныйη должен датьp>1/2,отрицательный —p<1/2. Затем восстановите шансы и проверьте обратный логарифм. Такой контроль обнаруживает путаницу знака в экспоненте без доверия к одному десятичному выводу калькулятора.
От чтения к действию
А теперь — вы
Частые вопросы
Отрицательный логит означает отрицательную вероятность?
Нет. Он соответствует вероятности ниже половины, но выше нуля для конечного значения.
Добавка к логиту равна добавке к вероятности?
Нет. Она умножает шансы на экспоненту добавки. Вероятность после этого пересчитывается нелинейно.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Чем отношение шансов отличается от отношения вероятностей
Как отношение шансов получается из четырёх частот, почему оно отличается от отношения долей и как подписи строк, столбцов и нулевые клетки влияют на ответ.
Открыть темуЧем калиброванная вероятность отличается от правильного ранжирования
Как сопоставить выданные вероятности с наблюдаемыми частотами, отличить калибровку от ранжирования и увидеть ограничения грубой проверки по группам.
Открыть тему