Взаимная информация по совместной таблице частот
Вычислить энтропии двух дискретных признаков, совместную и условные энтропии, отличая информационную зависимость от линейной корреляции.
Ваш пример
Разбор примера
I(X;Y) ≈ 1 бит
- Вероятности получены нормировкой совместной таблицы.
- Основание логарифма равно двум; единица — бит.
- Причинность и статистическая значимость из одного числа не выводятся.
Метод и условия расчёта
Нормируем общую таблицу и находим обе маргинальные суммы.
I(X;Y)=H(X)+H(Y)−H(X,Y); нулевые вероятности дают нулевой вклад в энтропию.
Теория к методу
Совместную таблицу нормируют одной общей суммой и получают две маргинальные вероятности. Взаимная информация сравнивает совместное распределение с произведением маргинальных и измеряется в битах при логарифме по основанию два.
Строки и столбцы должны описывать одни и те же наблюдения. Нельзя независимо нормировать каждую строку, если вход объявлен совместными частотами: так потеряются относительные размеры групп и получится другая модель. Неотрицательные веса допустимы наряду с целыми счётчиками, но их общая сумма должна быть положительной.
Пример: В таблице [[1,0],[0,1]] оба признака равновероятны и полностью совпадают. Каждая отдельная энтропия равна одному биту, совместная тоже одному, поэтому взаимная информация равна одному биту.
Если заменить таблицу на [[1,1],[1,1]], совместная энтропия станет двумя битами при прежних маргинальных энтропиях. Взаимная информация обнулится: знание строки ничего не сообщает о столбце.
Вопросы по теме
Нулевая ячейка вызывает log(0)?
Её вклад по предельному правилу равен нулю и пропускается.
Это доказательство зависимости всей совокупности?
Нет. Получается характеристика введённой таблицы; выборочная оценка может иметь смещение и неопределённость.
Связь признаков и регрессия: объяснения, примеры и практика
Основа объяснения
Объяснения и примеры подготовлены для erudeet. По ссылкам можно сверить определения и условия модели.