Взаимная информация по совместной таблице частот

Вычислить энтропии двух дискретных признаков, совместную и условные энтропии, отличая информационную зависимость от линейной корреляции.

Ваш пример

Числа и дроби: 0.5, 0,5 или 1/3. Числа в строке разделяются пробелами, строки — переносом. Выражения не выполняются.

Разбор примера

I(X;Y) ≈ 1 бит

  1. Вероятности получены нормировкой совместной таблицы.
  2. Основание логарифма равно двум; единица — бит.
  3. Причинность и статистическая значимость из одного числа не выводятся.

Метод и условия расчёта

Нормируем общую таблицу и находим обе маргинальные суммы.

I(X;Y)=H(X)+H(Y)−H(X,Y); нулевые вероятности дают нулевой вклад в энтропию.

Теория к методу

Совместную таблицу нормируют одной общей суммой и получают две маргинальные вероятности. Взаимная информация сравнивает совместное распределение с произведением маргинальных и измеряется в битах при логарифме по основанию два.

Строки и столбцы должны описывать одни и те же наблюдения. Нельзя независимо нормировать каждую строку, если вход объявлен совместными частотами: так потеряются относительные размеры групп и получится другая модель. Неотрицательные веса допустимы наряду с целыми счётчиками, но их общая сумма должна быть положительной.

Пример: В таблице [[1,0],[0,1]] оба признака равновероятны и полностью совпадают. Каждая отдельная энтропия равна одному биту, совместная тоже одному, поэтому взаимная информация равна одному биту.

Если заменить таблицу на [[1,1],[1,1]], совместная энтропия станет двумя битами при прежних маргинальных энтропиях. Взаимная информация обнулится: знание строки ничего не сообщает о столбце.

Вопросы по теме

Нулевая ячейка вызывает log(0)?

Её вклад по предельному правилу равен нулю и пропускается.

Это доказательство зависимости всей совокупности?

Нет. Получается характеристика введённой таблицы; выборочная оценка может иметь смещение и неопределённость.

Связь признаков и регрессия: объяснения, примеры и практика

Основа объяснения

Объяснения и примеры подготовлены для erudeet. По ссылкам можно сверить определения и условия модели.