Вероятность и статистика · объяснение и практика
Зависимость в таблице частот: взаимная информация измеряет больше линейной связи
Получить взаимную информацию и условные энтропии из полной совместной таблицы двух дискретных признаков с корректной обработкой нулей.

В теме Связь признаков и регрессия · Учебная карта
Главная мысль
Совместную таблицу нормируют одной общей суммой и получают две маргинальные вероятности. Взаимная информация сравнивает совместное распределение с произведением маргинальных и измеряется в битах при логарифме по основанию два.
Метод и постановка
Строки и столбцы должны описывать одни и те же наблюдения. Нельзя независимо нормировать каждую строку, если вход объявлен совместными частотами: так потеряются относительные размеры групп и получится другая модель. Неотрицательные веса допустимы наряду с целыми счётчиками, но их общая сумма должна быть положительной.
После общей нормировки сложите строки и столбцы. Энтропия каждой переменной использует её маргинальные вероятности; совместная энтропия использует все ячейки. Нулевая вероятность даёт нулевой вклад по пределу p log p. Такая ячейка пропускается до вычисления логарифма, а не заменяется произвольным маленьким числом. Пустая строка не создаёт деления на ноль, поскольку все её совместные вклады тоже нулевые.
Проверка и границы вывода
Проверьте равенство I=H(X)+H(Y)−H(X,Y) и обе записи через условные энтропии. Значение не может превышать меньшую маргинальную энтропию. Для независимых распределений каждая ячейка равна произведению маргинальных вероятностей, поэтому отношение внутри логарифма единичное и весь результат нулевой.
Детерминированная зависимость не обязана быть линейной; именно поэтому взаимная информация отвечает на другой вопрос, чем коэффициент корреляции. Однако число из эмпирической таблицы само по себе не доказывает причинность или значимость зависимости в генеральной совокупности. Малые выборки, множество категорий и выбор границ разбиения меняют оценку. Незначительное отрицательное округление можно привести к нулю, но существенное нарушение неравенств требует искать ошибку данных или расчёта.
Переименование категорий одной общей перестановкой строк или столбцов не меняет энтропий. Этот инвариант полезен для независимой проверки реализации. Объединение нескольких категорий уже меняет распределение и может уменьшить информацию, поэтому такое действие не является безобидной перестановкой входных данных.
Пример
В таблице [[1,0],[0,1]] оба признака равновероятны и полностью совпадают. Каждая отдельная энтропия равна одному биту, совместная тоже одному, поэтому взаимная информация равна одному биту.
Если заменить таблицу на [[1,1],[1,1]], совместная энтропия станет двумя битами при прежних маргинальных энтропиях. Взаимная информация обнулится: знание строки ничего не сообщает о столбце.
От чтения к действию
А теперь — вы
Частые вопросы
Нулевая ячейка вызывает log(0)?
Её вклад по предельному правилу равен нулю и пропускается.
Это доказательство зависимости всей совокупности?
Нет. Получается характеристика введённой таблицы; выборочная оценка может иметь смещение и неопределённость.
Углублённый разбор
Условная взаимная информация: зависимость после фиксации группы
Условная взаимная информация измеряет оставшуюся зависимость после фиксации группы. Нулевая общая информация не исключает зависимости внутри групп.
Перед началом: Совместные и условные законы; Ожидание, дисперсия и условная независимость.
Определение и постановка
I(X;Y|Z)=Σ_zP(z)Σ_xyP(x,y|z)log₂[P(x,y|z)/(P(x|z)P(y|z))]. В каждом слагаемом сравниваются условные законы одной и той же группы.
Вывод и вычислительный критерий
Величина неотрицательна, поскольку является средним относительных энтропий. Равенство нулю означает условную независимость почти во всех группах положительной массы.
Условие может как ослабить, так и усилить связь. Поэтому общего неравенства I(X;Y|Z)≤I(X;Y) нет. Полезно сначала выписать таблицы внутри каждой группы, затем усреднять их информационные значения.
Условия и границы вывода
Нулевые клетки дают нулевой вклад по пределу 0log0=0. Положительная совместная масса не может иметь нулевую соответствующую маргинальную массу, поэтому при корректной таблице знаменатель положителен на носителе.
Информация измеряет статистическую зависимость, а не направление причинности. Фиксация переменной, являющейся общим следствием, способна создать условную связь без прямого воздействия X на Y.
Дополнительная проверка xor использует полную таблицу троек. Возможны ровно четыре тройки: 000,011,101,110, каждая с массой четверть. Любая пара координат имеет независимый равномерный закон, но знание любых двух координат однозначно определяет третью. Таким образом, попарная независимость всех трёх пар не даёт совместной независимости тройки. Условная информация обнаруживает именно эту оставшуюся тройную структуру. При замене Z постоянной переменной условная информация вернулась бы к нулю, потому что условие не раскрывало бы новых сведений. В обоих случаях маргинальный закон X,Y одинаков, а разница целиком связана с тем, какая дополнительная координата фиксируется.
Разобранная задача
Условие. X,Y — независимые честные биты, Z=X xor Y. Найдите I(X;Y) и I(X;Y|Z).
- Все четыре пары X,Y равновероятны, поэтому общий закон факторизуется и I(X;Y)=0.
- При Z=0 остаются пары 00 и 11 с вероятностями по половине. Один бит полностью определяет другой.
- При Z=1 остаются 01 и 10; зависимость снова детерминированна, условная информация равна одному биту.
- Обе группы имеют вес половина; среднее равно 1 биту.
Ответ. Общая информация равна нулю, условная равна одному биту.
Проверка. Энтропийная проверка: H(X|Z)=1, H(X|Y,Z)=0. Их разность даёт один бит без прямого использования логарифмической таблицы.
Где легко ошибиться. Нельзя считать условие автоматическим удалением зависимости: оно меняет пространство сравнения и может усилить связь.
Проверьте понимание
Вопросы к этой главе
Почему нужен средний вес групп?
Условная информация должна описывать случайно выбранное наблюдение, поэтому частые группы вносят больший вклад. Равные веса означали бы другую целевую совокупность.
Равна ли информация корреляции?
Нет. Она чувствительна к любой конечной зависимости, в том числе нелинейной. Корреляция проверяет только линейную структуру выбранных числовых кодировок.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Cosma Shalizi: Information Theory, Lecture9
HTML прочитан: условные энтропии, условная взаимная информация, неотрицательность дивергенции. Таблица xor и задача укрупнения составлены для главы.
Обработка данных: укрупнение не увеличивает взаимную информацию
Укрупнение наблюдаемых категорий не увеличивает взаимную информацию. Потерянное различие нельзя восстановить одной детерминированной обработкой.
Перед началом: Совместные и условные законы; Ожидание, дисперсия и условная независимость.
Определение и постановка
Если Y=f(X), то для любого Z выполняется I(Y;Z)≤I(X;Z). Более общая формулировка относится к марковской цепи Z→X→Y: при известном X обработанный Y условно независим от Z. Обработка получает исходное X без дополнительного доступа к цели Z.
Вывод и вычислительный критерий
Цепное правило даёт I(X;Z)=I(Y;Z)+I(X;Z|Y), когда Y является функцией X. Второе слагаемое неотрицательно, поэтому разность имеет ясный смысл: это информация, остающаяся в исходной подробности после раскрытия укрупнённой категории.
Равенство возможно, если потерянные детали условно не сообщают ничего о Z. Укрупнение не обязано строго уменьшать информацию; оно может удалять только нерелевантную часть записи.
Условия и границы вывода
Неравенство относится к обработке без нового внешнего источника сведений. Добавление независимого измерения или признака, использующего Z, уже не является функцией только X.
Эмпирические оценки информации на разных выборках могут нарушать ожидаемый порядок из-за смещения оценивания. Для точной конечной таблицы неравенство проверяется без такого статистического шума.
В рассмотренном четырёхзначном источнике можно вместо чётности сохранить старший двоичный разряд. Информация о точном Z также станет одним битом, но группы значений будут другими. Одинаковый объём сохранённой информации поэтому не означает одинаковую пригодность укрупнений для любой последующей задачи. Если цель — предсказать чётность Z, первое укрупнение сохраняет всё нужное, а второе не сохраняет ничего. Если цель — предсказать старший разряд, роли меняются. Неравенство обработки данных всегда относится к конкретной целевой переменной. Нельзя выбрать одно число потери информации и объявить преобразование оптимальным для всех возможных вопросов о первоначальном наблюдении.
Разобранная задача
Условие. X равномерна на {0,1,2,3}, Z=X. Сначала наблюдают X, затем только чётность Y. Сравните информацию о Z.
- У Z четыре равновероятных значения, поэтому H(Z)=2 бита.
- Точное X определяет Z полностью; I(X;Z)=2.
- Чётность Y имеет два равновероятных значения и также определяется Z, поэтому I(Y;Z)=H(Y)=1.
- После знания чётности остаётся выбор из двух значений Z; потерянный бит равен I(X;Z|Y).
Ответ. Исходная информация равна 2 битам, после укрупнения — 1 биту.
Проверка. В каждой строке таблицы Y,Z положительны две клетки с массой 1/4. Отношение к произведению маргиналей равно двум, и сумма четырёх вкладов даёт 1 бит.
Где легко ошибиться. Сжатие числа категорий иногда улучшает оценивание на малой выборке, но не создаёт дополнительной информации в точном распределении.
Проверьте понимание
Вопросы к этой главе
Когда сохраняется равенство?
Когда Z условно независима от X при известном Y. Тогда детали X, удалённые обработкой, не помогают предсказывать Z.
Можно ли увеличить информацию добавлением признака?
Да, если признак содержит новые сведения. Но это уже расширение наблюдений, а не детерминированное укрупнение прежней записи.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Cosma Shalizi: Information Theory, Lecture9
HTML прочитан: условные энтропии, условная взаимная информация, неотрицательность дивергенции. Таблица xor и задача укрупнения составлены для главы.
Неустранимая ошибка классификации: информационная граница Фано
Оставшаяся после наблюдения неопределённость ограничивает точность любого классификатора. Граница Фано переводит условную энтропию в необходимую ошибку, но сама не обещает алгоритм, который эту границу достигает. Сравним её с точным байесовским риском.
Перед началом: Условные распределения; Конечные суммы и независимость.
Ошибка становится дополнительной бинарной переменной
Истинный класс X принимает M≥2 значений. Решение X̂ выбирается по наблюдению Y и, возможно, независимой внутренней случайности; используется цепь X→Y→X̂. Обозначим Pₑ=P(X̂≠X). Все энтропии далее измеряются в битах, то есть логарифмы имеют основание два.
Введём индикатор E ошибки. При известных X̂ и E=0 истинный X уже определён. При E=1 остаётся не больше M−1 возможных значений. Разложение условной энтропии через E поэтому даёт H(X|X̂)≤h₂(Pₑ)+Pₑlog₂(M−1), где h₂ — бинарная энтропия.
Информация наблюдения задаёт нижнее ограничение
Обработка Y в решение X̂ не увеличивает информацию о X, поэтому H(X|Y)≤H(X|X̂). Получаем H(X|Y)≤h₂(Pₑ)+Pₑlog₂(M−1). Это необходимое условие для любой допустимой процедуры решения; в нём нельзя заменить условную энтропию энтропией исходных классов без учёта наблюдения.
Для M>2 можно ослабить h₂(Pₑ) до единицы. Тогда Pₑ≥[H(X|Y)−1]/log₂(M−1); отрицательную правую часть заменяют нулём. Более точный вариант оставляет бинарную энтропию и решает соответствующее скалярное неравенство. Ослабление упрощает арифметику ценой возможной потери точности.
Нижняя граница и достижимая ошибка различны
Если известна вся таблица P(X|Y), оптимальное правило при обычной цене ошибки выбирает класс максимальной условной массы. Его вероятность успеха равна E[max_xP(X=x|Y)], а риск — единица минус это число. Эта проверка использует больше сведений, чем одно значение условной энтропии.
Поэтому нижняя информационная граница может быть существенно меньше реального минимального риска. Нельзя подписывать её как достигнутую точность классификации. Также смена цены ошибок или разрешение отказа меняют задачу принятия решений: здесь требуется один из M классов и одинаковая цена каждой неверной метки.
Девять классов с четырьмя неразличимыми кандидатами
Условие. Y равномерно принимает значения 0,…,8. При Y=y класс X равновероятен среди y,y+1,y+2,y+3 по модулю 9. Найдите ослабленную границу Фано с h₂≤1 и точный минимальный риск ошибки.
- Каждое условное распределение содержит четыре массы 1/4, поэтому H(X|Y)=2 бита. В совместной таблице ровно 36 положительных клеток по 1/36.
- Для M=9 знаменатель log₂(M−1)=log₂8=3. Ослабленная граница даёт Pₑ≥(2−1)/3=1/3.
- При каждом y максимальная вероятность класса только 1/4. Любой выбор одного из четырёх допустимых кандидатов достигает успеха 1/4, значит точный минимальный риск равен 3/4.
- Сравниваем 1/3≤3/4: противоречия нет. Граница является необходимым ограничением, а использование полной условной таблицы обнаруживает более сильную невозможность точного угадывания.
Ответ. Ослабленная граница Фано 1/3; точный байесовский риск 3/4.
Проверка. Перебор девяти строк совместной таблицы подтверждает массу каждой строки 1/9 и максимум клетки 1/36. Сумма девяти максимумов равна 1/4 — независимое прямое вычисление лучшей вероятности успеха.
Где легко ошибиться. Не называйте 1/3 минимальным достигнутым риском в данном примере. Из нижней границы не следует существование решателя с такой ошибкой. Полная таблица показывает, что здесь любая процедура ошибается не реже чем с вероятностью 3/4.
Проверьте понимание
Вопросы к этой главе
Нужно ли равномерное распределение исходных классов для этой формы?
Не для неравенства через H(X|Y). Равномерность нужна в некоторых дополнительных формах, где H(X) заменяют на log₂M. Условия каждой используемой записи следует различать.
Поможет ли случайный выбор между четырьмя кандидатами?
Он сохраняет успех 1/4, как и любой фиксированный допустимый кандидат. Независимая случайность не сообщает дополнительной информации об истинном классе и не увеличивает максимальную условную массу.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Duchi: Statistics and Information Theory, Proposition 2.3.3
Прочитан Proposition 2.3.3 на PDF-странице 37: цепь наблюдение—решение, индикатор ошибки и алфавит M−1. Логарифмы здесь явно переведены в биты. Циклическая таблица 9×9 составлена отдельно; весь курс не прочитан.
Когда обработка сохраняет всю информацию: условная независимость
Укрупнение наблюдения иногда сохраняет всю информацию о другой переменной. Равенство можно проверить без сравнения двух громоздких сумм: внутри каждого укрупнённого блока должна исчезнуть остаточная связь.
Перед началом: Условная вероятность; Точная арифметика.
Потеря имеет условный смысл
Пусть X,Y — конечные случайные величины, а Z=g(X) — детерминированная метка блока X. Цепное правило взаимной информации даёт I(X;Y)=I(Z;Y)+I(X;Y|Z), потому что Z уже определяется X. Последнее слагаемое неотрицательно. Поэтому укрупнение сохраняет всю информацию тогда и только тогда, когда I(X;Y|Z)=0. Условие относится только к блокам положительной вероятности; невозможные блоки не требуют определения условного закона.
Проверьте одинаковые предсказания внутри блока
В конечной модели нулевая условная информация равносильна условной независимости X и Y при данном Z. Практически это означает: для всех x одного блока положительной массы распределения Y|X=x должны совпадать. Тогда знание точного x сверх метки z ничего не добавляет к прогнозу Y. Равенство общих энтропий X и Z не требуется; внутри блока может оставаться много случайности, просто она не связана с целевой Y.
Сохранение зависит от целевого вопроса
Одно разбиение может быть без потерь для Y и терять информацию о другой величине W. Это не универсальное сжатие исходных данных. Если условные законы внутри блока лишь близки, точного равенства нет, хотя потеря может быть небольшой. Для эмпирической таблицы равенство долей является оценочным утверждением и нуждается в учёте объёма. При нулевых клетках пользуются соглашением 0log0=0, но не отождествляют отсутствие наблюдения с доказанным нулём истинной вероятности.
Разобранная задача
Условие. X принимает a,b,c с вероятностями 1/4,1/4,1/2. Для a и b величина Y всегда равна нулю, для c всегда единице. Z объединяет a,b в блок A и оставляет c блоком C. Найдите I(X;Y), I(Z;Y) и условную потерю.
- Закон Y равен (1/2,1/2), поэтому его энтропия составляет один бит. Поскольку Y определяется X, H(Y|X)=0.
- Взаимная информация I(X;Y)=H(Y)−H(Y|X)=1 бит. Различие a и b не меняет Y.
- По Z также точно известно Y: в A оно ноль, в C — единица. Значит H(Y|Z)=0 и I(Z;Y)=1 бит.
- Внутри A остаётся случайный выбор a или b с равными условными шансами, но Y постоянно. Внутри C оба значения определены. Следовательно I(X;Y|Z)=0.
Ответ. Укрупнение сохраняет весь один бит информации о Y, хотя теряет различие между a и b в самом X.
Проверка. Энтропия X равна 3/2 бита, энтропия Z — одному биту. Потерянные полбита равны H(X|Z) и описывают внутреннее различие a,b, не связанное с Y. Это отдельно проверяет, почему сохранение информации о цели не означает полного обратимого сжатия.
Где легко ошибиться. Нельзя требовать, чтобы X однозначно восстанавливался из Z: это достаточное, но гораздо более сильное условие. Для сохранения информации о Y достаточно одинаковых условных прогнозов внутри каждого блока.
Проверьте понимание
Вопросы к этой главе
Что произойдёт, если у b вероятность Y=1 станет положительной?
Внутри блока A появится различие прогнозов Y между a и b. При их положительных массах условная информация станет положительной, и точное равенство исчезнет.
Можно ли укрупнить и Y одновременно?
Да, но тогда появится ещё один возможный источник потери. Для каждого преобразования следует отдельно проверить условную независимость относительно своей оставшейся цели.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- John Duchi, Stanford: Statistics311/EE377, section2.1.3
Цепное правило взаимной информации и обработка данных; равенство проверяется остаточной условной связью.
Сравнение экспериментов: канал огрубления вместо одного числа информации
Чтобы один эксперимент мог воспроизвести другой, нужен единый канал обработки его сигналов. Матричное уравнение проверяет эту возможность конструктивно. Допустимая обработка переносит любое правило решения, а отрицательная вероятность в единственном обратном решении удостоверяет невозможность восстановления.
Перед началом: Условные вероятности и умножение матриц; Байесовский риск ошибки.
Обработка не знает скрытого состояния
Два конечных статистических эксперимента с одинаковыми состояниями мира. Строки матриц — законы сигналов при состоянии; допустима дополнительная случайность, независимая от состояния при известном исходном сигнале.
Пусть Pᵢⱼ — вероятность сигнала j при состоянии i. Канал Kⱼₖ задаёт вероятность нового сигнала k после наблюдённого j. Все элементы неотрицательны, каждая строка K суммируется в единицу. Один и тот же K применяется во всех состояниях, поэтому новый эксперимент имеет матрицу PK. Разные каналы для разных скрытых состояний означали бы доступ к сведениям, которых у обработчика нет.
Если Q=PK, исходный эксперимент P может имитировать Q: сначала наблюдать P, затем случайно преобразовать сигнал. Это сильнее сравнения взаимной информации при одном prior. Одно число усредняет конкретный совместный закон и не строит общего канала, работающего для всех состояний одновременно.
Перенос решения объясняет универсальный порядок риска
Любое правило решения по сигналу Q можно выполнить после имитации этого сигнала из P. Распределение действий при каждом состоянии окажется тем же, следовательно, совпадут риски при любой фиксированной функции потерь. Оптимальное правило, имеющее P, не может быть хуже этого имитирующего правила. Поэтому минимальный байесовский риск по P не больше риска по Q при любом prior и выбранных потерях.
Это рассуждение доказывает достаточность канала без вычисления энтропий. Строгое улучшение требуется не для каждого prior: если одно состояние настолько вероятно, что оба оптимальных решателя всегда выбирают его, риски совпадут. Невозможность обратного канала удостоверяет различие экспериментов, но сама по себе не обещает строгую выгоду в каждой задаче.
Алгебраическое решение ещё должно быть вероятностным
В бинарном случае зададим K=[[a,1−a],[b,1−b]]. Достаточно решить два уравнения для первого столбца; второй восстановится из сумм строк. После решения обязательно проверить 0≤a,b≤1. Инвертируемость P обеспечивает единственность алгебраического кандидата, но не гарантирует его неотрицательности.
Если P вырождена, каналов может быть несколько или ни одного. Тогда вопрос превращается в осуществимость линейных равенств и неравенств. Нельзя формально инвертировать сингулярную матрицу или объявлять любой отрицательный элемент ошибкой округления. Для малой точной таблицы рациональные вероятности позволяют получить строгий сертификат существования или невозможности.
Потерю можно внести, но нельзя обратить
Условие. Даны P=[[4/5,1/5],[3/10,7/10]] и Q=[[13/20,7/20],[2/5,3/5]]. Найдите канал P→Q, проверьте обратное направление и сравните риск ошибки при равных prior.
- Из первого столбца PK=Q имеем (4/5)a+(1/5)b=13/20 и (3/10)a+(7/10)b=2/5. Вычитание даёт a−b=1/2.
- Решение a=3/4,b=1/4 задаёт допустимый K=[[3/4,1/4],[1/4,3/4]]. Прямое умножение восстанавливает все четыре клетки Q.
- Для обратного канала L=[[c,1−c],[d,1−d]] уравнения QL=P дают c−d=2, затем d=−1/2,c=3/2. Этот единственный кандидат не стохастичен.
- При равных prior минимальная ошибка равна сумме меньших взвешенных масс по столбцам. Для P получаем min(2/5,3/20)+min(1/10,7/20)=1/4. Для Q — min(13/40,1/5)+min(7/40,3/10)=3/8.
- При prior второго состояния 4/5 оба решателя всегда выбирают его и имеют ошибку 1/5: универсальный слабый порядок не требует повсюду строгого разрыва.
Ответ. Допустимый канал имеет строки (3/4,1/4) и(1/4,3/4); обратного канала нет. При равных prior риски равны 1/4 и 3/8.
Проверка. Определители P и Q равны 1/2 и 1/4, поэтому оба найденных алгебраических кандидата единственны. Независимый перебор четырёх детерминированных бинарных правил даёт те же минимальные риски; случайная смесь правил не уменьшает минимум линейного риска.
Где легко ошибиться. Нельзя допускать канал, зависящий от истинного состояния: он использует дополнительную информацию и разрушает смысл сравнения экспериментов.
Проверьте понимание
Вопросы к этой главе
Доказывает ли меньшее значение взаимной информации существование канала?
Нет. Оно может быть необходимым следствием обработки при выбранном prior, но для существования общего K нужно решить все построчные ограничения. Здесь канал найден непосредственно.
Почему случайность допустима при переносе правил?
Она позволяет воспроизвести условное распределение сигнала Q, используя только наблюдённый сигнал P. Случайность не сообщает состояние; её закон задан одним K для всех состояний.
Сверить определения и условия
Объяснение и задачи написаны для erudeet. Эти источники используются для проверки понятий и границ модели.
- Tilman Börgers, Notes on Blackwell Dominance, Proposition1
Поддерживает представление экспериментов стохастическими матрицами, обработку PM=Q и перенос достижимых рисков. Бинарные матрицы и проверка отрицательного обратного канала составлены для этой главы.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Перестановочная симметрия не делает наблюдения независимыми
Построить обменную последовательность через общий скрытый параметр и показать зависимость наблюдений вычислением совместной вероятности и ковариации.
Открыть темуРазделение пуассоновского потока: независимость возникает после снятия условия на общий счёт
Доказать независимость двух потоков после независимой маркировки пуассоновских событий и отличить её от отрицательной зависимости при фиксированном общем числе.
Открыть темуХвостовое событие нельзя изменить конечным началом: где действует закон нуля или единицы
Распознать хвостовое событие независимой последовательности, применить закон Колмогорова и отделить этот вывод от вычисления конкретной вероятности.
Открыть тему