Вероятность и статистика · объяснение и практика

Как условие первого шага находит вероятность поглощения

Как составить уравнения вероятности попасть в нужное поглощающее состояние, зачем задать границы и почему самопереход не означает неудачу.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Случайные процессы и имитация: углубление · Учебная карта

В маршруте Состояния и случайные процессы · 10 тем

Главная мысль

Вероятность целевого поглощения равна среднему таких вероятностей после первого перехода. На целевой границе задают один, на другой поглощающей границе — ноль; для остальных состояний решают уравнения первого шага.

Отмечаем цель и конкурирующий исход

Учебный процесс заканчивается в состояниях У и Н. Из рабочего состояния А он идёт в У с вероятностью 0,2, остаётся в А с вероятностью 0,3 и переходит в Б с вероятностью 0,5. Из Б он идёт в У с вероятностью 0,4, в Н с вероятностью 0,4 и в А с вероятностью 0,2.

Пусть u и v обозначают вероятности когда-либо закончить в У при старте в А и Б. На самой цели значение равно единице, в Н — нулю. Первый переход разбивает события на несовместимые случаи. Поэтому u=0,2+0,3u+0,5v, а v=0,4+0,2u. Самопереход оставляет задачу впереди и вносит 0,3u, а не нулевой вклад.

Решаем систему и проверяем смысл

Подставим выражение для v в первое уравнение: u=0,2+0,3u+0,2+0,1u. Получается 0,6u=0,4 и u=2/3. Затем v=0,4+0,2·2/3=8/15. Оба числа лежат в допустимом диапазоне. Возвращение в А может многократно давать новую возможность закончить в У, поэтому u больше прямой вероятности перехода 0,2.

В этой конечной модели рабочие состояния не образуют замкнутого класса: из каждого можно покинуть их с положительной вероятностью. В итоге поглощение в одной из двух границ происходит с вероятностью один. Поэтому вероятность Н из А равна 1/3. Такой вывод о дополнении нужно обосновать: если существовала бы третья замкнутая группа, два названных исхода могли бы не исчерпывать будущее.

Пример

Почему нельзя считать u=0,2+0,5·0,4=0,4?

Эта сумма учитывает лишь короткие пути и забывает повторные возвращения в рабочие состояния. Уравнение с неизвестным u автоматически включает дальнейшие попытки.

Границы делают рекурсию определённой

Без граничных значений уравнения aᵢ=Σpᵢⱼaⱼ допускают посторонние решения, например постоянные векторы. Границы связывают численный ответ с конкретным событием. Если рассматривается более общая цепь с возможностью бесконечно избегать поглощения, одной формальной системы иногда недостаточно; вероятность события соответствует минимальному неотрицательному решению с нужными границами.

Практическая проверка состоит из трёх частей: убедиться, что строки переходов нормированы, подставить найденные числа во все рабочие уравнения и назвать, при каком стартовом состоянии дан ответ. Вероятность успеха из А и из Б обычно разная. Перенос ответа между этими условиями изменяет задачу даже при совершенно той же матрице переходов.

От чтения к действию

А теперь — вы

Из рабочего состояния за шаг переходят в У с вероятностью 0,3, в Н с вероятностью 0,2 и остаются на месте с вероятностью 0,5. У и Н поглощающие. Какова вероятность закончить в У?

Частые вопросы

Почему на цели вероятность равна единице?

Старт уже в целевом поглощающем состоянии означает, что нужное достижение состоялось.

Гарантирует ли самопереход бесконечное ожидание?

Нет. В примере из А остаётся положительный шанс выйти, а рабочая группа не замкнута. Повторения учитываются рекурсией.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться