Вероятность и статистика · объяснение и практика
Как условие первого шага находит вероятность поглощения
Как составить уравнения вероятности попасть в нужное поглощающее состояние, зачем задать границы и почему самопереход не означает неудачу.

В теме Случайные процессы и имитация: углубление · Учебная карта
В маршруте Состояния и случайные процессы · 10 тем
Главная мысль
Вероятность целевого поглощения равна среднему таких вероятностей после первого перехода. На целевой границе задают один, на другой поглощающей границе — ноль; для остальных состояний решают уравнения первого шага.
Отмечаем цель и конкурирующий исход
Учебный процесс заканчивается в состояниях У и Н. Из рабочего состояния А он идёт в У с вероятностью 0,2, остаётся в А с вероятностью 0,3 и переходит в Б с вероятностью 0,5. Из Б он идёт в У с вероятностью 0,4, в Н с вероятностью 0,4 и в А с вероятностью 0,2.
Пусть u и v обозначают вероятности когда-либо закончить в У при старте в А и Б. На самой цели значение равно единице, в Н — нулю. Первый переход разбивает события на несовместимые случаи. Поэтому u=0,2+0,3u+0,5v, а v=0,4+0,2u. Самопереход оставляет задачу впереди и вносит 0,3u, а не нулевой вклад.
Решаем систему и проверяем смысл
Подставим выражение для v в первое уравнение: u=0,2+0,3u+0,2+0,1u. Получается 0,6u=0,4 и u=2/3. Затем v=0,4+0,2·2/3=8/15. Оба числа лежат в допустимом диапазоне. Возвращение в А может многократно давать новую возможность закончить в У, поэтому u больше прямой вероятности перехода 0,2.
В этой конечной модели рабочие состояния не образуют замкнутого класса: из каждого можно покинуть их с положительной вероятностью. В итоге поглощение в одной из двух границ происходит с вероятностью один. Поэтому вероятность Н из А равна 1/3. Такой вывод о дополнении нужно обосновать: если существовала бы третья замкнутая группа, два названных исхода могли бы не исчерпывать будущее.
Пример
Почему нельзя считать u=0,2+0,5·0,4=0,4?
Эта сумма учитывает лишь короткие пути и забывает повторные возвращения в рабочие состояния. Уравнение с неизвестным u автоматически включает дальнейшие попытки.
Границы делают рекурсию определённой
Без граничных значений уравнения aᵢ=Σpᵢⱼaⱼ допускают посторонние решения, например постоянные векторы. Границы связывают численный ответ с конкретным событием. Если рассматривается более общая цепь с возможностью бесконечно избегать поглощения, одной формальной системы иногда недостаточно; вероятность события соответствует минимальному неотрицательному решению с нужными границами.
Практическая проверка состоит из трёх частей: убедиться, что строки переходов нормированы, подставить найденные числа во все рабочие уравнения и назвать, при каком стартовом состоянии дан ответ. Вероятность успеха из А и из Б обычно разная. Перенос ответа между этими условиями изменяет задачу даже при совершенно той же матрице переходов.
От чтения к действию
А теперь — вы
Частые вопросы
Почему на цели вероятность равна единице?
Старт уже в целевом поглощающем состоянии означает, что нужное достижение состоялось.
Гарантирует ли самопереход бесконечное ожидание?
Нет. В примере из А остаётся положительный шанс выйти, а рабочая группа не замкнута. Повторения учитываются рекурсией.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Почему ожидаемое время до поглощения добавляет единицу за первый шаг
Как отсчитывать ожидаемое число переходов до поглощения, почему в рабочем состоянии появляется единица и когда решение системы имеет конечный смысл.
Открыть темуКак таблица переходов задаёт следующий закон состояния
Как читать направления в таблице переходов, проверять сумму каждой строки и получать закон следующего состояния из смешанного начального распределения.
Открыть тему