Вероятность и статистика · объяснение и практика

Почему ожидаемое время до поглощения добавляет единицу за первый шаг

Как отсчитывать ожидаемое число переходов до поглощения, почему в рабочем состоянии появляется единица и когда решение системы имеет конечный смысл.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Случайные процессы и имитация: углубление · Учебная карта

В маршруте Состояния и случайные процессы · 10 тем

Главная мысль

Для ожидаемого числа шагов до поглощения задают ноль на границе и tᵢ=1+Σpᵢⱼtⱼ в рабочих состояниях. Единица учитывает переход, который ещё предстоит сделать, даже если он сразу завершит процесс.

Определяем момент окончания до записи уравнений

Пусть из рабочего А процесс с вероятностью 1/2 переходит в Б, а иначе сразу заканчивается. Из Б с вероятностью 1/4 возвращается в А, а иначе тоже заканчивается. Считаем число переходов до первого попадания в конечное состояние, включая последний. Если старт уже конечный, дополнительных переходов нет, поэтому граничное ожидание равно нулю.

Обозначим ожидания из А и Б через t А и t Б. Из А один шаг будет сделан обязательно. После него либо ничего не остаётся, либо потребуется в среднем t Б шагов. Поэтому t А=1+t Б/2. Аналогично t Б=1+t А/4. Забыть единицу означает не учесть время самого первого действия; прибавлять её на поглощающей границе тоже неправильно.

Проверяем результат по разложению траектории

Подстановка даёт t А=1+(1+t А/4)/2. Следовательно, (7/8)t А=3/2 и t А=12/7. Затем t Б=10/7. Дробный ответ допустим: отдельный запуск занимает целое число шагов, но усреднение по возможным запускам не обязано быть целым. Старт из А в этой модели требует большего среднего времени, хотя оба состояния рабочие.

Можно сгруппировать движение из А в циклы. Сразу закончить удаётся с вероятностью 1/2 за один шаг; пройти в Б и закончить — с вероятностью 3/8 за два. Вернуться в А за два шага можно с вероятностью 1/8. Поэтому t А=(1/2)·1+(3/8)·2+(1/8)(2+t А), что снова даёт 12/7.

Пример

Если рабочее состояние сохраняется с вероятностью 0,6, а иначе процесс поглощается, каково среднее число шагов?

Уравнение t=1+0,6t даёт t=2,5. Оно включает завершающий переход; среднее число самопереходов до него равно 1,5.

Система не должна маскировать бесконечное ожидание

В конечной цепи, где все непоглощающие состояния транзитны, ожидания поглощения конечны и такую систему можно решать обычным линейным способом. Здесь вероятность возвращаться в А полными циклами убывает геометрически. Поэтому конечный ответ имеет не только алгебраическое, но и вероятностное обоснование.

Если рабочее состояние сохраняется навсегда, уравнение t=1+t несовместимо: ожидаемое время не является конечным числом. В бесконечных цепях даже поглощение с вероятностью один само по себе не гарантирует конечного среднего. Поэтому формальный найденный корень необходимо сопоставлять с условиями модели, а не считать любую рекурсию автоматическим доказательством конечности.

От чтения к действию

А теперь — вы

Из единственного рабочего состояния за шаг с вероятностью 0,25 попадают в поглощающее, иначе остаются. Сколько переходов в среднем нужно до поглощения, включая последний?

Частые вопросы

Можно ли получить среднее меньше одного?

Из непоглощающего состояния при подсчёте переходов до выхода нет: хотя бы один шаг необходим в каждом запуске.

Чем отличается время до поглощения от вероятности поглощения?

Вероятность описывает наступление события, а время — число шагов до него. Их уравнения отличаются обязательной единицей за текущий переход.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться