ЦЕПЬ МАРКОВА 9/4. Теперь, после восьми глав, мы знаем кое-что о том, как изменяется система, если ее переходы соответствуют переходам однозначного преобразования. Но как обстоит дело с поведением системы, переходы которой соответствуют переходам стохастического преобразования? Как будет выглядеть такая система, когда она действительно работает?

Предположим, что какое-то насекомое живет в мелком пруду и около него: иногда оно находится в воде (W), иногда под камнями (Р), иногда на берегу (В).

Предположим, что для каждой единицы времени существует постоянная вероятность тогог что, находясь под камнем, насекомое перейдет на берег; и то же самое для других возможных переходов. (Мы можем допустить, если хотим, что действительное поведение насекомого определяется более мелкими деталями и событиями в окружающей среде.) Таким образом, протокольная запись положений насекомого может гласить: WBWB WP WB WB WB WP WBBWBWPWBWPWBWBWBB W
BWBWBWPPWPWBWBBBW. Предположим для определенности, что вероятности переходов суть

Эти вероятности можно найти, если наблюдать поведение насекомого за длинные промежутки времени, а затем найти частоту, скажем, для В > W и определить относительные частоты 1, которые и являются вероятностями 2. Таблица этих вероятностей будет по существу сводкой фактического прошлого поведения, извлеченной из протокола.

Такая последовательность состояний, в которой для различных длинных интервалов вероятность каждого перехода одинакова, известна под названием цепи Маркова, по имени математика, который первый серьезно исследовал ее свойства 3. (Огромное значение цепей Маркова стало признаваться лишь в течение последних десяти лет или около того. В математической литературе описываются различные типы цепей Маркова и излагаются различные их характеристики. Определенный выше тип дает все, что нам требуется, и не противоречит другим определениям; одно существенное дополнение упоминается в  9/7.)

1      Чтобы найти, скажем, относительную частоту перехода из В в W, надо разделить уже найденную (абсолютную) частоту перехода B-+W на (абсолютную) частоту появления В. - Прим, ред,

2      Ср. подстрочное примечание на стр. 232. - Прим. ред.

3      См. статью А. А. Маркова <Распространение закона больших чисел на величины, зависящие друг от друга>, опубликованную в Известиях Физико-математического общества при Казанском университете и перепечатанную в <Избранных трудах> А. А. Маркова.