12/11. Устойчивость. При рассмотрении марковской машины оказывается, что она имеет свойства, соответствующие описанным в части I, хотя часто очевидным образом видоизмененные. Например, можно построить кинематический график марковской машины. Однако, поскольку преобразование ее не однозначно, от каждого состояния может отходить не одна стрелка. Так, марковская машина

имеет график, показанный на рис. 12/11/1, где при каждой стрелке имеется дробь, указывающая вероятность того, что представляющая точка пойдет по этой стрелке.
В данном частном случае можно видеть, что все системы, находящиеся в состоянии с, в конце концов покинут его, чтобы никогда в него не вернуться.

Марковская машина имеет различные формы устойчивости, соответствующие упомянутым в гл. 5. Устойчивая область есть множество таких состояний, что представляющая точка, войдя в одно из этих состояний, уже не сможет покинуть это множество. Так, а и b на рис. 12/11/1 образуют устойчивую область.
Состояние равновесия есть просто устойчивая область, сократившаяся до единственного состояния. Как и в случае детерминированной системы, все марковские машины, начинающие движение в пределах данного бассейна, придут к состоянию равновесия, если оно существует. Это состояние равновесия называется иногда

Рис. 12/11/1

абсорбирующим, или поглощающим, состоянием. В примере из  9/4 нет состояния равновесия. Оно появится, если прибавить четвертое положение <на липкой бумаге>, что и объясняет термин <абсорбирующее состояние>.

Вблизи состояния равновесия поведение марковской машины явно отличается от поведения детерминированной машины. Если система имеет конечное число состояний, то, находясь на траектории, ведущей к состоянию равновесия, каждая индивидуальная детерминированная система достигнет его, пройдя определенную траекторию, после вполне определенного числа шагов. Так, на первом графике  2/17 система перейдет из С в D в точности за два шага. Однако для марковской системы это число шагов (от данного состояния до состояния равновесия) не является единственным и длина траектории может быть предсказана лишь в среднем. Так, предположим, что марковская машина имеет матрицу

с состоянием равновесия а. Пусть большое число таких систем начинает движение в точке b. После первого шага половина их перейдет в а, а половина останется в b. После второго шага половина из тех, что остались в b, перейдет в а, а половина (т. е. четверть общего числа) все еще будет в b. Продолжая рассуждение, мы установим, что из всех систем, начавших движение в b,
1/2 достигает a за 1 шаг
1/4           "      а "    2 шага
1/8           "      a "    3 "
и т. д. Таким образом, средняя длина траектории от b до а равна

шага = 2 шагам.

Некоторые из траекторий будут значительно длиннее 2 шагов.

Как теперь хорошо известно, вблизи состояния равновесия система ведет себя так, как если бы она <стремилась к цели>, которой является состояние равновесия. Соответствующее явление имеет место и в марковском случае.

Однако здесь система не движется к цели твердо и определенно, а как бы неопределенно блуждает среди различных состояний, постоянно переходя в новое состояние, если только старое не было состоянием равновесия, и столь же постоянно останавливаясь, если ей случится попасть в состояние равновесия.

Состояние равновесия все еще выступает по отношению к системе как <цель>, но система движется к ней как бы путем опробывания случайной последовательности состояний, делая новый шаг или останавливаясь в зависимости от того, в каком состоянии она в данный момент находится. Таким образом, движение марковской машины к со- стоянию равновесия обнаруживает объективные свойства метода достижения успеха посредством проб и ошибок.

Здесь стоит сказать, что обычный термин [английское название метода проб и ошибок.-  является в высшей степени неточным. Слово (проба) стоит в единственном числе, хотя суть метода в том, что попытки повторяются все вновь и вновь. Слово (ошибка) также плохо выбрано, ибо существенным элементом является достижение успеха в конце. Слова <поиск и остановка> (hunt and stick), по-видимому, описывают этот процесс и более образно, и более точно. Я буду преимущественно употреблять это название.

Таким образом, движение к цели в процессе поиска и остановки гомологично, согласно  12/8, движению по определенной траектории, ибо и то и другое есть движение машины к состоянию равновесия. Соблюдая осторожность, мы можем применять к обоим одни и те же принципы и доказательства.

Упр. 1. Какие состояния равновесия имеет система из упр. 12/10/1?

Упр. 2. Марковская машина имеет матрицу

Она начинает движение в большом числе случаев с a. Как описать ее поведение в терминах психологии крысы в лабиринте?