Глава 9 . Непрекращающаяся передача
Форум
     
Непрекращающаяся передача

9/7. Зависимость от предыдущих значений. В определении цепи Маркова, данном в  9/4, опущен один важный момент: вероятности перехода не должны зависеть от состояний, предшествующих операнду. Например, если насекомое ведет себя как цепь Маркова, то оно перейдет с берега в воду в 75% случаев, независимо от того, было ли оно перед этим на берегу, в воде или под камнями. Это можно проверить экспериментально, подсчитав процент перехода в каждом из трех возможных случаев и установив, что во всех случаях он равен 75%.

Вот протокол, в котором эта независимость не соблюдается:
ААВВАВВААВВАВВАВВАВВААВВАВВАВАВА.

Прямой подсчет дает переходы


В частности, мы видим, что А и В следуют за В почти с одинаковой частотой. Если же мы переклассифицируем эти 18 переходов от В в соответствии с тем, какая буква предшествовала В, то получим:

Мы явно видим, что состояние, следующее за В, зависит от состояния, предшествовавшего В. Таким образом, эта последовательность не является цепью Маркова. Иногда этот факт можно описать метафорически, говоря, что <память> системы простирается более чем на один шаг назад (ср.  6/21)

Эта зависимость вероятности от того, что было раньше, является характерной особенностью последовательностей букв в таких языках, как английский. Какова, например, вероятность того, что за 5 будет стоять t? Это во многом зависит от того, что стоит перед 5; так, после сочетания es буква t встречается часто, а после сочетания ds - редко. Если бы буквы образовывали цепь Маркова, то t следовало бы за 5 с одинаковой частотой в обоих случаях.

Эти зависимости характерны для языка и обнаруживаются в нем в большом количестве, от простых связей только что упомянутого типа до связей большой протяженности, которые делают заключительные слова <...кантианского трансцендентализма> более вероятными в книге, начинающейся словами <Университет XVIII столетия...>, чем в книге, начинающейся словами <Современные скаковые лошади...>

Упр. Как состояние, непосредственно предшествующее каждому операнду, влияет на частоту четырех переходов С С, С D, D C, D D в протоколе DDCCDCCDDCCDCCDDCCDCCDDCCDDDDCC
DDDDCCDDDCCDCCDC?
(Указание: классифицируйте наблюдаемые переходы.)

 
9/2. Недетерминированное преобразование.  
9/4. Цепь Маркова  
9/6. Равновесие в цепи Маркова.  
9/7. Зависимость от предыдущих значений  
9/8. Перекодирование в марковскую форму  
9/9. Последовательность как вектор  
9/10. Ограничения разнообразия  
9/11. Энтропия  
9/15. Пропускная способность канала  
9/16. Избыточность  
9/19. Шумы  
9/20. Искажения.  
9/21. Ненадежность