8/13. Передача по каналу. Теперь мы можем рассмотреть, каким образом разнообразие, или информация, передается через малый промежуточный преобразователь - <канал>; слово <малый> относится здесь к числу его возможных состояний. Предположим, что два больших преобразователя Q и S связаны посредством малого преобразователя R, так что Q доминирует над R, a R доминирует над S:

1 Важно подчеркнуть следующий общий принцип: если после первого шага разнообразие в U достигло максимально возможного значения (не превосходящего в логарифмической мере суммы начальных разнообразий Т и U), то оно не может увеличиться после второго шага; если же оно не достигло максимума, то после второго- шага оно еще может увеличиться. То, что после второго шага разнообразие может увеличиться, показывает следующий пример. Пусть система как целое имеет состояния (t, и) и преобразование

так что t доминирует над u. Пусть эта система начинает с состояний
(2,-), (5, -), (8,-), (11,-), (14,-). Черточки показывают, что нам безразличны начальные значения и. После первого шага состояния системы будут таковы:
(3,0) (6,1) (9,0) (12, 1) (15,0);
после второго шага -(4,1) (7,2) (10,0) (13,1) (16,2).

Таким образом, разнообразие и после первого шага равно двум состояниям, а после второго шага - трем состояниям. - Прим, ред9

Как обычно, мы исходим из наличия множества копий всей этой тройной системы. Пусть г - число возможных состояний R. Пусть   равен p. Допустим, что в начальном состоянии копии Q имеют разнообразие, значительно превышающее r состояний, и что копии R и S для простоты вообще не имеют разнообразия. (Если бы они имели какое-то разнообразие, то, как показано в  8/11, новое разнообразие, получаемое ими от Q, просто прибавлялось бы логарифмически к тому, что они уже имели.)

Применение  8/11 к R и S показывает, что на первом шаге разнообразие копий S совсем не возрастает. Таким образом, если первоначально три разнообразия, измеренные логарифмически, равнялись N, 0 и 0, то после первого шага они будут самое большее N, р и 0.
На следующем шаге разнообразие R уже не может увеличиться (согласно  8/12) 1, но разнообразие S может увеличиться за счет получаемого от R (что легко проверить на конкретном примере; см. упр. 2). Таким образом, после второго шага разнообразия могут возрасти до N, р, р. Аналогично после третьего шага они могут возрасти до N, р, 2р и т. д. Таким образом, разнообразие копий S может возрастать со временем столь же быстро, как и члены ряда 0, р, 2р, Зр, ... , но не быстрее. Теперь правило становится совсем очевидным: преобразователь, который может находиться не более чем в r состояниях, может передавать разнообразие не более чем по   битов за шаг. Когда говорят, что различные преобразователи обладают различной <пропускной способностью>, по существу имеют в виду именно это соотношение.

1 Ссылка на  8/12 здесь не по существу. Если разнообразие в R уже достигло величины р, то оно не может увеличиться просто потому, что ему некуда больше увеличиваться. Если же разнообразие R еще не достигло после первого шага величины р, то после второго шага оно может еще возрасти. Ср. подстрочное примечание на стр. 218 - Прим. ред.

С другой стороны, наблюдая, как шаг за шагом увеличивается разнообразие копий S, мы видим, что количество разнообразия, которое может передавать преобразователь (такой как R), пропорционально произведению его пропускной способности в битах на число сделанных шагов. Отсюда вытекает важное следствие, которое будет позже использоваться неоднократно: действуя достаточно долго, любой преобразователь может передать любое количество разнообразия.

Одной из важных черт этой теоремы является ее предельная общность. Здесь совершенно безразлично, какого рода машина действует в качестве промежуточного преобразователя или канала. Будет ли это переключатель, имеющий только два состояния (<замкнуто> - <разомкнуто>), или электрическое напряжение, которое может иметь разные значения, или целый нервный узел, или газета, - все они подчиняются этой теореме. Она помогает придать количественную точность интуитивному ощущению, что при осуществлении связи через малый промежуточный преобразователь всегда имеет место некоторое ограничение скорости связи; возьмем, например, случаи, когда информация от сетчатки переходит в зрительную область коры через наружное коленчатое тело или когда информация о движениях хищника передается стаду через единственного сторожевого.

Упр. 1. Абсолютная система с тремя частями Q, R и S имеет состояния (q, г, s) и преобразование

Таким образом, Q доминирует над R, a R доминирует над S. Чему равна пропускная способность канала R?

Упр. 2. (Продолжение.) Девять копий начинают работу с начальных состояний (1,0,0),      (2,0,0),    (9,0,0), так что только Q имеет начальное разнообразие. (I) Как изменится разнообразие копий Q за первые 5 шагов? (II) Как изменится разнообразие копий R? (III) Разнообразие копий S?

Упр. 3. (Продолжение.) Если бы на упр. 2 (III) был дан ответ , то почему он был бы явно неверен, даже без вычисления фактических траекторий?