9/12. Вычисляемая таким образом энтропия имеет несколько важных свойств. Во-первых, она имеет максимальное значение для данного числа (n) вероятностей, когда все вероятности равны. Энтропия Н в этом случае равна log n, т. е. она в точности равна мере разнообразия, определенной в  7/7. (Как отмечалось в  9/10, равенство вероятностей в каждом столбце необходимо для того, чтобы ограничение разнообразия было минимальным и, следовательно, разнообразие - максимальным.).

Во-вторых, различные величины H, выведенные из различных множеств, могут - с соответствующими дополнениями - комбинироваться для получения средней энтропии.

Такая комбинация используется для нахождения энтропии, которая соответствует цепи Маркова. Каждый столбец (или строка, если матрица написана в транспонированной форме) содержит множество вероятностей, дающих в сумме 1.

Следовательно, каждый из них обладает энтропией. Шеннон определяет энтропию (одного шага в цепи) как среднее значение этих энтропий, причем каждая из них берется с весом, пропорциональным той относительной частоте, с которой состояние, соответствующее этому столбцу, будет встречаться, когда последовательность пришла к равновесию ( 9/6). Так, переходным вероятностям в примере, рассмотренном в  9/6, соответствуют следующие энтропии и равновесные относительные частоты (коэффициенты взвешивания) :

Тогда средняя энтропия (для одного шага в последовательности) равняется (0,449  0,8114+0,429  0,8114+0,122  1,061) бита=0,842 бита. Монета, если ее бросать повторно, образует последовательность с энтропией для каждого бросания, равной 1 биту. Следовательно, последовательность положений, занимаемых одним из насекомых с течением времени, не является столь же изменчивой 1,как последовательность, образуемая бросаниями монеты, ибо 0,842 меньше, чем 1,00.

Таким образом, введенная Шенноном мера позволяет сравнивать различные степени разнообразия.

1 Здесь можно сделать замечания, аналогичные тем, которые уже делались в связи с употреблением термина <ограничение разнообразия> в  9/10. Термин <разнообразие> употребляется теперь автором не в абсолютном смысле главы 7, а в новом, вероятностном смысле. (В смысле главы 7 последовательности местоположений насекомого имеют даже большее разнообразие, чем последовательности, образуемые бросанием монеты.) Поясним, почему энтропия может действительно служить мерой разнообразия в вероятностном смысле. Обратимся для этого к заключительным строкам подстрочного примечания на стр. 248. Если для каждого n выбрать множество Мn, удовлетворяющее условию а), так чтобы оно содержало как можно меньше элементов, то, как можно убедиться путем некоторых расчетов, число тп элементов в Мn растет так же, как , где Н- энтропия рассматриваемой цепи Маркова (более точно, отношение стремится к 1 при n, стремящемся к бесконечности).
Таким образом, Нn приблизительно равно логарифмической мере разнообразия (в абсолютном смысле главы 7) множества Мn, Так как с подавляющей вероятностью векторы длины n принадлежат к Мn, то Нn естественно называть логарифмической мерой разнообразия (в вероятностном смысле!) множества векторов длины n, а Н - <средней мерой разнообразия на одну составляющую>. - Прим. ред.

Мы берем взвешенное среднее значение потому, что мы начинали с нахождения трех энтропий: 0,811, 0,811 и 1,061; из них нам нужно получить одну. Если бы они имели одно и то же значение, то мы> конечно, его бы и взяли; но они не одинаковы. Мы можем, однако, рассуждать так: когда система достигла равновесия, 45% на-секомых находятся в состоянии В, 43%-в состоянии W и 12% -в состоянии Р.

Поскольку насекомые циркулируют между всеми тремя состояниями, такое распределение равносильно тому, что каждое насекомое проводит 45% своего времени в В, 43% в W и 12% в Р. Другими словами, 45% его переходов будет из В, 43%-из W и 12%-из. Р. Поэтому 45% его переходов будут иметь энтропию, или разнообразие, в 0,811; 43% -также 0,811; наконец, 12%-энтропию 1,061. Таким образом, переходы с энтропией 0,811 будут частыми (и значение 0,811 будет <весить> больше), а переходы с энтропией 1,061 будут редкими (и значение 1,061 будет <весить> меньше). Поэтому среднее значение взвешивается: значению 0,811 придается вес 88%, значению 1,061-вес 12%. Следовательно,

и получается именно то, что было приведено выше.

Упр. 1. Покажите, что последовательность букв Г и Р, образуемая бросанием монеты, имеет среднюю энтропию в 1 бит на каждое бросание. (Указание: постройте матрицу переходных вероятностей.)

Упр. 2. (Продолжение.) Что случится, если монета погнута? (Указание: посмотрите, что получится, если изменить вероятности.)