11/8. (При первом чтении этот параграф может быть опущен.) Этот закон имеет очень широкое применение и ни в коем случае не является просто тривиальным следствием табличной формы. Чтобы показать это, та же самая по существу теорема будет доказана для случая, когда разнообразие распределено во времени и ходы непрерывны. Этот случай специально рассматривался Шенноном. (Обозначения и понятия, встречающиеся в этом параграфе, взяты из книги Шеннона.)

Пусть D, R и Е - три переменные, каждая из которых является источником информации, причем слово <источник> не означает здесь, что они действуют независимо. Безотносительно к тому, как они связаны причинно, может быть вычислен или эмпирически измерен целый ряд их энтропий. Сюда относятся: H(D, R, Е) - энтропия вектора, составляющими которого служат эти три переменные; НD(Е)-неопределенность переменного Е при известном состоянии D; HED(R)-неопределенность R, когда известны и Е, и D, и т. д.

Условие, введенное в 11/5 (что никакой элемент не должен дважды встречаться в одном и том же столбце), соответствует здесь следующему условию: при данном, или фиксированном, R энтропия источника Е (соответствующая энтропии исхода) не должна быть меньше, чем энтропия источника D, т. е. HR(E)HR(D).

Теперь, какие бы причинные или иные отношения ни соединяли D, R и Е, их энтропии в силу алгебраической необходимости будут связаны формулой
H(D) + HD(R) = H(R)+HR (E), ибо каждая сторона этого равенства равна H(R, D). Подставляя HR(E) вместо HR (D), получим
H(D)+HD(R)H(R)+HR(E)H(R, Е);
но в силу алгебраической необходимости
H(R, Е) H(R) + H(E),
так что
Н(D) + НD(R) H(R) + H(E),
или
Н(Е) H(D) + HD(R) - H(R).

Таким образом, энтропия источника Е имеет определенный минимум. Если взаимозависимость между источниками D и R должна влиять на этот минимум, он будет наименьшим при HD(R)=0, т. е. когда R есть однозначная функция от D. Если это так, то минимум Н(Е) равен H(D)-H(R). Этот вывод аналогичен выводу предыдущего параграфа. Он просто утверждает, что минимальное значение энтропии источника Е может быть уменьшено относительно энтропии источника D лишь за счет такого же увеличения энтропии источника R.