9/21. Ненадежность. Насколько мне известно, для основных случаев пока еще не выработано подходящей меры степени порчи сообщения от шумов. Однако Шеннон ввел соответствующую меру для беспрерывно передающего канала.
Прежде всего делается допущение, что как первоначальные, так и принимаемые сигналы образуют цепи Маркова того типа, который определен в 9/4. Сведения, содержащиеся в сообщениях, можно поэтому представить в форме, показывающей частоты (или вероятности) появления всех возможных комбинаций вектора: (посылаемый символ, принимаемый символ). Так, используя пример Шеннона, предположим, что посылаются нули и единицы и что вероятности (в данном случае относительные частоты) приема символов таковы:
Посылаемый символ 0 0 1 1
Принимаемый символ .... 0 1 0 1
Вероятность 0,495 0,005 0,005 0,495
Из каждой тысячи посылаемых символов десять приходят в неверной форме - ошибка в один процент.
На первый взгляд этот <один процент неточности> может показаться естественной мерой количества потерянной информации, но такое толкование приводит к бессмыслице. Так, если бы при этой же передаче линия была бы фактически прервана и получатель для получения сообщения просто бросал бы монету, то примерно половина символов оказалась бы правильной, хотя на самом деле не передавалось бы никакой информации. Шеннон убедительно показал, что естественной мерой является ненадежность, вычисляемая следующим образом.
Найдем сначала энтропию для всех возможных классов:
-0,495 log 0,495 - 0,005 log 0,005-
-0,005 log 0,005 - 0,495 log 0,495.
Назовем ее H1. Она равна 1,081 бита на символ. Затем соберем принимаемые сигналы и их вероятности; это дает таблицу:
Принимаемый символ 0 1
Вероятность 0,5 0,5
Найдем снова энтропию:
- 0,5 log 0,5 - 0,5 log 0,5.
Назовем ее H2. Она равна 1,000 бита на символ. Тогда ненадежность равна Н1 - Н2, т. е. 0,081 бита на символ.
Действительная скорость передачи информации при наличии шума равна энтропии источника минус ненадежность. В данном случае энтропия источника равна 1,000 бита на символ, как вытекает из таблицы:
Посылаемый символ 0 1
Вероятность 0,5 0,5
Итак, первоначальное количество информации равно 1,000 бита на символ, и из этого количества 0,919 бита проходит по каналу, а 0,081 бита разрушается шумом.
Упр. 1. Чему равна ненадежность передачи в 9/19, если все девять сочетаний букв встречаются в длинной последовательности с одинаковой частотой?
Упр. 2. (Продолжение.) Что произойдет с ненадежностью, если на первом входе используются только символы В и С, так что сочетания BE, BF, BG, СЕ, CF, CG встречаются с одинаковой частотой?
*Упр. 3. Докажите следующие правила, которые могут оказаться полезными, если мы хотим определить значение - р loga р, когда р либо очень мало, либо очень близко к 1:
Упр. 4. Найдите - plog2p, если р равно 0,00025. [Указание: запишите р как 2,5 X 104 и используйте (1).]
Упр. 5. При анализе крови гематолог рассматривает под микроскопом и различает лимфоциты и моноциты. Если он по ошибке принимает одного из каждой сотни лимфоцитов за моноцит и одного из двухсот моноцитов за лимфоцит и если эти клетки встречаются в крови в отношении 19 лимфоцитов на 1 моноцит, то чему равна ненадежность? (Указание: используйте результаты двух предыдущих упражнений.)