§ 7. Комбинаторная мера информации. Вероятность искажения информации

В комбинаторной мере информации количество информации определяется как число комбинаций элементов (сочетаний символов). Количество информации совпадает с числом возможных сочетаний, перестановок и размещений элементов. Комбинирование символов в словах, состоящих только из 0 и 1, меняет значения слов. Рассмотрим две пары слов:

100110 и 001101 ;

011101 и 111010 .

В них произведена перестановка крайних разрядов (изменено местоположение знакового разряда в числе – перенесен слева направо ).

В теории кодирования имеет место понятие вероятности искажения информации. Понятие корректирующщей способности кода обычно связывают с возможностью обнаружения и исправления ошибки. Количественно корректирующая способность кода определяется вероятностью обнаружения или исправления ошибки.

Пусть имеется п - разрядный код и вероятность искажения одного символа равна р. Число кодовых комбинаций, каждая из которых содержит k искажений символов, равна числу сочетаний из п по k :

.

Вероятность того, что искажены k символов, а остальные символов не искажены, определяется как . Тогда полная вероятность искажения информации определяется как

.