Измерение информации

Разработаны различные способы оценки количества информации. Чаще всего используется способ оценки, предложенный в 1948 г. основоположником теории информации Клодом Шенноном. Как было отмечено выше, информация – это снятая неопределенность. Степень неопределенности принято характеризовать с помощью понятия «вероятность».

Вероятность – величина, которая может принимать значения в диапазоне от 0 до 1. Она есть мера возможности наступления какого-либо события, которое может иметь место в одних случаях и не иметь места в других. Если событие никогда не может произойти, его вероятность считается равной 0. Если событие происходит всегда, его вероятность равна 1. Чем больше вероятность события, тем больше уверенность в том, что оно произойдет, и тем меньше информации содержит сообщение об этом событии. Если вероятность события мала, то сообщение о том, что оно случилось, очень информативно.

Количество информации I, характеризующей состояние, в котором пребывает объект, можно определить, используя формулу Шеннона

I = –(p₁log₂p₁ + p₂log₂p₂ + ... + p_nlog₂p_n),

где n – число возможных состояний; p₁, ..., p_n – вероятности отдельных состояний; log₂ – функция логарифма при основании 2. Знак минус перед суммой позволяет получить положительное значение для I, поскольку значение log₂ p_i всегда неположительно.

Единица информации называется битом. Термин «бит» предложен как аббревиатура от английского словосочетания «Binary digiT», которое переводится как «двоичная цифра».

1 бит информации – количество информации, посредством которого выделяется одно из двух равновероятных состояний объекта.

Формула Шеннона может быть использована и для оценки количества информации в непрерывных величинах.

При оценке количества дискретной информации часто используется также формула Хартли I = log₂(n), где n – число возможных равновероятных состояний; log₂ – функция логарифма при основании 2.

Формула Хартли применяется в случае, когда вероятности состояний, в которых может находиться объект, одинаковые.

В общем случае справедливо утверждение, что количество информации в сообщении зависит от числа разнообразий, присущих источнику информации и их вероятностей.

В качестве примера определим количество информации на один знак при двоичном кодировании (т.е. при использовании алфавита, состоящего из двух знаков 0 и 1). Если считать, что со знаками 0 и 1 в двоичном алфавите связаны одинаковые вероятности их появления, то

I = log₂ 2 = 1 бит.

Таким образом, количество информации (в битах), заключенное в двоичном слове, равно числу двоичных знаков в нем.

В вычислительной технике при определении количества информации чаще используется объемный подход.

Создатели компьютеров отдают предпочтение именно двоичной системе счисления потому, что в техническом устройстве наиболее просто реализовать два противоположных физических состояния (некоторый физический элемент, имеющий два различных состояния: намагниченность в двух противоположных направлениях; прибор, пропускающий или нет электрический ток; конденсатор, заряженный или незаряженный и т.п.). В компьютере бит является наименьшей возможной единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода).

Итак, если у нас есть один бит, то с его помощью мы можем закодировать один из двух символов – либо 0, либо 1.

Если же есть 2 бита, то из них можно составить один из четырех вариантов кодов: 00, 01, 10, 11 .

Если есть 3 бита – один из восьми: 000, 001, 010, 100, 110, 101, 011, 111. Закономерность очевидна: 1 бит – 2 варианта, 2 бита – 4 варианта, 3 бита – 8 вариантов, 4 бита – 16 вариантов.

Количество возможных кодов зависит от количества используемых бит,

N=2^m где m – количество бит, N – количество возможных вариантов.

В обычной жизни нам достаточно 150 – 160 стандартных символов (больших и маленьких русских и латинских букв, цифр, знаков препинания, арифметических действий и т.п.). Если каждому из них будет соответствовать свой код из нулей и единиц, то 7 бит для этого будет недостаточно (7 бит позволят закодировать только 128 различных символов), поэтому используют 8 бит.

Для кодирования одного, привычного человеку, символа в ЭВМ используется 8 бит, что позволяет закодировать 256 различных символов.

Стандартный набор из 256 символов называется ASCII (означает «Американский Стандартный Код для Обмена Информацией» – англ. American Standart Code for Information Interchange). Он включает в себя большие и маленькие русские и латинские буквы, цифры, знаки препинания и арифметические действия и т.п.

Каждому символу ASCII соответствует 8-битовый двоичный код.

Таблица 1. Коды управляющих символов (0–31)

Таблица 2. Символы с кодами 32–127

Таблица 3. Символы с кодами 128–255 (Кодовая таблица 866 – MS-DOS)

Коды от 128 до 255 (таблица 3) представляют собой расширение таблицы ASCII. Эти коды используются для кодирования символов национальных алфавитов, а также символов псевдографики, которые можно использовать, например, для оформления в тексте различных рамок и текстовых таблиц.

Набор символов Windows, чтобы представить каждый знак, использует 8 битов; поэтому, максимальное число символов, которое может быть выражено, при помощи использования 8 битов - 256 (2⁸). Это обычно достаточно для западных языков, включая диакритические знаки, используемые французским, немецким, испанским и другими языками. Однако восточные языки используют тысячи отдельных символов, которые не могут быть закодированы при помощи использования однобайтовой схемы кодирования. С быстрым увеличением компьютерной техники, двухбайтовые схемы кодирования были разработаны так, чтобы символы могли быть представлены 8-, 16-, 24- или 32 битовыми последовательностями. Это требует сложных передающих алгоритмов; даже в этом случае, когда используются разные кодовые наборы, можно получить полностью различные результаты на двух разных компьютерах.

Чтобы как-то решить проблему многочисленных схем кодирования, был разработан стандарт для представления данных - Unicode. 16-битная схема кодирования символов - Unicode может представлять 65,536 (2¹⁶) знаков, которых достаточно для того, чтобы включить сегодня все языки в компьютерную технику, а также знаки препинания, математические символы и участок памяти для будущего расширения их состава. Система Unicode устанавливает уникальный код для каждого символа, гарантируя этим, что символьная трансляция будет всегда точной.

Для удобства использования введены и более крупные, чем бит, единицы количества информации.