Энтропия- это мера неопределённости информации, она характеризует способность одной системы (источника) отдавать информацию и способность другой системы (приёмника) принимать её.

I= Hx-Hy=-pi Logpi –(-Pjlogpj)

Важным понятием в статистике является понятие выборки .Выборка- это часть изучаемой совокупности, на основе исследования которой получают статистические закономерности, присущие всей совокупности.

Для того, чтобы полученные при исследовании выборки выводы можно было распространять на всю совокупность выборка должна быть представительной или репрезентативной, то есть правильно отражать свойства совокупности.

На базе статистических отображений развивается ряд математических теорий: математическая статистика, теория статистических испытаний, теория выдвижения и проверки гипотез.