КАТЕГОРИИ:
АстрономияБиологияГеографияДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРиторикаСоциологияСпортСтроительствоТехнологияФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника
|
Количественная оценка информацииВ качестве основной характеристики сообщения теория информации принимает величину, называемую количеством информации. Это понятие не затрагивает смысла и важности передаваемого сообщения, а связано со степенью его неопределенности. Пусть алфавит источника сообщений состоит из m знаков, каждый из которых может служить элементом сообщения. Количество N возможных сообщений длины nравно числу перестановок с неограниченными повторениями: N = mn Количество информации, приходящееся на один элемент сообщения (знак, букву), называется энтропией: (бит) Основание логарифма 2, т.к., измерения производят в битах. Мера информации - критерий оценки количества информации. I = log N = log mn = n log m Пример. Определить количество информации, которое содержится в телевизионном сигнале, соответствующем одному кадру развертки. Пусть в кадре 625 строк, а сигнал, соответствующий одной строке, представляет собой последовательность из 600 случайных по амплитуде импульсов, причем амплитуда импульса может принять любое из 8 значений с шагом в 1 В. Решение. В рассматриваемом случае длина сообщения, соответствующая одной строке, равна числу случайных по амплитуде импульсов в ней: n = 600. Количество элементов сообщения (знаков) в одной строке равно числу значений, которое может принять амплитуда импульсов в строке,: m = 8. Количество информации в одной строке: бит, а количество информации в кадре: I = 625 I = 1,125 × 106 бит. Рассмотренная выше оценка информации основана на предположении о равновероятности всех знаков алфавита. В общем случае каждый из знаков появляется в сообщении с различной вероятностью. Для таких систем используют более подходящую меру К. Шеннона. Пусть на основании статистического анализа известно, что в сообщении длиныn знак xi появляется ni раз, т.е. вероятность появления знака: Формулы Шеннона для количества информации и энтропии имеют вид:
|