Расчет информационных характеристик источников дискретных сообщений

Задача №1.26

Распределение вероятностей дискретной случайной величины имеет вид: p(x1)=0,362133; p(x2)=0,15; p(x3)=0,15; p(x4)=0,1; p(x5)=0,1; p(x6)=0,1; p(x7)=0,01; p(x8)=0,01; p(x9)=0,017867. Определить число n значений случайной величины, при которых энтропия Hp(X) равномерного распределения будет равна энтропии H(X) заданного распределения.

Решение:

Пользуясь формулой Шеннона, найдем энтропию:

Подставляя значения в указанную формулу, получаем:

Равномерное распределение предполагает равные вероятности всех возможных исходов.

Hp(X)=log2n

Ответ: .

Задача №1.41

Найти энтропию шума в двоичном симметричном канале без памяти, если энтропия источника на входе канала бит, энтропия ансамбля на выходе канала бит, ненадежность канала бит.

Решение:

Энтропия шума в двоичном симметричном канале без памяти вычисляется по формуле (1.17) лекции:

Таким образом, для того чтобы воспользоваться вышеуказанной формулой для вычисления энтропии шума в двоичном симметричном канале без памяти необходимо найти количество переданной информации. Для этого воспользуемся формулой (1.13) лекции:

Подставив данную формулу в ранее представленную, получим необходимое выражение для вычисления энтропии шума в двоичном симметричном канале без памяти:

Подставив в указанное выражение набор заданных параметров получим соответствующее значение энтропии шума в двоичном симметричном канале без памяти:

(бит)

Ответ: энтропия шума в двоичном симметричном канале без памяти составляет бит.

Задача №1.76

Дискретный источник выбирает сообщения из ансамбля . Длительности сообщений соответственно равны: tu

1

=0,8c, tu

2

=0,6c, tu

3

=0,5c, tu

4

=0,3c. Определить производительность источника.

Решение:

Производительность источника определяется как суммарная энтропия сообщений, переданных за единицу времени:

Пользуясь формулой Шеннона, находим:

бит

Среднее время определим как

Откуда

Подставим в формулу полученные данные и получим производительность источника:

(бит/с)

Ответ: производительность источника бит/с.

Прочтите также:

Освоение метода измерения давления с помощью тензорезистивного датчика
В аэродинамических исследованиях иногда необходимо вводить контролируемые возмущения в поток. Одним из способов введения возмущений является высокочастотный электрический тлеющий разряд ...

Система управления сварочным аппаратом
управление контроллер программный В данной курсовой работе выполняется разработка системы управления сварочным аппаратом. Современные системы управления почти все без исключения использую ...

Основы теории кодирования
помехоустойчивость кодирующий матрица Помехоустойчивость является одной из важнейших характеристик современных систем передачи информации. Возможность ее дальнейшего повышения при фиксиро ...

Основные разделы

2020 © Все права защищены! >> www.techeducator.ru