Question

Чему равен и информационный объем сообщения из 100 символов алфавита состоящего из 128 символов?

Answer 1

Информационный вес символа стандартного компьютерного алфавита из 256 символов = 8 бит = 1 байт, т.к. 256 = 2^8

Здесь же алфавит состоит из 128 символов, т.е. в два раза меньше, поэтому и вес каждого символа будет в два раза меньше, т.е. 4 бит или 0,5 байт.

100 * 4 = 400 бит = 50 Байт

Answer 2

Информационный объем сообщения из 100 символов алфавита, состоящего из 128 символов, можно вычислить с помощью формулы для информационного объема (или энтропии) Шеннона:

H = -Σ (p_i * log2(p_i))

Где: H - информационный объем сообщения в битах, p_i - вероятность появления символа i в сообщении (относительная частота), log2 - логарифм по основанию 2.

Если вероятности всех символов равны (то есть равномерное распределение), то формула упрощается:

H = log2(N)

Где N - количество символов в алфавите.

В данном случае алфавит состоит из 128 символов, поэтому информационный объем сообщения из 100 символов будет:

H = log2(128) = 7 бит.

Таким образом, информационный объем данного сообщения составляет 7 бит.