Question

Информационное сообщение объемом 1000 битов состоит из 200 символов. Каковы информационный вес каждого символа и мощность алфавита, c помощью которого записано это сообщение?

Answer 1

Дано:

$\rm I$ = 1000 бит

K = 200 символов

Найти:  i, N

Решение:

i = $\rm I$ / K = 1000 / 200 = 5 бит

N = $\rm2^{\,i}$ = $\rm2^{\,5}$ = 32 символа

Ответ:

информационный вес символа   5 бит,

мощность алфавита (число символов в нём)   32 символа.

Answer 2

Информационный вес символа зависит от вероятности его появления в сообщении. Если символ встречается редко, его появление несет больше информации, чем у часто встречающегося символа. Мощность алфавита - это количество различных символов, используемых для записи сообщения.

Давайте предположим, что все символы в алфавите равновероятны и используем стандартный бит для измерения информации. В этом случае информационный вес символа можно рассчитать по формуле:

\[I = -\log_2(P)\]

где \(P\) - вероятность появления символа. Если у нас есть 200 символов в сообщении, и они равновероятны, то вероятность появления каждого символа \(P\) будет \(1/200\), и информационный вес каждого символа будет:

\[I = -\log_2(1/200) = \log_2(200)\]

Таким образом, информационный вес каждого символа составляет \(\log_2(200) \approx 7.64\) бит.

Что касается мощности алфавита, то это количество различных символов, используемых для записи сообщения. В данном случае, если сообщение состоит из 200 символов и информационный вес каждого символа равен примерно 7.64 бит, общий объем информации в сообщении составит примерно \(200 \times 7.64 = 1528\) бит. Таким образом, мощность алфавита, с помощью которого записано это сообщение, может быть определена как ближайшая степень двойки, превышающая 1528. Это может быть, например, 2048 (или \(2^{11}\)).