Question

Сообщение записанное буквами из 256 символьного алфавита содержит 130 символов Какой объем информации Оно содержит

Answer 1

N=256

K=130

Известные Формулы:N=2i

I=k*i     => 256=2i

i=8

I=130*8=1040

Answer 2

Для оценки объема информации, содержащегося в сообщении, используем формулу Шеннона для вычисления энтропии:

$H = -\sum_{i=1}^{n} p_i \log_2(p_i)$

где $n$ - количество символов в алфавите (в данном случае 256), а $p_i$ - вероятность появления символа $i$.

Если каждый символ имеет одинаковую вероятность встретиться, то $p_i = \frac{1}{n}$ для каждого символа. Подставим этот значение в формулу:

$H = -\sum_{i=1}^{256} \left(\frac{1}{256} \log_2\left(\frac{1}{256}\right)\right)$

$H = -256 \times \left(\frac{1}{256} \log_2\left(\frac{1}{256}\right)\right)$

$H = -\log_2\left(\frac{1}{256}\right)$

$H \approx 8$

Это значит, что каждый символ в данном сообщении содержит примерно 8 бит информации (или 1 байт), и всё сообщение, состоящее из 130 символов, содержит примерно $130 \times 8 = 1040$ бит или 130 байт информации.