Question

29. Первое письмо состоит из 50 символов 32-символьного алфавита, а второе – из 40 символов 64 – символьного алфавита. Сравните объемы информации, содержащиеся в двух письмах.

Answer 1

Ответ:

N=64

N=2^i

i=6 Бит

K=40

I=K*i

I=40*6=240 бит - объем второго сообщения 

N=32

N=2^i

i=5 бит

K=50

I=K*i

I=50*5=250 бит - объем перого сообщения 

250-240=10 бит - на столько первое сообщение весит больше второго

Answer 2

Для сравнения объемов информации в двух письмах, нужно использовать понятие энтропии. Энтропия измеряет степень неопределенности или "перепутывания" символов в сообщении.

Первое письмо содержит 50 символов из 32-символьного алфавита. По формуле энтропии:

$H = -\sum_{i=1}^{n} p(x_i) \cdot \log_2 p(x_i)$

где $p(x_i)$ - вероятность появления символа $x_i$ в сообщении.

Если предположить, что каждый символ встречается равновероятно (что не обязательно верно в реальных текстах), то вероятность каждого символа составляет $1/32$. Подставляя это значение в формулу, получим:

$H_{\text{первое письмо}} = -32 \cdot \frac{1}{32} \cdot \log_2 \frac{1}{32} = 5 \, \text{бит}$

Второе письмо содержит 40 символов из 64-символьного алфавита. Аналогично, если предположить равновероятное распределение символов, то вероятность каждого символа составляет $1/64$. Подставляя это значение в формулу, получим:

$H_{\text{второе письмо}} = -64 \cdot \frac{1}{64} \cdot \log_2 \frac{1}{64} = 6 \, \text{бит}$

Итак, второе письмо содержит больший объем информации (в смысле энтропии), чем первое письмо. Это означает, что второе письмо содержит больше разнообразия символов и более сложную структуру, что может быть связано с богатством языка и словаря, из которого были взяты символы для второго письма.