Question

В непрозрачном мешке находятся цветные шары одинакового размера. Есть белые,чёрные, оранжевые и синие. Белых шаров 50 штук, чёрных 150 штук, оранжевых 100 шаров исиних тоже 100 шаров. Из мешка случайным образом (не глядя внутрь) вытаскивают один шар.Сколько информации содержится в утверждениях:«Выпал белый шар»?«Выпал синий шар»?

Answer 1

Общее количество шаров = 50+150+100+100 = 400

Количество информации  в утверждении: «Выпал белый шар» = log(2)[400/50] = 3 бита.

Количество информации  в утверждении: «Выпал синийшар» = log(2)[400/100] = 2 бита.

Answer 2

Информация, содержащаяся в утверждениях о цвете выпавшего шара, можно определить с помощью понятия информационной энтропии. Информационная энтропия измеряет неопределенность или неожиданность результата.

Формула для вычисления информационной энтропии в данном случае: $H = -\sum_{i=1}^{n} P(x_i) \cdot \log_2(P(x_i))$

где: $H$ - информационная энтропия, $n$ - количество различных исходов, $P(x_i)$ - вероятность исхода $x_i$.

Для упрощения рассмотрим только два возможных исхода: выпадение белого шара и выпадение синего шара.

Вероятность выпадения белого шара: $P(\text{белый}) = \frac{\text{количество белых шаров}}{\text{общее количество шаров}} = \frac{50}{50 + 150 + 100 + 100} = \frac{50}{400} = \frac{1}{8}$

Вероятность выпадения синего шара: $P(\text{синий}) = \frac{\text{количество синих шаров}}{\text{общее количество шаров}} = \frac{100}{50 + 150 + 100 + 100} = \frac{100}{400} = \frac{1}{4}$

Теперь вычислим информационную энтропию для каждого случая:

1. Выпал белый шар: $H_{\text{белый}} = - P(\text{белый}) \cdot \log_2(P(\text{белый})) = - \frac{1}{8} \cdot \log_2\left(\frac{1}{8}\right) = -\frac{1}{8} \cdot (-3) = \frac{3}{8}$

2. Выпал синий шар: $H_{\text{синий}} = - P(\text{синий}) \cdot \log_2(P(\text{синий})) = - \frac{1}{4} \cdot \log_2\left(\frac{1}{4}\right) = -\frac{1}{4} \cdot (-2) = \frac{1}{2}$

Таким образом, в утверждении "Выпал белый шар" содержится $\frac{3}{8}$ бит информации, а в утверждении "Выпал синий шар" содержится $\frac{1}{2}$ бит информации.

Информационная энтропия показывает, что выпадение синего шара более предсказуемо, чем выпадение белого шара, и требует меньшего количества информации для его описания.