Question

В корзине лежат 8 черных шаров. Сколько бит информации несет сообщение о том, что из корзины достали черный шар?.

Answer 1

Ответ: 3 бита

т.к 8 это 2 в степени 3

Answer 2

Для определения количества информации в сообщении о том, что из корзины достали черный шар, мы можем использовать понятие информационной энтропии.

Информационная энтропия измеряет степень неопределенности или неожиданности события. В данном случае, у нас есть 8 черных шаров в корзине, и каждый раз, когда мы достаем шар, мы с некоторой вероятностью выбираем черный шар. Так как у нас только черные шары, то это единственное возможное событие. Вероятность достать черный шар из корзины равна 1 (100%), так как все шары черные.

Формула для вычисления информационной энтропии такова:

$\text{Информационная энтропия} = -\sum p_i \cdot \log_2 p_i$

где $p_i$ - вероятность наступления события $i$.

В данном случае у нас только одно событие (достали черный шар), и вероятность этого события равна 1 (100%). Подставим в формулу:

$\text{Информационная энтропия} = - (1 \cdot \log_2 1)$

Логарифм от 1 равен 0, поэтому:

$\text{Информационная энтропия} = 0$

Таким образом, сообщение о том, что из корзины достали черный шар, несет 0 бит информации, потому что это единственное возможное событие, и оно ожидаемо всегда наступает. Не содержится никакой дополнительной информации о том, что мы уже знаем.