Question

В ящике лежат красные, белые и черные кубики. Информация о том, что достали красный кубик несет в себе 5 бит информации. Вероятность извлечения черного кубика в 2 раза больше, чем красного. Сколько информации несет сообщение об извлечении черного кубика?

Answer 1

Используем формулу I = log(2)1/p
5 = log(2) [1/p(красн)]
p(черн) = 2*p(красн)
I(черн) = log(2) [1/ p(черн)] = log(2)[1/ (2*p(красн))] =
log(2)1/2 + log(2)[1/p(красн)] = -1+5 = 4 бита

Answer 2

Для решения данной задачи необходимо использовать понятие информационной энтропии. Информационная энтропия (H) определяется как средняя степень неопределенности сообщения. В данном случае, информация извлечения кубика несет в себе количество бит информации, равное логарифму отношения вероятности события к вероятности всех возможных событий.

Пусть вероятность извлечения красного кубика равна p, тогда вероятность извлечения черного кубика будет 2p (так как вероятность извлечения черного кубика в 2 раза больше, чем красного). Вероятность извлечения белого кубика будет равна (1-p-2p) = (1-3p).

Таким образом, сумма вероятностей всех возможных событий равна 1: p + 2p + (1-3p) = 1 4p - 2p = 1 2p = 1 p = 1/2

Теперь мы можем рассчитать информацию, содержащуюся в сообщении об извлечении черного кубика: I = log2(1/2) = -log2(2) = -1

Таким образом, сообщение об извлечении черного кубика содержит 1 бит информации.