Question

Как определяется информативность сообщения о некотором исходе события с вероятностной точки зрения?

Answer 1

Каждый символ кодируется 6 битами. 
Пример A+B=C
В сообщение 5 символов, следовательно, 5*6 = 30 бит

Answer 2

Из вероятностной точки зрения, информативность сообщения о некотором исходе события зависит от нескольких факторов, включая вероятность данного исхода и степень неожиданности этого исхода. Важность и информативность информации возрастает, если исход события был маловероятен или неожиданен.

Для определения информативности сообщения о некотором исходе с вероятностной точки зрения можно использовать меры информации, такие как:

1. Информационный вес (Information content): Он измеряет степень неожиданности или редкости исхода события. Чем менее вероятен исход, тем более информативно сообщение об этом исходе. Информационный вес можно определить с помощью формулы:

   Information Content = -log2(P),

   где P - вероятность исхода. Значение информационного веса измеряется в битах или других единицах информации.

2. Энтропия (Entropy): Энтропия представляет собой меру неопределенности или разнообразия в возможных исходах события. Чем выше энтропия, тем более информативно сообщение о конкретном исходе, так как это уменьшает неопределенность. Энтропия вычисляется как сумма информационных весов всех возможных исходов, умноженных на их вероятность:

   Entropy = Σ (-P_i * log2(P_i)),

   где P_i - вероятность i-го исхода события.

Таким образом, вероятность и степень неожиданности определенного исхода события влияют на информативность сообщения о нем с вероятностной точки зрения. Чем менее вероятен исход и чем больше он неожиданен, тем более информативно его сообщение.