Question

По какой формуле рассчитывается количество информации ​

Answer 1

Ответ:

Формула Шеннона: I = — ( p1log2 p1 + p2 log2 p2 + . . .

Answer 2

Количество информации в системе или сообщении может быть рассчитано с использованием формулы, называемой формулой Хартли (или формулой Шеннона):

$I = -\log_2(P)$

где:

• $I$ - количество информации в битах,
• $\log_2$ - логарифм по основанию 2,
• $P$ - вероятность наступления события (или вероятность получения конкретного символа в сообщении).

Эта формула основана на идее, что более неожиданные события или символы содержат больше информации, так как их вероятность меньше.

Например, если у вас есть равновероятные результаты (например, бросок монеты, где вероятность выпадения орла или решки составляет 0,5), то количество информации в каждом результате составит:

$I = -\log_2(0.5) = 1 \text{ бит}$

То есть, в данном случае, каждый результат содержит 1 бит информации.

Если вероятность какого-либо события равна 1 (то есть событие обязательно произойдет), то количество информации равно 0 битам, потому что такое событие не несет никакой дополнительной информации.