Question

. Вычислить энтропию опыта, состоящего в определении цвета наугад вынутого шарика, если в непрозрачном мешочке хранятся 35 белых, 25 красных, 15 синих и 45 зеленых шариков.

Answer 1

Шары     Р- вероятность     1 / Р            I =log(1/P) бит                 P * I
                                                                   по осн 2
35            7/24=0,29                24/7=3,4               1,77               0,29*1,77=0,51
25            5/24 =0,21              24/5=4,8                2,26                0,21*2,26= 0,47
15            3/24=1/8=0,125          8                          3                    0,125*3=0,375
45              3/8 =0,375             8/3  =2,67              1,42              0,375*2,67= 1,00
 Сумма        1                                                                         2,355 бит - ответ                 

Answer 2

Энтропия опыта может быть вычислена с использованием формулы Шеннона для дискретных вероятностных событий:

H(X) = -Σ(p(x) * log2(p(x)))

Где:

• H(X) - энтропия опыта.
• Σ - сумма по всем возможным событиям.
• p(x) - вероятность события x.
• log2 - логарифм по основанию 2.

В данном случае, мы имеем 4 цвета шариков: белый, красный, синий и зеленый. Для каждого цвета вычислим вероятность выбора этого цвета наугад:

1. Вероятность выбора белого шарика (P(белый)) = (35 / 120) = 7/24.
2. Вероятность выбора красного шарика (P(красный)) = (25 / 120) = 5/24.
3. Вероятность выбора синего шарика (P(синий)) = (15 / 120) = 1/8.
4. Вероятность выбора зеленого шарика (P(зеленый)) = (45 / 120) = 3/8.

Теперь мы можем вычислить энтропию опыта:

H(X) = -[(7/24) * log2(7/24) + (5/24) * log2(5/24) + (1/8) * log2(1/8) + (3/8) * log2(3/8)]

Вычислим каждый из членов:

(7/24) * log2(7/24) ≈ -0.4016 (5/24) * log2(5/24) ≈ -0.3309 (1/8) * log2(1/8) ≈ -0.3750 (3/8) * log2(3/8) ≈ -0.5625

Теперь сложим все эти значения:

H(X) ≈ -0.4016 - 0.3309 - 0.3750 - 0.5625 ≈ -1.6700

Энтропия опыта, состоящего в определении цвета наугад вынутого шарика из мешочка, примерно равна 1.67 бит.