Question

В коробке лежит 256 карандашей среди них 16 красных. Сколько информации несет сообщение о том ,что достали красный

Answer 1

Вероятность достать красный карандаш = 16/256 = 1/16
Количество информации = log(2)[1 / 1/16] = log(2)16 = 4 бита

Answer 2

Сообщение о том, что достали красный карандаш, содержит следующую информацию:

1. Цвет - красный.

Изначально у нас было 256 карандашей, и мы знали только одну характеристику (цвет) из этого множества. Теперь, зная цвет карандаша, мы можем однозначно идентифицировать его среди остальных и уточнить его характеристики.