Question

В алфавите языка племени тумба-юмба 4 буквы: гласные О и А, согласные Ш и Щ. Вероятность их появления в тексте: А — 0,35, О — 0,4, Ш — 0,1, Щ — 0,15. Сколько битов информации несет сообщение о том, что очередной символ текста — согласная?

Answer 1

Вероятность появления одной из согласных букв равна сумме вероятностей появления каждой согласной буквы, т.е. 0.1+0.15=0.25 или 1/4.
Следовательно, сообщение о том, что очередная буква согласная, уменьшает наше незнание в 1 : 1/4 = 4 раза (просто "переворачиваем" дробь).
Далее используем формулу Хартли, т.е. берем от полученного числа логарифм по основанию два. В данном случае четверка - это вторая степень основания два, поэтому ответ - два бита.
Ответ: 2