1. Почему в определении энтропии как меры неопределенности выбрана логарифмическая зависимость меж Н и п? Почему избран log2?
2. Какова энтропия последующих опытов:
(a) бросок монеты;
(b) бросок игральной кости;
(c) вытаскивание наобум одной игральной карты из 36;
(d) бросок 2-ух игральных костей.
3. Алфавит российского языка содержит 34 буковкы (с пробелом), британского — 27. Если считать возникновение всех букв в тексте схожим, то как соотносятся неопределенности, связанные с угадыванием случаем избранной буковкы текста?
4. Опыт имеет два финала. Обоснуйте, что энтропия такового опыта максимальна, если вероятности исходов будут обе равны 0,5.
5. По условиям задачки 12 приложения А обусловьте, с результатом выстрела которого из стрелков — А либо В — связана большая неопределенность.
6. Обоснуйте, что для 2-ух опытов справедливо соотношение: Н(α) + Нα(β) = Н(β) + Нβ(α).
7. Решите задачку, рассмотренную в примере 2.2, при условии, что шары ворачиваются в ящик после извлечения.
8. Опыты аир состоят в поочередном извлечении без возврата 2-ух шаров из ящика, в каком вначале находились п белоснежных шаров и т темных. Найдите Н(α), Н(β), Нα(β) и Нβ(α).
9. Какое количество инфы связано с финалом последующих опытов:
(a) бросок игральной кости;
(b) бросок 2-х монет;
(c) вытаскивание наобум одной игральной карты из 36;
(d) бросок 2-ух игральных костей.
10. Мы отгадываем загаданное кем-то двузначное число.
(a) Какое количество инфы требуется для отгадывания всего числа?
(b) Какова лучшая последовательность вопросов при отгадывании? Каково их малое число?
(c) Поменяется ли требуемое количество инфы, если будем отгадывать не все число сходу, а по очереди: поначалу 1-ю цифру числа, потом — 2-ю?
(d) Схожа ли информация, нужная для отгадывания 1-ой и 2-ой цифр?
11. Обоснуйте, что I(α, β) = I (β, α).
12. Решите задачку, описанную в примере 2.7, при условии, что кроме деревень А и В имеется деревня С, обитатели которой дают по очереди то правдивые, то неверные ответы, при этом, непонятно, с какого они начинают.
13. Вопрос имеет два варианта ответа. Может быть ли, чтоб с каждым из ответов была связано различное количество инфы?
14. Может быть ли, чтоб бинарный ответ содержал меньше 1 бит инфы?
15. Какое количество инфы содержит любой из ответов на вопрос, если всего их 3 и они все равновероятны? А если равновероятных ответов п?
16. Источник порождает огромное количество шестизнаковых сообщений, каждое из которых содержит 1 символ «*», 2 знака «%» и 3 знака «!». Какое количество инфы содержится в каждом (одном) из таких сообщений?
17. С какой буковкой российского алфавита «а» либо «б» связано больше инфы? Найдите эту информацию.
18. Средняя длина слова в российском языке 5,3 буковки, в британском — 4,5. Найдите вероятности возникновения в соответственных текстах пробелов. Какое количество инфы связано с пробелом в обоих языках?
19. По данным таблицы 2.1 при помощи Excel вычислите I1 для российского алфавита и проверьте приведенное в тексте значение.
20. Дайте разъяснение тому, что количество инфы на символ алфавита выражается нецелым числом.
21. Что такое «шенноновские сообщения»! Почему теория инфы имеет дело конкретно с такими сообщениями?
22. Почему употребляется «избыточный» язык?
23. Схожа ли на Ваш взор избыточность литературных и деловых текстов? Почему?
