В ящике имеются 2 белоснежных шара и 4 темных. Из ящика извлекают поочередно два шара без возврата. Отыскать энтропию, связанную с первым и вторым извлечениями, также энтропию обоих извлечений. Будем считать опытом α извлечение первого шара. Он имеет два финала: A1 — вытащат белоснежный шар; его возможность р(А1) = 2/6 = 1/3; финал А2 — вытащат темный шар; его возможность р(А2) = 1 — р(А1) = 2/3. Эти данные позволяют при помощи (2.4) сходу отыскать Н(α):
Н(α) = — р(А1)log2 р(А1) — р(А2)log2 р(А2) = -1/3 log21/3 — 2/3 log22/3 = 0,918 бит.
Опыт β — извлечение второго шара также имеет два финала: В1 — вытащат белоснежный шар; В2 — вытащат темный шар, но их вероятности будут зависеть от того, каким был финал опыта α. А именно:
при A1: рА1(B1) = 1/5 рА1(B2) = 4/5;
при A2: рA2(B1) = 2/5 рA2(B2) = 3/5.
Как следует, энтропия, связанная со вторым опытом, является условной и, согласно (2.8) и (2.9), равна:
В конце концов, из (2.10): Н(α Ù β) = 0,918 + 0,888 =1,806 бит.
