Shannon 熵（標準定義）

$$
H(X) \;=\; -\sum_i P_i \log P_i \;\ge\; 0
$$

• $H$ 代表的是 Entropy 不確定性 / 亂度；分布越平均，$H$ 越大（越不確定）；分布越尖（越確定），$H$ 越小。
• 均勻分布（n 個等機率）達最大 $H = \log n$；確定事件 $H = 0$。

- 閱讀剩餘部分 -