從 Shannon 熵到 Everett 資訊：互資訊非負性證明全解析
Shannon 熵（標準定義）
$$
H(X) \;=\; -\sum_i P_i \log P_i \;\ge\; 0
$$
- $H$ 代表的是 Entropy 不確定性 / 亂度；分布越平均，$H$ 越大（越不確定）；分布越尖（越確定），$H$ 越小。
- 均勻分布（n 個等機率）達最大 $H = \log n$；確定事件 $H = 0$。
在上述説到分布越平均，熵越大越不確定，大概可以思考為篩子6個面每一個面的概率都為 $\frac{1}{6}$，這代表相對的不確定性，因爲你無法明確的説出接下來會篩中1或3，
$熵 \approx 0$：但如果颱風來了，那麽大概率你會說今天會下雨，這就是確定性高
$熵 \gt 0$：篩子6面
Everett 的「資訊」
Everett 不用 $H$，他定義資訊（information）為：
$$
I_X \;=\; \sum_i P_i \log P_i \;=\; -\,H(X)
$$
⚠️ 注意正負號：Everett 的 $I_X$ 就是 負熵（negative entropy）。
| Shannon $H$ | Everett $I$ | |
|---|---|---|
| 公式 | $-\sum P\log P$ | $+\sum P\log P$ |
| 意義 | 不確定性 | 「銳利度 / 已知程度」 |
| 分布變尖時 | 變小 | 變大 |
| 確定事件 | $0$（最小） | $0$（最大，因 $P\log P\to0$） |
原本的shannon熵在不確定性大時 H 值增加，而確定的時候 H 值為 0
另外一個解釋方式則是 Everett 想要的「觀測之後會增加」的量。理由是觀測讓分布變尖 → 不確定性 $H$ 下降 → 「資訊」$I$ 上升。用 $I$ 講「觀測獲得資訊」在符號上更順。
§4 互資訊 = 關聯（全章的主角）
兩個變數綁多緊？Everett 定義 X 與 Y 的關聯（correlation）：
$$
\{X,Y\} \;=\; \sum_{i,j} P(x_i,y_j)\,\log\frac{P(x_i,y_j)}{P(x_i)\,P(y_j)}
$$
這正是現代資訊論的互資訊（mutual information） $I(X;Y)$。逐項拆解：
- 若 X、Y 獨立：$P(x,y)=P(x)P(y)$ → 每項 $\log 1 = 0$ → $\{X,Y\}=0$。沒關聯。
- 若 X、Y 有關聯：聯合機率偏離「獨立預測」→ $\{X,Y\}>0$。
證明「互資訊 I(X;Y) 一定 ≥ 0」
看這張圖:藍色曲線是 y = log t(自然對數,凹函數),橘色直線是 y = t − 1(在 t=1 處的切線)。因為 log 是凹函數,它的切線永遠在它自己上方——這條直線只在切點 t=1 碰到曲線,其他地方都比曲線高。這就是整段推導唯一用到的「物理直覺」。
1. 互資訊的定義
$I(X;Y) = \sum p(x,y) \log\frac{p(x,y)}{p(x)p(y)}$
令 $p = p(x,y)(真實聯合分布)$、$q = p(x)p(y)$(假裝獨立時「應該」長怎樣)。於是
$I(X;Y) = \sum p \log\frac{p}{q}$
這就是 p 對 q 的 KL 散度。
2. 套用圖上的不等式
圖上畫的是 log t ≤ t − 1。現在把 t 換成 q/p(注意,是反過來的比值):
$log\frac{q}{p} \le \frac{q}{p} - 1$
3. 兩邊同乘 p,再對所有 (x,y) 求和
因為 p ≥ 0,不等式方向不變:
$p\log\frac{q}{p} \le q - p$
對所有 (x,y) 加總:
$\sum p\log\frac{q}{p} \le \sum q - \sum p$
4. 右邊為什麼是 0
$\sum q(x,y) = \sum p(x)p(y) = \left(\sum p(x)\right)\left(\sum p(y)\right) = 1\times 1 = 1$
$\sum p(x,y) = 1 \quad \text{(本來就是一個機率分布)}$
所以右邊 = 1 − 1 = 0。
5. 左邊等於什麼
$\sum p\log\frac{q}{p} = -\sum p\log\frac{p}{q} = -I(X;Y)$
6. 合起來
$-I(X;Y) \le 0 \;\Longrightarrow\; I(X;Y) \ge 0$
而且,因為 log t = t − 1 唯一在 t = 1 成立(就是圖上那個相切點),所以 I(X;Y) = 0 的充要條件是「對所有 (x,y) 都有 q/p = 1」,也就是 p(x,y) = p(x)p(y) 處處成立——也就是 X、Y 獨立。
所以整個證明的邏輯鏈是:
凹函數的切線不等式(圖中那條線)→ 代入 q/p → 求和後右邊自動消成 0 → 左邊剛好是 −I(X;Y) → 得到 I ≥ 0。
Everett 在 Appendix I 就是用「對數是凹函數」的凸性不等式證這件事（原文「Convex function inequalities」「Refinement theorems」）。這就是深度 3 要你看到的：關聯非負，不是約定，是定理。
