從 Shannon 熵到 Everett 資訊：互資訊非負性證明全解析

Shannon 熵（標準定義）

$$
H(X) \;=\; -\sum_i P_i \log P_i \;\ge\; 0
$$

• $H$ 代表的是 Entropy 不確定性 / 亂度；分布越平均，$H$ 越大（越不確定）；分布越尖（越確定），$H$ 越小。
• 均勻分布（n 個等機率）達最大 $H = \log n$；確定事件 $H = 0$。

在上述説到分布越平均，熵越大越不確定，大概可以思考為篩子6個面每一個面的概率都為 $\frac{1}{6}$，這代表相對的不確定性，因爲你無法明確的説出接下來會篩中1或3，

$熵 \approx 0$：但如果颱風來了，那麽大概率你會說今天會下雨，這就是確定性高
$熵 \gt 0$：篩子6面

Everett 的「資訊」

Everett 不用 $H$，他定義資訊（information）為：

$$
I_X \;=\; \sum_i P_i \log P_i \;=\; -\,H(X)
$$

⚠️ 注意正負號：Everett 的 $I_X$ 就是 負熵（negative entropy）。

原本的shannon熵在不確定性大時 H 值增加，而確定的時候 H 值為 0

另外一個解釋方式則是 Everett 想要的「觀測之後會增加」的量。理由是觀測讓分布變尖 → 不確定性 $H$ 下降 → 「資訊」$I$ 上升。用 $I$ 講「觀測獲得資訊」在符號上更順。

§4 互資訊 = 關聯（全章的主角）

兩個變數綁多緊？Everett 定義 X 與 Y 的關聯（correlation）：

$$
\{X,Y\} \;=\; \sum_{i,j} P(x_i,y_j)\,\log\frac{P(x_i,y_j)}{P(x_i)\,P(y_j)}
$$

這正是現代資訊論的互資訊（mutual information） $I(X;Y)$。逐項拆解：

• 若 X、Y 獨立：$P(x,y)=P(x)P(y)$ → 每項 $\log 1 = 0$ → $\{X,Y\}=0$。沒關聯。
• 若 X、Y 有關聯：聯合機率偏離「獨立預測」→ $\{X,Y\}>0$。

證明「互資訊 I(X;Y) 一定 ≥ 0」

看這張圖:藍色曲線是 y = log t(自然對數,凹函數),橘色直線是 y = t − 1(在 t=1 處的切線)。因為 log 是凹函數,它的切線永遠在它自己上方——這條直線只在切點 t=1 碰到曲線,其他地方都比曲線高。這就是整段推導唯一用到的「物理直覺」。

1. 互資訊的定義

$I(X;Y) = \sum p(x,y) \log\frac{p(x,y)}{p(x)p(y)}$

令 $p = p(x,y)(真實聯合分布)$、$q = p(x)p(y)$(假裝獨立時「應該」長怎樣)。於是

$I(X;Y) = \sum p \log\frac{p}{q}$

這就是 p 對 q 的 KL 散度。

2. 套用圖上的不等式

圖上畫的是 log t ≤ t − 1。現在把 t 換成 q/p(注意,是反過來的比值):

$log\frac{q}{p} \le \frac{q}{p} - 1$

3. 兩邊同乘 p,再對所有 (x,y) 求和
因為 p ≥ 0,不等式方向不變:

$p\log\frac{q}{p} \le q - p$

對所有 (x,y) 加總:

$\sum p\log\frac{q}{p} \le \sum q - \sum p$

4. 右邊為什麼是 0

$\sum q(x,y) = \sum p(x)p(y) = \left(\sum p(x)\right)\left(\sum p(y)\right) = 1\times 1 = 1$

$\sum p(x,y) = 1 \quad \text{(本來就是一個機率分布)}$

所以右邊 = 1 − 1 = 0。

5. 左邊等於什麼

$\sum p\log\frac{q}{p} = -\sum p\log\frac{p}{q} = -I(X;Y)$

6. 合起來

$-I(X;Y) \le 0 \;\Longrightarrow\; I(X;Y) \ge 0$

而且,因為 log t = t − 1 唯一在 t = 1 成立(就是圖上那個相切點),所以 I(X;Y) = 0 的充要條件是「對所有 (x,y) 都有 q/p = 1」,也就是 p(x,y) = p(x)p(y) 處處成立——也就是 X、Y 獨立。

所以整個證明的邏輯鏈是:

凹函數的切線不等式(圖中那條線)→ 代入 q/p → 求和後右邊自動消成 0 → 左邊剛好是 −I(X;Y) → 得到 I ≥ 0。

Everett 在 Appendix I 就是用「對數是凹函數」的凸性不等式證這件事（原文「Convex function inequalities」「Refinement theorems」）。這就是深度 3 要你看到的：關聯非負，不是約定，是定理。