三門問題的資訊熵解釋

核心思路

三門問題（Monty Hall）的關鍵在於：主持人的動作不是隨機的，而是攜帶訊息的。用資訊熵來看，整個過程是一次「熵減少」的過程──你獲得了訊息，不確定性就下降了。

初始熵

三扇門，獎品等機率藏在其中一扇後面：

$$
H_0 = -\sum_{i=1}^{3} \frac{1}{3}\log_2\frac{1}{3} = \log_2 3 \approx 1.58 \ bits
$$

- 閱讀剩餘部分 -

本章節要實作滑動視窗與摘要壓縮兩種記憶，並用事實問答量化「省 token vs 記得住」的取捨

一、滑動視窗記憶

實作只保留最近 N 輪的 SlidingWindowMemory，並驗證在 Context Window 中「忘掉久遠的事」

- 閱讀剩餘部分 -

一、大模型沒有記憶

由於 LLM 本質上是無狀態的（Stateless）。每一次 API 呼叫都是獨立的、全新的計算過程，模型內部不會保留任何「記住上一句話」的狀態。因此，兩次呼叫彼此獨立，第二次完全不知道第一次發生過的事情。於是乎就有了以下的做法。

Prompt 層模擬記憶

把「歷史聊天記錄」+「當前新問題」打包拼接，作為一個完整的 Prompt 一次性傳給模型，讓它在 單次推理中 看到全部上下文。

我們會把對話歷史塞進 context 中，如下：

- 閱讀剩餘部分 -

「將原始模型輸出轉化為結構化、可靠、可預測的行為」。 這是 prompt engineering 的工程定義。其中三個層次：

1. 策略：zero-shot / few-shot / Chain-of-Thought — 用什麼方式引導模型推理
2. 約束：JSON mode、schema、格式規範 — 讓輸出可被程式接住
3. 曡代：用標註資料集量化準確率，像調程式一樣調 prompt

Context Engineering（上下文工程）：重點不是單句 prompt，而是 「在有限 context window 裡，放對的範例、對的格式說明、對的歷史」。

- 閱讀剩餘部分 -

本篇要講述的是台中 OSM 建築數量 2018→2025 增長 392%，但其中有多少是真實建設、多少是社群回填？本篇提出一個可量化、可控制修正強度的 λ 偏差修正指數。

關於 OSM 其中的 392% 增長，有多少是真的？

先來檢視台中市 OSM 數據 8 年的原始增長：

採樣點 500m 範圍內的「平均建築數量」更為顯著——從 2018 年的 27.6 棟，增至 2025 年的 136 棟，+392.1%。

- 閱讀剩餘部分 -