OSM 的隱藏陷阱:λ 指數修正 2 —— 建照數據校準與方法論局限
延續上一篇的話題,關於 λ 的修正計算,如何更準確的預估或是計算出 λ 呢?
理論上 λ 應由「外部基準」決定,以下是三條可行的校準路徑:
PATH 1:對照官方建照數據
最直接的方法——以政府公布的「年度核發建照數」作為 ground truth,反推 λ:
λ* = log(N_t/N_0 / G_real) / log(C_t/C_0)
其中 G_real 為官方建照累計增長率。台中建管處(CPA)有公開資料,可據此反算出城市特定的 λ 值。
PATH 2:跨城市穩定性檢驗
若同一個 λ 值應用於台北、高雄、台中均能與官方數據對齊,則可視其為 OSM 系統性偏差的穩健估計,與個別城市無關。
三門問題的資訊熵解法:用 Shannon 熵計算 Monty Hall 換門的資訊增益,兼談與 Everett 多世界的類比
三門問題的資訊熵解釋
核心思路
三門問題(Monty Hall)的關鍵在於:主持人的動作不是隨機的,而是攜帶訊息的。用資訊熵來看,整個過程是一次「熵減少」的過程──你獲得了訊息,不確定性就下降了。
初始熵
三扇門,獎品等機率藏在其中一扇後面:
$$
H_0 = -\sum_{i=1}^{3} \frac{1}{3}\log_2\frac{1}{3} = \log_2 3 \approx 1.58 \ bits
$$
LLM 記憶壓縮實戰:滑動視窗 vs 摘要記憶,用答對率與 Token 成本量化取捨
本章節要實作滑動視窗與摘要壓縮兩種記憶,並用事實問答量化「省 token vs 記得住」的取捨
一、滑動視窗記憶
實作只保留最近 N 輪的 SlidingWindowMemory,並驗證在 Context Window 中「忘掉久遠的事」
LLM 為什麼沒有記憶?Stateless 原理與 Prompt 層記憶模擬實戰(含 Token 成長曲線)
一、大模型沒有記憶
由於 LLM 本質上是無狀態的(Stateless)。每一次 API 呼叫都是獨立的、全新的計算過程,模型內部不會保留任何「記住上一句話」的狀態。因此,兩次呼叫彼此獨立,第二次完全不知道第一次發生過的事情。於是乎就有了以下的做法。
Prompt 層模擬記憶
把「歷史聊天記錄」+「當前新問題」打包拼接,作為一個完整的 Prompt 一次性傳給模型,讓它在 單次推理中 看到全部上下文。