LLM 記憶壓縮實戰:滑動視窗 vs 摘要記憶,用答對率與 Token 成本量化取捨
本章節要實作滑動視窗與摘要壓縮兩種記憶,並用事實問答量化「省 token vs 記得住」的取捨
一、滑動視窗記憶
urscos Tech.
本章節要實作滑動視窗與摘要壓縮兩種記憶,並用事實問答量化「省 token vs 記得住」的取捨
一、滑動視窗記憶
SlidingWindowMemory,並驗證在 Context Window 中「忘掉久遠的事」一、大模型沒有記憶
由於 LLM 本質上是無狀態的(Stateless)。每一次 API 呼叫都是獨立的、全新的計算過程,模型內部不會保留任何「記住上一句話」的狀態。因此,兩次呼叫彼此獨立,第二次完全不知道第一次發生過的事情。於是乎就有了以下的做法。
把「歷史聊天記錄」+「當前新問題」打包拼接,作為一個完整的 Prompt 一次性傳給模型,讓它在 單次推理中 看到全部上下文。
Context Engineering(上下文工程):重點不是單句 prompt,而是 「在有限 context window 裡,放對的範例、對的格式說明、對的歷史」。
本篇要講述的是台中 OSM 建築數量 2018→2025 增長 392%,但其中有多少是真實建設、多少是社群回填?本篇提出一個可量化、可控制修正強度的 λ 偏差修正指數。
先來檢視台中市 OSM 數據 8 年的原始增長:
| 年份 | OSM 建築物總數 | 設施 | 商店 | 休閒 |
|---|---|---|---|---|
| 2018 | 16,926 | 1,015 | 408 | 30 |
| 2019 | 12,771 | 1,207 | 466 | 32 |
| 2020 | 16,117 | 1,520 | 541 | 39 |
| 2021 | 18,500 | 1,599 | 534 | 47 |
| 2022 | 24,973 | 1,640 | 590 | 49 |
| 2023 | 41,055 | 1,762 | 647 | 57 |
| 2024 | 47,584 | 1,874 | 690 | 59 |
| 2025 | 50,208 | 1,921 | 705 | 61 |
採樣點 500m 範圍內的「平均建築數量」更為顯著——從 2018 年的 27.6 棟,增至 2025 年的 136 棟,+392.1%。
以下將 codegraph 納入實際項目運作查看使用效益
$ (py3.10) D:\OlgCase\RS\HXXR_3>codegraph init
┌ Initializing CodeGraph
│
◆ Initialized in D:\OlgCase\RS\HXXR_3
|
| * Scanning files - 2,371 found
| * Parsing code - done
| * Resolving refs - done
│
◆ Indexed 2,371 files
│
● 69,568 nodes, 192,594 edges in 53.1s
│
└ Done