本章節要將情緒「分類」升級到「結構化輸出」

原本Stage 1 只回一個詞（喜悅）。Stage 2 要回一個 JSON 物件：

{
  "instruction": "分析以下文本的情緒，輸出 JSON：emotion（類別）、intensity（1-5）、trigger（觸發詞）、reasoning（分析過程）",
  "input": "他竟然在背後說我壞話，我真的快氣炸了",
  "output": {
    "emotion": "憤怒",
    "intensity": 4,
    "trigger": "背後說壞話",
    "reasoning": "「竟然」表示出乎意料的憤慨，「快氣炸了」是強烈憤怒的慣用表達"
  }
}

在這過程中要加入 COT，爲什麽呢？

- 閱讀剩餘部分 -

之前使用 kimi 生成約200筆數據，這次將數據量提高到 500~800 筆，再次進行訓練、測試，結果如下

Macro F1 = 0.74(三輪:0.62 → 0.57 → 0.74)，Accuracy 0.76。

- 閱讀剩餘部分 -

評估結果如下，這是按照生成的數據進行訓練並進行測試給出的結果:

下面是評估結論

- 閱讀剩餘部分 -

下面將每筆資料透過 _to_chat_text(...) 組成 ChatML 風格輸入

def _to_chat_text(tokenizer, instruction, user_input, output=None):
    """組成 ChatML 訓練 / 推理文本。output 為 None 時只到 assistant 起始。"""
    messages = [{"role": "user", "content": f"{instruction}\n\n文本：{user_input}"}]
    if output is not None:
        messages.append({"role": "assistant", "content": output})
        return tokenizer.apply_chat_template(messages, tokenize=False)
    return tokenizer.apply_chat_template(
        messages, tokenize=False, add_generation_prompt=True
    )

- 閱讀剩餘部分 -

我們將使用 Qwen2.5-1.5B 加上 QLoRA 進行情緒語句的訓練與測試，原本的參數量來説 0.8B 模型就必須 12.8GB vram（全量微調），需要在消費級顯卡上進行測試，那麽就必須將參數量降下來，所以我們將在這裏使用 QLoRA 進行訓練推理，QLoRa 可以將 4bytes 降到 0.5bytes，并且凍結梯度、優化器狀態。

全量微調

所以 0.8B × 16 = 12.8 GB，結果就是消费级顯卡（4080/16GB）連 1.5B 全量微調都做不到。

- 閱讀剩餘部分 -