使用 Qwen2.5-1.5B + QLoRA 訓練情緒分類模型:環境檢測與資料集建立
我們將使用 Qwen2.5-1.5B 加上 QLoRA 進行情緒語句的訓練與測試,原本的參數量來説 0.8B 模型就必須 12.8GB vram(全量微調),需要在消費級顯卡上進行測試,那麽就必須將參數量降下來,所以我們將在這裏使用 QLoRA 進行訓練推理,QLoRa 可以將 4bytes 降到 0.5bytes,并且凍結梯度、優化器狀態。
全量微調
| 组成 | 内容 | FP32 參數 |
|---|---|---|
| 模型權重 | x | 4 |
| 梯度 | x | 4 |
| 優化器 | Adam 的 m + v = 2x | 8 |
| 合计 | 4x | 16 bytes/參數 |
所以 0.8B × 16 = 12.8 GB,結果就是消费级顯卡(4080/16GB)連 1.5B 全量微調都做不到。

