14. 某工程師計劃將通用 LLM 在醫療問答語料上進行監督微調(Supervised FineTuning, SFT),但發生了災難性遺忘(Catastrophic Forgetting)問題。在計算資源 有限的情況下,工程師希望透過調整微調策略來緩解此問題。下列哪一種訓練設 計最能有效率地學習新任務的同時保留原有能力?
(A)凍結大部分預訓練參數,僅對少量新增模組(如 LoRA 層)進行微調,並控制 更新範圍以減少對原有知識的干擾;
(B)提高學習率(Learning Rate)並縮短訓練步數,使模型快速收斂至新任務,避 免長時間訓練造成遺忘;
(C)僅使用醫療語料進行多輪訓練,強化模型對新任務的專注程度;
(D)增加批次大小(Batch Size)以穩定梯度更新,使模型同時保留舊知識與學習 新知識

答案:登入後查看
統計: A(16), B(7), C(1), D(4), E(0) #3934325

詳解 (共 1 筆)

#7571804
考點觀念 本題測驗的是 大型語言模型(L...
(共 1423 字,隱藏中)
前往觀看
0
0