30. 當大型語言模型讀到一個句子: 「學生把作業交給老師,因為他明天要請假。」 要產生回答或進行語意分析時,模型需要根據上下文判斷「他」較有可能指 的對象是老師還是學生。若模型使用 Transformer 架構,下列哪一個機制最 能幫助模型在處理「他」這個 token 時,同時參考句中其他 token 的語意 關聯?
(A) 使用位置編碼(positional encoding)記錄每個 token 在句子中的位置, 以判定代名詞所指涉的對象。
(B) 使用詞嵌入(word embedding)將每個 token 轉換成向量,便可確認每 個 token 的語意。
(C) 使用前饋神經網路(feed-forward neural network)調整「他」這個 token 的向量表示,使其包含更多語意資訊,進而判斷所指對象。
(D) 使用自注意力機制(self-attention)計算 token 之間的關聯權重,使模 型可依上下文調整各 token 的表示。

答案:登入後查看
統計: A(0), B(0), C(0), D(1), E(0) #3911396