📄️ 🔴 軟提示
提示微調(Prompt Tuning)(@lester2021power) 是模型微調(@khashabi2021prompt)的一種替代方法,它會固定模型權重並更新提示的引數,生成的提示被稱為“軟提示”。
📄️ 🔴 可解釋的軟提示
軟提示是一系列向量,不對應詞彙表中的任何實際標記(tokens)。這使得難以解釋提示。然而,我們仍然可以嘗試透過將向量對映到詞彙表中最接近的標記(tokens)來解釋它們。但是,投影的軟提示通常是任意的。它們可以很好地解決任務,但會被投影到詞彙表中的任意標記上(@khashabi2021prompt)。