及時削弱和參數鎖定：為什麼人工智慧用戶感覺模型變得更糟
即時削弱是一種面向使用者的感覺，即模型或產品在更改後變得響應能力降低、直接程度降低或能力降低。有時它是真實的。有時它是預設值、參數、安全行為、工具和期望之間的相互作用。
談話中發生了什麼變化
有關 Opus 4.7 的社群貼文包括聲稱非預設溫度、top_p 或 top_k 值被拒絕的說法。這些說法需要官方確認，但用戶的擔憂是真實的：當預設值變得更嚴格時，專家用戶會感覺模型被削弱了。
迅速削弱不是一回事
感知的退化可能來自模型路由、安全調整、系統提示變更、隱藏情境、速率限制壓力、工具故障或參數限制。一個嚴肅的團隊不應該依賴氛圍。它應該重新運行代表性任務、比較工件並測量重試、延遲、編輯和最終品質。
如何測試
- 保持穩定的基準提示設定。
- 記錄模型、工具和參數設定。
- 比較最終的工件，而不僅僅是主觀感覺。
- 將模型品質與代理線束行為分開。
- 追蹤每個已接受工件的令牌使用情況。
TRH角
如果使用者感覺模型變得更糟，他們通常會透過更多提示、更多重試和添加更多上下文來進行補償。即使實際根本原因尚不清楚，這也會增加代幣浪費。令牌恢復有助於將投訴轉化為可衡量的工作流程證據。