谷歌 DeepMind 發布 XYEval 評估智能體順從誤導建議

谷歌 DeepMind 研究人員發布預印本論文《XYEval: Agents say yes to bad advice》，提出元評估框架 XYEval，用於評估智能體面對用戶誤導性建議時的表現。論文擴展了“XY 問題”，即用戶詢問的是自己嘗試的解法 X，而非真正的問題 Y。XYEval 在保留原任務環境與可驗證答案的基礎上，追加看似合理但具有誤導性的用戶建議。誤導建議由生成器在看到完整任務後生成，並以自信建議的形式附加，使原任務仍可解。評估覆蓋 τ2-bench、SWE-bench Verified、SWE-bench Pro、Terminal-Bench、Humanity's Last Exam 與 MCP-Atlas 六個基準及五個模型，其中 τ2-bench 的誤導建議由人工專家制定的規則生成。論文指出，任務經 XY 變異後表現大幅下降，最高降幅達 46.7%。在 τ2-bench 上，面對要求先給出詳細解釋才接受更好方案的用戶時，表現下降更顯著。鼓勵模型意識到 XY 問題的簡單系統指令只能部分緩解。相關代碼已發布於 GitHub 倉庫 google-deepmind/xyeval。