Google DeepMind publie XYEval pour évaluer la conformité des agents aux conseils trompeurs

Les chercheurs de Google DeepMind ont publié un article préimprimé intitulé « XYEval : Agents say yes to bad advice », proposant un cadre d'évaluation méticuleux, XYEval, pour évaluer la performance des agents face aux conseils trompeurs des utilisateurs. L'article étend le "problème XY", où l'utilisateur pose des questions sur sa propre solution X plutôt que sur le véritable problème Y. XYEval, tout en préservant l'environnement de tâche d'origine et les réponses vérifiables, ajoute des conseils d'utilisateur qui semblent raisonnables mais qui sont trompeurs. Ces conseils trompeurs sont générés par un générateur après avoir vu la tâche complète et sont ajoutés sous forme de suggestions confiantes, permettant ainsi de résoudre la tâche d'origine. L'évaluation couvre six benchmarks : τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam et MCP-Atlas, ainsi que cinq modèles, dont les conseils trompeurs de τ2-bench sont générés selon des règles établies par des experts humains. L'article souligne que la performance diminue considérablement après la mutation XY, avec une baisse maximale atteignant 46,7 %. Sur τ2-bench, la performance diminue encore plus face à des utilisateurs qui exigent une explication détaillée avant d'accepter une meilleure solution. Les modèles sont encouragés à réaliser que des instructions simples sur le problème XY ne peuvent que partiellement atténuer le problème. Le code associé a été publié dans le dépôt GitHub google-deepmind/xyeval.