Google DeepMind lanza XYEval para evaluar la conformidad de los agentes con consejos engañosos

Los investigadores de Google DeepMind han publicado un artículo en preimpresión titulado "XYEval: Agents say yes to bad advice", que presenta un marco de meta-evaluación llamado XYEval, diseñado para evaluar el rendimiento de los agentes frente a consejos engañosos de los usuarios. El artículo amplía el "problema XY", donde el usuario pregunta sobre su propia solución X en lugar del verdadero problema Y. XYEval, manteniendo el entorno de tarea original y las respuestas verificables, añade sugerencias de usuario que parecen razonables pero son engañosas. Estas sugerencias engañosas son generadas por un generador tras observar la tarea completa y se presentan en forma de recomendaciones confiadas, permitiendo que la tarea original siga siendo resoluble. La evaluación abarca seis benchmarks: τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam y MCP-Atlas, así como cinco modelos, donde las sugerencias engañosas de τ2-bench son generadas según reglas establecidas por expertos humanos. El artículo señala que el rendimiento disminuye drásticamente tras la mutación XY, con una caída máxima del 46.7%. En τ2-bench, el rendimiento disminuye aún más cuando los usuarios exigen una explicación detallada antes de aceptar una mejor solución. Se alienta a los modelos a darse cuenta de que las simples instrucciones del sistema sobre el problema XY solo pueden mitigar parcialmente el problema. El código relacionado ya ha sido publicado en el repositorio de GitHub google-deepmind/xyeval.