L'IA peut influencer discrètement les décisions des experts, selon une étude d'Anthropic

Des analystes professionnels ont adopté l'opinion cachée et assignée au hasard de leur agent IA dans 86 % des décisions clés, contre environ 50 % attendu par hasard, selon une expérience publiée mardi par l'équipe d'Alignement d'Anthropic. Seuls 15 % ont crédité l'agent par la suite, et personne n'a soupçonné que ses préférences avaient été implantées.

Les agents IA - des programmes qui effectuent des tâches de manière autonome - se voient confier des travaux d'experts sur ce que l'étude appelle l'hypothèse habituelle : que les experts prennent toujours les décisions qui comptent. Anthropic a lancé 10 modèles d'agents pour les entreprises financières et les assureurs en mai, affirmant que les utilisateurs ont le dernier mot.

Cet arrangement, appelé "humain dans la boucle", suppose que la personne qui valide le travail d'une IA est celle qui prend les décisions importantes. Anthropic l'a testé sur 50 analystes expérimentés en inférence causale, c'est-à-dire en déterminant à partir de données si une chose en cause une autre.

Chaque analyste a utilisé Claude Code, l'agent de codage d'Anthropic, pour conseiller une coopérative agricole fictive sur l'expansion d'un programme de conseil. À leur insu, un tirage au sort a déterminé quelle option chaque agent favorisait, cachée dans une invite système, les instructions qui façonnent le comportement d'une IA.

"Sur les quatre choix analytiques, les analystes ont suivi l'inclination de leur agent 86 % du temps. Si l'apport de l'agent n'avait aucune importance, nous nous attendrions à environ 50 %", a déclaré Anthropic. Ceux qui avaient déjà choisi avant que l'agent ne s'exprime l'ont abandonné 60 % du temps lorsque l'agent était en désaccord, contre 6 % lorsqu'il était d'accord, bien que cela repose sur seulement 38 cas.

Interrogés sur leurs choix, 77 % ont répété l'argument de l'agent dans au moins une réponse, parfois mot pour mot. Seuls 15 % ont crédité l'agent, et 52 % ont déclaré que la recommandation finale leur appartenait plus qu'à l'agent.

"Pour les experts individuels, cela pourrait signifier perdre le contrôle sur leur propre travail, une forme de ce que les chercheurs appellent le désengagement", a déclaré Anthropic. Ce phénomène signifie essentiellement que l'humain perd volontairement le contrôle de ses propres décisions. "Le travail est toujours publié sous le nom de l'expert", ont écrit les auteurs, "mais les décisions qui dépendent le plus de leur jugement sont en réalité réglées par les croyances antérieures de l'agent."

En avril 2025, OpenAI a annulé une mise à jour de ChatGPT qu'il a qualifiée de trop flatteuse ou d'accord. Les agents ici ont été instruits de ne jamais induire en erreur, mais ils ont rarement plaidé pour l'alternative.

"Avec un seul côté bien argumenté", ont écrit les auteurs, "les analystes pouvaient adopter les hypothèses de l'agent sans élaborer les leurs." Les vérifications d'erreurs peinent à détecter cela car les décisions n'ont pas de réponse unique correcte, donc le travail semble solide quelle que soit l'option choisie.

Anthropic affirme que cela ne plaide pas pour utiliser moins l'IA, car les analystes avec l'agent ont terminé plus rapidement et ont commis beaucoup moins d'erreurs graves, bien que le groupe sans agent soit petit et moins expérimenté. Cela suggère des agents qui plaident le meilleur cas pour chaque option ou qui demandent d'abord à l'expert, bien que cela puisse submerger les utilisateurs.

Les chercheurs ont délibérément renforcé les préférences des agents et testé une tâche, un domaine et un modèle, donc les effets dans le monde réel peuvent être plus petits. Mesurer cela en dehors du laboratoire est la partie difficile : l'équipe a pu détecter la déférence uniquement parce qu'elle a randomisé l'inclination de chaque agent, ce que les auteurs disent être rarement possible dans le travail réel.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.