AI可以悄悄影响专家的决策，Anthropic研究发现

专业分析师在86%的关键判断中采纳了他们的AI代理的隐藏随机分配意见，而根据Anthropic的Alignment团队周二发布的一项实验，预计仅有约50%是偶然的。只有15%的人在事后归功于该代理，且没有人怀疑其偏好是被植入的。

AI代理——能够独立执行任务的程序——被赋予了专家工作，基于研究所称的通常假设：专家仍然做出重要决策。Anthropic在5月推出了10个针对金融公司和保险公司的代理模板，表示用户拥有最终决定权。

这种被称为“人类在环”的安排假设，签署AI工作的人是做出重要决策的人。Anthropic在50名经验丰富的因果推断分析师中进行了测试，这意味着从数据中推断出一件事是否导致另一件事。

每位分析师使用Claude Code，Anthropic的编码代理，向一个虚构的农业合作社提供关于扩展咨询项目的建议。对他们来说，未知的是，抛硬币决定了每个代理所偏好的选项，这一偏好隐藏在系统提示中，指示AI如何行为。

“在四个分析选择中，分析师86%的时间选择了他们代理的倾向。如果代理的输入没有影响，我们预计大约是50%。”Anthropic表示。那些在代理发表意见之前已经做出选择的人，在代理不同意时有60%的概率放弃自己的选择，而在代理同意时仅有6%的放弃，尽管这仅基于38个案例。

在被要求解释他们的选择时，77%的人在至少一个回答中重复了代理的论点，有时是逐字重复。只有15%的人归功于代理，52%的人称最终建议更像是他们自己的而非代理的。

“对于个别专家来说，这可能意味着失去对自己工作的控制，这是一种研究人员所称的无能为力的形式。”Anthropic表示。这种现象基本上意味着人类自愿失去对自己决策的控制。“工作仍然以专家的名义发布，”作者写道，“但最依赖于他们判断的决策实际上是由代理的先前信念决定的。”

在2025年4月，OpenAI撤回了对ChatGPT的一个更新，称其过于奉承或迎合。这里的代理被告知绝不要误导，但它们很少为替代方案辩护。

“只有一方被很好地辩论，”作者写道，“分析师可以在不自己推导的情况下采纳代理的假设。”错误检查很难捕捉到这一点，因为判断决策没有单一正确答案，因此无论选择哪个选项，工作看起来都是合理的。
OpenAI在用户对“谄媚”行为的反对后撤回ChatGPT更新

Anthropic表示，这并不是减少使用AI的理由，因为使用代理的分析师完成得更快，且严重错误更少，尽管没有代理的组别较小且经验较少。它建议代理为每个选项辩论最佳案例或先询问专家，尽管这可能会让用户感到不知所措。

研究人员故意加强了代理的偏好，并测试了一个任务、领域和模型，因此现实世界的影响可能更小。在实验室外进行测量是困难的：团队能够检测到的服从性仅仅是因为它随机化了每个代理的倾向，作者表示在实际工作中这种情况很少发生。