DeepSeek V4 Flash 测试 8 套 Harness 成功率与成本对比

AI Agent 基础设施公司 Composio 将 DeepSeek V4 Flash 接入 8 套 Harness，使用同一批 30 个 Agent 任务进行测试，任务涉及 Gmail、GitHub、Slack、Calendar、Notion 等应用。8 套 Harness 的通过情况为：Pi Agent 20/30，Oh My Pi 17/30，Claude Code 16/30，Codex 16/30，Deep Agents 16/30，Hermes Agent 15/30，Prime Agent 15/24，OpenCode 14/30。更换 Harness 后，DeepSeek V4 Flash 的通过任务数从 14 个提升至 20 个。成本方面，Pi Agent 每个成功任务约 0.028 美元，Claude Code 为 0.195 美元，差距接近 7 倍。速度方面，Claude Code 中位耗时 122.7 秒，Oh My Pi 最慢为 272.4 秒。Pi 的测试配置与统一条件有差异，使用 high 而非 max 推理强度，且 30 个任务中有 24 个使用 DeepSeek 官方 API。Composio 之前用 Kimi K3 进行过另一轮 Harness 横评，Oh My Pi 以 22/25 排第一，原版 Pi Agent 为 18/25，换成 DeepSeek V4 Flash 后，原版 Pi 跑到了第一。

本内容仅供参考，不构成任何金融、投资、法律或税务建议。文中提及的任何活动、奖励、线上活动或相关信息，不应被视为对购买、出售或交易任何加密资产的推荐、招揽或邀请。加密资产具有高波动性，存在价值损失风险。WEEX服务、产品及相关活动的可用性可能因地区而异。用户在参与前有责任确保符合当地适用法律法规。