DeepSeek V4 Flash テスト 8 セットのハーネス成功率とコスト比較

AIエージェントインフラ企業のComposioは、DeepSeek V4 Flashを8セットのハーネスに接続し、同一の30個のエージェントタスクを使用してテストを行いました。タスクにはGmail、GitHub、Slack、Calendar、Notionなどのアプリケーションが含まれています。8セットのハーネスの合格状況は以下の通りです：Piエージェント 20/30、Oh My Pi 17/30、Claude Code 16/30、Codex 16/30、Deep Agents 16/30、Hermes Agent 15/30、Prime Agent 15/24、OpenCode 14/30。ハーネスを変更した後、DeepSeek V4 Flashの合格タスク数は14から20に増加しました。コスト面では、Piエージェントの成功したタスクあたりのコストは約0.028ドル、Claude Codeは0.195ドルで、差は約7倍です。速度面では、Claude Codeの中央値は122.7秒で、Oh My Piは最も遅く272.4秒でした。Piのテスト構成は統一条件と異なり、最大推論強度ではなく高い推論強度を使用し、30のタスクのうち24はDeepSeek公式APIを使用しました。Composioは以前にKimi K3を使用して別のハーネスの横比較を行い、Oh My Piが22/25で1位、元のPiエージェントは18/25でしたが、DeepSeek V4 Flashに変更した後、元のPiが1位になりました。

本コンテンツは、一般的な情報提供のみを目的としたものであり、金融、投資、法律、または税務に関する助言を構成するものではありません。ここに記載されているイベント、報酬、オンラインキャンペーン、またはそれらに関連する情報は、暗号資産の購入、売却、取引、その他いかなる取引の推奨、勧誘、または招待とみなされるべきではありません。暗号資産は価格変動が非常に大きく、損失が発生する可能性があります。WEEXのサービス、プロダクト、および関連イベントの提供状況は、地域によって異なる場合があります。お客様は、ご自身の参加が適用される現地の法令を遵守していることを自ら確認する責任を負うものとします。