Comparaison du taux de réussite et des coûts de 8 ensembles de Harness avec DeepSeek V4 Flash

La société d'infrastructure AI Agent Composio a intégré DeepSeek V4 Flash à 8 ensembles de Harness, en utilisant le même lot de 30 tâches d'Agent pour les tests, impliquant des applications telles que Gmail, GitHub, Slack, Calendar et Notion. Les résultats des 8 ensembles de Harness sont les suivants : Pi Agent 20/30, Oh My Pi 17/30, Claude Code 16/30, Codex 16/30, Deep Agents 16/30, Hermes Agent 15/30, Prime Agent 15/24, OpenCode 14/30. Après le changement de Harness, le nombre de tâches réussies de DeepSeek V4 Flash est passé de 14 à 20. En termes de coûts, Pi Agent coûte environ 0,028 USD par tâche réussie, tandis que Claude Code coûte 0,195 USD, soit une différence de près de 7 fois. En ce qui concerne la vitesse, le temps médian pour Claude Code est de 122,7 secondes, avec Oh My Pi étant le plus lent à 272,4 secondes. La configuration de test de Pi diffère des conditions uniformes, utilisant une intensité d'inférence high plutôt que max, et parmi les 30 tâches, 24 ont utilisé l'API officielle de DeepSeek. Composio avait précédemment effectué une autre série de tests de Harness avec Kimi K3, où Oh My Pi a obtenu la première place avec 22/25, l'original Pi Agent ayant obtenu 18/25. Après le passage à DeepSeek V4 Flash, l'original Pi a atteint la première place.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.