Comparación de la tasa de éxito y costos de 8 Harness en la prueba de DeepSeek V4 Flash

La empresa de infraestructura de IA Composio integró DeepSeek V4 Flash con 8 Harness, utilizando el mismo lote de 30 tareas de Agent para realizar pruebas, que involucraron aplicaciones como Gmail, GitHub, Slack, Calendar y Notion. Los resultados de las 8 Harness fueron: Pi Agent 20/30, Oh My Pi 17/30, Claude Code 16/30, Codex 16/30, Deep Agents 16/30, Hermes Agent 15/30, Prime Agent 15/24, OpenCode 14/30. Después de cambiar el Harness, el número de tareas aprobadas por DeepSeek V4 Flash aumentó de 14 a 20. En términos de costos, Pi Agent tuvo un costo de aproximadamente 0.028 dólares por tarea exitosa, mientras que Claude Code fue de 0.195 dólares, lo que representa una diferencia cercana a 7 veces. En cuanto a la velocidad, el tiempo medio de Claude Code fue de 122.7 segundos, siendo Oh My Pi el más lento con 272.4 segundos. La configuración de prueba de Pi difirió de las condiciones uniformes, utilizando una intensidad de inferencia alta en lugar de máxima, y de las 30 tareas, 24 utilizaron la API oficial de DeepSeek. Composio había realizado anteriormente otra ronda de evaluación horizontal de Harness con Kimi K3, donde Oh My Pi ocupó el primer lugar con 22/25, el Pi Agent original tuvo 18/25, y después de cambiar a DeepSeek V4 Flash, el Pi original alcanzó el primer lugar.

Este contenido se ofrece únicamente con fines informativos generales y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, tradear o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.