Coinbase annonce avoir réduit un test de support AI de 90 cas de 1 à 2 semaines à 30 à 45 minutes

Coinbase déclare qu'il peut désormais compléter un cycle de test de support d'environ 90 cas en 30 à 45 minutes, un travail qui prenait auparavant une à deux semaines de configuration et d'exécution manuelles. Ce chiffre, divulgué par ses ingénieurs le 21 septembre, donne un exemple concret de la manière dont l'automatisation réduit le travail répétitif, soutenant l'initiative du PDG de Coinbase, Brian Armstrong, pour une entreprise native de l'IA.

Le système, appelé Autopilot, teste les procédures que suivent les bots de support lorsqu'ils traitent des problèmes clients. Il conserve également l'approbation humaine avant que les changements de procédure n'atteignent la production. Le prochain test pour le modèle opérationnel d'Armstrong est de savoir si un développement de procédure plus rapide produit un support fiable et des actions responsables sur les comptes clients.

Les clients ont besoin que leurs problèmes de compte soient résolus correctement et que leurs données soient accessibles uniquement avec l'autorisation appropriée. Les divulgations de Coinbase décrivent le travail effectué pour répondre à ces deux besoins, tout en laissant l'effet sur les clients non mesuré. L'approbation des changements, la restriction des autorisations et la mesure des résultats réels restent des responsabilités opérationnelles alors que l'entreprise automatise davantage de travail.

D'où vient l'économie de temps

Armstrong a annoncé une réduction d'environ 14 % de la main-d'œuvre dans son mémo du 5 mai, citant à la fois un marché de la cryptographie faible et l'IA changeant la façon dont les employés travaillent. Il a proposé moins de niveaux de gestion, des leaders qui contribuent également directement, des équipes plus petites et natives de l'IA, et des expériences avec des équipes d'une seule personne.

Le compte rendu d'ingénierie de septembre déplace cet argument opérationnel dans un processus de support spécifique. Coinbase déclare que ses bots vérifient l'état des comptes, prennent des actions limitées et escaladent les problèmes nécessitant un jugement plus important à une personne. Autopilot aide à maintenir les procédures que ces bots suivent.

Son service de test crée des utilisateurs de test isolés et des états de compte fictifs, simule des conversations, enregistre des transcriptions et des résultats d'outils, et évalue ce qui s'est passé par rapport au comportement attendu. Les agents peuvent aider à générer des tests ; un exécuteur répétable les exécute. Coinbase déclare avoir expédié un système hybride combinant le service, les portes de publication GitHub Actions et une interface utilisateur que les équipes d'ingénierie et non-ingénierie peuvent utiliser.

Cette division explique pourquoi la comparaison de temps est utile. Configurer à plusieurs reprises des comptes de test, mener des conversations et collecter des résultats est un travail qu'un service partagé peut effectuer de manière cohérente. Une validation plus rapide pourrait rendre pratique la vérification des changements de procédure plus souvent, à condition que les cas et les résultats attendus restent appropriés.

La comparaison rapportée mesure le cycle de validation, laissant les temps de réponse des clients et les économies de personnel en dehors de son champ d'application. Relier ce cycle à la réduction de la main-d'œuvre nécessiterait des preuves des tâches qui ont été déplacées et des coûts qui en résultent.

Un cycle de test plus court donne à Coinbase plus de capacité pour évaluer les changements. Que cette capacité produise un meilleur support dépend de ce que couvrent les tests, de ce que font les examinateurs avec leurs conclusions et de la manière dont les procédures résultantes fonctionnent après déploiement.

Autopilot utilise des conversations adversariales ainsi que des tests de comportement attendu. Coinbase déclare qu'un modèle d'IA évalue ces conversations, mais reconnaît que le juge peut se tromper. Les scores alimentent l'examen humain et les portes de publication plutôt que de décider indépendamment qu'une procédure est prête.

La frontière de publication sépare une procédure proposée de celle qu'un bot de support peut utiliser avec les clients. Les agents peuvent suggérer des changements, tandis qu'une personne doit approuver les écritures de production et l'activation.

C'est une protection contre un cycle de qualité automatisé promouvant son propre travail sans examen. Cela signifie également que l'examen reste une responsabilité opérationnelle à mesure que le système s'accélère.

Le champ d'approbation doit être lu précisément. La déclaration de Coinbase concerne les changements apportés aux procédures de support et leur activation. Elle ne dit pas qu'un humain approuve chaque action qu'un bot déployé prend sur le compte d'un client individuel.

L'automatisation supplémentaire reste inachevée. Coinbase déclare que la découverte, la rédaction, les tests et l'analyse existent, tandis que l'orchestration d'un écart de performance identifié à une procédure promue est encore en cours de développement. Un contrat entièrement partagé pour les résumés de conversation reste également inachevé.

Cela laisse le travail d'intégration aux côtés du gain d'automatisation. Un système qui identifie un flux faible, génère une révision et la teste a encore besoin d'informations fiables transmises entre ces étapes et d'une décision responsable concernant la publication.

La permission d'agir est un contrôle séparé

La divulgation des opérations internes de Coinbase du 18 août aborde une autre partie de la protection des clients : qui peut accéder aux données des clients et qui peut les modifier.

L'entreprise décrit le Control Center comme une plateforme partagée distincte pour le support, la conformité, le juridique, le risque et l'ingénierie. Coinbase n'a pas précisé sa couverture d'Autopilot. Au sein de la plateforme, l'autorisation, les enregistrements d'audit, les approbations et les limites de taux se trouvent devant les services sous-jacents.

Ses vérifications de permission prennent en compte à la fois l'action demandée et le client particulier. L'absence de contexte client sur une opération ciblée signifie un refus. L'accès est lié aux cas assignés, limité aux clients impliqués et fixé pour expirer.

Pour les changements sensibles désignés, y compris les remboursements, les changements d'état de compte et les dépassements de limites, la plateforme sépare la proposition d'un changement de son exécution. La proposition entre en révision, les approbations requises doivent arriver, et un exécuteur distinct effectue ensuite le changement. Les échecs sont réservés à un traitement humain.

Ces contrôles répondent à des questions que les tests conversationnels ne peuvent pas résoudre seuls. Une procédure peut décrire la réponse attendue, tandis qu'un système d'autorisation détermine si l'appelant peut accéder aux données pertinentes du client. Les règles d'approbation déterminent si un changement sensible peut se poursuivre.

Le Control Center rend également le travail continu explicite. Coinbase déclare que de nouveaux types de clients, y compris les agents automatisés, doivent être soumis aux règles d'autorisation, d'audit et de limitation de taux, avec des frontières d'authentification revalidées à mesure que les appelants changent.

Établir comment ces contrôles s'appliquent à l'automatisation du support nécessiterait un compte plus clair des bots et des actions qui passent par les vérifications de permission et d'approbation. La mesure de couverture pertinente est l'ensemble des opérations client régies par ces règles.

Pour le modèle opérationnel natif de l'IA, la conséquence est simple : ajouter des appelants automatisés nécessite toujours que quelqu'un maintienne les règles régissant leur autorité. L'architecture peut rendre ce travail plus cohérent. Son efficacité dépend toujours de la capacité à maintenir chaque nouvel appelant dans les règles.

L'accès lié aux cas fournit un exemple concret : les permissions doivent continuer à correspondre au travail assigné à mesure que les cas et les appelants changent. La frontière de compte doit tenir aux côtés d'un développement de procédure plus rapide.

Plus de tests nécessitent une mesure des résultats

Le même besoin de relier l'activité aux résultats s'étend à la plateforme de sécurité distincte de Coinbase, le Continuous Adversarial Testing (CAT). Le 15 septembre, Coinbase a rapporté plus de 150 000 analyses de son environnement de production depuis la mi-2026, y compris plus de 128 000 examens de demandes de tirage, et davantage de résultats de tests de pénétration étant corrigés. Ces activités et corrections rapportées fournissent un contexte de sécurité.

La distinction entre les performances de test et celles déployées est également centrale au profil de risque de l'IA générative du National Institute of Standards and Technology (NIST) de juillet 2024. Le cadre volontaire recommande d'évaluer les systèmes dans des scénarios réels, car les tests contrôlés peuvent manquer des problèmes et discutent des lacunes de mesure entre les conditions de laboratoire et de déploiement. Le cadre offre une norme générale pour évaluer ces revendications.

L'Autopilot indique déjà des mesures clients. Coinbase affirme que les étiquettes d'intention des clients, la résolution et les signaux de satisfaction des clients aident à identifier les flux de support à fort volume faibles. Cela suggère que l'entreprise reconnaît que terminer des tests et résoudre des problèmes clients sont des mesures différentes.

Pourtant, la divulgation de septembre ne publie pas de résultats quantifiés de résolution client ou de sécurité avant et après. La prochaine preuve utile relierait les procédures déployées à ces résultats, ainsi que la part de l'activité de support pertinente couverte par les systèmes de test et de permission.

La qualité de la résolution aiderait à montrer si l'automatisation résout le problème du client. La performance d'escalade aiderait à montrer si les cas nécessitant un jugement humain y parviennent. Les preuves concernant les actions non autorisées et les erreurs aborderaient la protection plus directement que le temps nécessaire pour exécuter une suite de tests.

Le cycle de validation rapporté de 30 à 45 minutes est un exemple concret de travail automatisé. Les portes d'approbation et les restrictions d'accès divulguées rendent la responsabilité partie intégrante du modèle opérationnel. Démontrer la valeur aux clients nécessite de relier les deux aux résultats dans le support en direct, tout en portant le travail de révision et de gouvernance que les systèmes divulgués nécessitent encore.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.