Dessa, la voix IA de Block qui rit et pleure comme un humain

Block, l'entreprise de paiements fondée par Jack Dorsey, vient de présenter quelque chose qui va au-delà d'un assistant vocal ordinaire. Le modèle s'appelle Dessa, est sorti du laboratoire de recherche de la société et fait une chose que la plupart des concurrents ne peuvent pas faire : sonner véritablement humain. Avec des rires, des pauses, des soupirs et même le ton de quelqu'un sur le point de pleurer, la technologie suscite à la fois admiration et de sérieuses inquiétudes concernant les fraudes.

La nouveauté arrive à un moment où le marché de l'intelligence artificielle connaît une course intense pour rendre les interactions vocales plus naturelles. Mais alors que la plupart des modèles convertissent encore la parole en texte avant de traiter la réponse, Dessa essaie quelque chose de différent. Et cela change significativement l'équation.

Comment Dessa fonctionne et pourquoi elle est différente

La plupart des systèmes de voix avec IA suivent un chemin prévisible : vous parlez, le modèle transcrit en texte, traite l'information, génère une réponse en texte puis la convertit en audio. C'est une chaîne avec plusieurs étapes, et chacune d'elles rejette les nuances émotionnelles. Le ton d'impatience dans votre voix, l'hésitation avant une question, le sarcasme subtil, tout cela se perd dans la transcription.

Dessa fonctionne comme un modèle full-duplex, ce qui signifie qu'elle parle et écoute simultanément, tout comme le GPT-Live d'OpenAI lancé cette année. La différence centrale que Block revendique est que l'émotion n'est pas ajoutée par des balises ou des commandes externes. Elle serait intégrée dans le modèle lui-même, entièrement entraîné avec des données de parole humaine réelle.

Dans des démonstrations publiées par l'équipe de recherche, le modèle a pris différentes voix, cadences et états émotionnels. Dans une conversation, Dessa a dit qu'elle était fatiguée après une journée de travail, et le ton sonnait effectivement épuisé. Dans une autre, en parlant de quelqu'un qui la faisait se sentir à l'aise, la voix est devenue émue, presque brisée.

Fonctionne sur un ordinateur portable, pas dans un datacenter

Peut-être la donnée la plus pertinente pour le marché technologique est l'infrastructure nécessaire. Dessa a été entraînée sur un seul rack de GPU NVIDIA et peut fonctionner localement sur un ordinateur de consommation, comme un MacBook avec puce M4 Max ou supérieure. C'est remarquable.

La plupart des modèles de voix avancés dépendent de serveurs cloud lourds, ce qui génère de la latence et des coûts élevés. Un modèle qui fonctionne sur l'appareil ouvre des possibilités pour des applications en temps réel, sans connexion constante à Internet, et avec des coûts opérationnels considérablement réduits. Pour une entreprise comme Block, qui opère déjà dans l'univers des paiements et des solutions pour les petites entreprises, l'implication pratique est directe : un service automatisé de haute qualité fonctionnant sur le propre appareil du commerçant.

Square, la branche de Block dédiée aux petites entreprises, utilise déjà l'IA vocale pour gérer les commandes. Avec Dessa, l'entreprise pourrait porter cette expérience à un niveau où le client ne réalise même pas qu'il parle à une machine.

Le problème du réalisme excessif

Et voici le dilemme qui accompagne inévitablement ce type d'avancée. Si une IA sonne indistinguable d'un humain, les possibilités d'utilisation dans des escroqueries augmentent dans la même proportion. Imaginez recevoir un appel avec la voix émue de quelqu'un demandant de l'aide, et cette voix étant entièrement synthétique.

Block elle-même reconnaît le risque. L'entreprise n'a pas libéré l'accès public à Dessa et a publié un appel aux chercheurs en sécurité pour tester le modèle. L'objectif déclaré est d'identifier les scénarios dans lesquels un agent vocal pourrait tromper des personnes de l'autre côté du fil. C'est une mesure prudente, mais qui souligne à quel point la technologie a déjà avancé vers un territoire délicat.

Le marché des deepfakes audio génère déjà des pertes de plusieurs milliards. Selon la Federal Trade Commission des États-Unis, les fraudes impliquant l'imitation de voix ont causé des pertes de plus de 2,7 milliards de dollars en 2023. Un modèle comme Dessa, qui ajoute des couches émotionnelles réalistes, rend la détection encore plus difficile.

Ce que cela signifie pour le paysage de l'IA

La décision de Block de s'engager dans le jeu des modèles vocaux révèle quelque chose sur la direction du marché. Les entreprises de fintech ne veulent pas dépendre de fournisseurs externes comme OpenAI, ElevenLabs ou Google pour des fonctionnalités critiques de service client. Développer des modèles propriétaires qui fonctionnent localement est une stratégie de réduction des coûts et, en même temps, de différenciation concurrentielle.

Block n'est pas la première à emprunter ce chemin. Mais l'approche d'entraîner exclusivement avec des données de parole humaine, sans passer par l'intermédiaire du texte, pourrait représenter un tournant pour l'industrie. Si le modèle tient ses promesses à grande échelle, l'intégration entre l'IA vocale et les services financiers entre dans une nouvelle phase.

Pour l'instant, Dessa reste fermée. Il n'y a pas de date de lancement public. Mais le fait qu'un modèle avec ce niveau d'expressivité fonctionne sur un ordinateur portable raconte déjà une histoire sur la direction que prend la technologie. Et sur les risques qui l'accompagnent.

Pour le secteur financier, l'équation est claire : celui qui maîtrisera l'interface vocale avec l'IA aura un avantage considérable en matière de service, de coûts et d'expérience utilisateur. La question qui reste est de savoir si la réglementation pourra suivre le rythme.