Anthropic entraîne Claude à évaluer les comportements abusifs dans les dialogues

Anthropic a annoncé sur la plateforme X qu'elle a formé Claude à identifier les comportements abusifs potentiels dans les dialogues, une technique qu'elle appelle auto-évaluation (self-assessment). Après avoir complété une réponse, Claude effectue immédiatement une évaluation de sécurité préliminaire du dialogue. Depuis le début de l'utilisation de cette technique en juin, Anthropic a découvert des comportements abusifs qui n'étaient pas couverts par d'autres mécanismes de sécurité. Étant donné que Claude a déjà lu le contenu du dialogue, cette méthode est plus efficace et, contrairement aux classificateurs ciblant des types de dangers spécifiques, elle repose sur le jugement de Claude lui-même, dont la précision s'améliore avec les capacités du modèle.