OpenAI propose un cadre de « justification de sécurité » pour l'entraînement de l'IA de pointe, suggérant de passer par des documents de sécurité avant de commencer

Dans un communiqué de Beating AI, un article long intitulé « Towards safety cases for frontier AI training » a été publié. Il est mentionné que l'entraînement de renforcement de pointe doit être accompagné d'une documentation de sécurité structurée avant de progresser. L'idéal serait de s'aligner sur les « justifications de sécurité » des secteurs aéronautique et nucléaire. L'entreprise reconnaît qu'en raison de la complexité émergente après une avancée des capacités, il est difficile pour l'IA d'être aussi rigoureuse que dans les secteurs à haut risque traditionnels. Actuellement, ce cadre est encore en cours de mise en œuvre interne et cherche des retours externes. Il est clairement indiqué qu'il ne couvre que l'entraînement RL de pointe, et que le déploiement interne et externe nécessite une considération plus large des attributs d'alignement.

Du côté technique, la justification de sécurité est décomposée en trois niveaux : alignement, isolation et surveillance. En ce qui concerne l'alignement, cela inclut l'examen automatique/humain des environnements RL, l'ajustement des évaluateurs pour prévenir le piratage des récompenses, l'évaluation et le backtesting hors ligne de l'alignement, ainsi que l'interdiction pour les évaluateurs automatiques de lire les chaînes de pensée, afin d'éviter que le modèle n'apprenne à échapper à la surveillance. L'aspect isolation met l'accent sur des infrastructures renforcées et des bacs à sable multicouches, l'utilisation de points de contrôle d'entraînement pour les équipes rouges, la limitation de la communication à haut débit entre les échantillons, et l'utilisation de stockage en écriture unique pour conserver les enregistrements de dialogue. En matière de surveillance, il est exigé que le modèle reste surveillable, qu'il ait un rappel élevé des incidents historiques, que les nouveaux risques soient évalués en temps opportun, et que les alertes de haute priorité soient répondues manuellement ou automatiquement suspendues dans un délai convenu.

Du côté opérationnel, les recommandations incluent : la rédaction de simulations d'objection par d'autres équipes, le droit de veto des cadres supérieurs (responsables de la recherche, responsables de la sécurité, chefs scientifiques, etc.) pour commencer, la responsabilité des responsables de l'entraînement concernant la justification de sécurité et la réponse aux incidents, la suspension selon le manuel en cas d'échec de la justification de sécurité, la divulgation aux comités de surveillance internes, la fourniture de suffisamment de droits de vérification aux auditeurs, la classification des niveaux de gravité des erreurs et la possibilité pour le personnel de service d'appeler le PDG. Le système doit par défaut se fermer en cas d'échec et ne peut pas commencer sans surveillance ; il doit également être capable de revenir en arrière sur les données et évaluations en aval contaminées par des modèles mal alignés.

En ce qui concerne les enquêtes sur les incidents, il est proposé de s'aligner sur les pratiques d'enquête aéronautique : communication interne continue pendant l'enquête, utilisation de l'ablation et du rééchantillonnage pour retracer la dynamique d'entraînement, rétrospective des opérations et de la culture, développement d'évaluations de détection qui ne s'ajustent pas directement aux échantillons d'incidents, et tests de régression basés sur des évaluations dérivées d'incidents. Les conclusions d'enquête, les rétrospectives et les modifications de processus doivent être divulguées à l'extérieur après la fin, et les tiers affectés doivent être informés rapidement.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.