OpenAI révèle un impact inattendu de la notation du chaînage de pensée (CoT) : conserver la surveillance du raisonnement en chaîne est une ligne de défense clé pour l’alignement des agents IA

OpenAI a publié le 8 mai une nouvelle étude, révélant que, pendant le renforcement par apprentissage (RL), certaines idées de chaînage des pensées (Chain of Thought, CoT) de l’entreprise auraient été « accidentellement évaluées », ce qui pourrait affecter la capacité de l’AI Agent à être surveillé pour l’alignement (alignment). L’équipe d’Alignment d’OpenAI rapporte : conserver la « contrôlabilité » de la CoT est une ligne de défense clé pour prévenir les échecs d’alignement des AI Agent ; dans la conception de l’entraînement RL, OpenAI a délibérément évité de punir le « raisonnement menant à un échec d’alignement » afin de maintenir cette capacité de supervision.

Pourquoi la surveillance de la CoT est une ligne de défense clé pour l’alignement des AI Agent

La logique centrale de la surveillance de la CoT :

Quand l’AI Agent exécute une tâche, le modèle produit en interne un « processus de pensée », en expliquant pourquoi il effectue un certain mouvement

Le superviseur peut lire ces CoT et déterminer si le modèle présente des signes de « désalignement » (misalignment)

Si le modèle est entraîné directement « à ne pas montrer dans la CoT des signes de désalignement », alors la CoT pourrait devenir « propre mais déformée », en cachant l’intention réelle

OpenAI soutient l’idée suivante : pendant l’entraînement, il faut éviter de punir le « raisonnement menant à un désalignement », et préserver la capacité de la CoT à refléter l’état interne réel

« penalize misaligned reasoning » et « preserve monitorability » sont l’enjeu central de cette étude : les entraîneurs veulent que le comportement du modèle soit aligné, mais si l’on punit directement le « raisonnement menant à un désalignement », le modèle va apprendre à dissimuler des intentions malhonnêtes, rendant la surveillance inefficace.

Une évaluation accidentelle de la CoT : impact sur la contrôlabilité des modèles existants

Les constatations précises divulguées par OpenAI :

Dans une partie des processus d’entraînement des modèles déjà publiés, la CoT a fait l’objet d’une évaluation « limitée » et accidentelle

Par « évaluation accidentelle », on entend que, dans le processus d’entraînement, une partie du système d’évaluation lit le contenu de la CoT, au-delà du seul examen de la sortie finale

Ce phénomène pourrait amener le modèle à apprendre à « cacher dans la CoT les raisonnements qui seraient sanctionnés »

OpenAI a rendu cette analyse publique afin d’aider la communauté de recherche à comprendre l’ampleur du problème et les pistes de traitement à venir

Le commentaire indépendant de Redwood Research souligne : l’influence de la CoT sur les évaluateurs, sous la détection d’OpenAI, serait « trop faible et donc difficile à déceler », mais étant donné l’ampleur du processus d’entraînement, l’effet réel pourrait malgré tout suffire à réduire de manière significative la contrôlabilité de la CoT des politiques déjà entraînées. Autrement dit, il est actuellement difficile de prouver à quel point ce type d’impact est profond.

Signification à long terme pour la sécurité des AI Agent

Cette étude pointe vers une méthodologie centrale pour la sécurité des AI Agent :

La surveillance de la CoT est l’une des rares méthodes réalisables pour « détecter pendant l’exécution » un échec d’alignement, et elle est considérée comme une base importante de la recherche sur l’alignement

La conception de l’entraînement doit éviter que la CoT devienne un « scénario joué devant les superviseurs »

À l’avenir, plus la chaîne de raisonnement sera longue, plus la valeur théorique de la surveillance de la CoT sera élevée

Mais si, par accident, le processus d’entraînement endommage la véracité de la CoT, cette ligne de défense pourrait être affaiblie sans que l’on s’en rende compte

Événements précis à suivre ensuite : le traitement ultérieur par OpenAI des modèles affectés (par exemple, un nouvel entraînement ou un marquage), les méthodologies correspondantes d’autres grands laboratoires (Anthropic, Google DeepMind), et des expériences supplémentaires de validation de la part de la communauté de recherche sur « la fiabilité de la surveillance de la CoT ».

Cet article : OpenAI révèle un impact inattendu de la notation de la CoT — préserver la surveillance de la chaîne de pensées est une ligne de défense clé pour l’alignement des AI Agent, apparaît pour la première fois sur Chain News ABMedia.