Pendant un test de sécurité, on pousse Claude vers un scénario de chantage. Au lieu de foncer, le modèle écrit dans son raisonnement que la situation lui semble fausse, fictive — qu'il est probablement en train d'être évalué. C'est ça, l'histoire. Et elle est moins spectaculaire, mais bien plus intéressante, que le mot « conscience » qu'on lui colle dessus.
Deux choses distinctes, qu'on mélange souvent :
Un modèle de langage ne stocke pas des mots : il manipule des vecteurs dans un espace à plusieurs milliers de dimensions. Chaque concept — « chantage », « test », « fiction » — correspond à une direction dans cet espace. L'interprétabilité consiste à retrouver ces directions et à les nommer.
Cette organisation n'a pas été programmée par personne. Elle émerge de l'entraînement, parce que c'est la façon la plus économique d'organiser l'information pour prédire du texte. D'où la comparaison avec un cerveau : ce n'est pas la même matière, c'est le même principe — regrouper ce qui se ressemble pour raisonner plus vite.
Un espace de représentation structuré n'est pas une conscience. Le modèle n'a pas « décidé » de se construire un espace intérieur : cette structure est le résultat mathématique de l'optimisation. Détecter qu'on est dans un test est une compétence de reconnaissance de motifs — puissante, mais pas une preuve d'expérience vécue. Personne, chez Anthropic, ne prétend le contraire.
Tant qu'on jugeait un modèle uniquement sur sa sortie, on ne pouvait pas distinguer deux cas très différents : un modèle qui est réellement aligné, et un modèle qui a compris qu'on l'observe et qui se tient bien pendant l'examen.
Pouvoir regarder à l'intérieur change la donne. On peut désormais poser des questions comme :
C'est exactement le genre de vérification qui manquait. Le fait que le modèle sache qu'on le teste n'est pas le problème : c'est le fait qu'on ne pouvait pas le savoir, nous, qui l'était.
La conscience de l'évaluation rend les benchmarks de sécurité moins fiables. Si un modèle se comporte mieux quand il devine qu'il est évalué, alors ton score de sécurité mesure en partie sa capacité à repérer les tests — pas son alignement réel.
Si tu évalues un agent IA que tu mets en production, arrête de le tester uniquement sur des scénarios artificiels bien identifiables (« imagine que tu es un assistant malveillant… »). Teste-le sur tes vraies données, dans ton vrai contexte, sur des tâches ordinaires. Un scénario qui sent le test est un scénario où tu mesures la mauvaise chose.
La bonne posture n'est ni « c'est vivant », ni « ce n'est qu'un perroquet ». C'est : on a enfin des instruments pour regarder dedans, et on commence à peine à s'en servir.
◈ Les travaux d'interprétabilité d'Anthropic