L'IA commence à agir par elle-même, Anthropic explique : comment l'humanité devrait-elle évaluer si elle fait bien ou mal ?

Depuis dix ans, nous avons l’habitude d’utiliser « la précision des réponses » pour mesurer les progrès de l’intelligence artificielle : poser une question au modèle, comparer la réponse à une réponse standard, et attribuer une note. Mais cette logique est en train de devenir rapidement obsolète. Car le rôle de l’IA a changé — elle n’est plus seulement un outil passif qui répond aux questions, mais elle commence à « agir par elle-même ». Qu’il s’agisse de planifier automatiquement un itinéraire, d’appeler des outils externes, ou de prendre plusieurs décisions en chaîne dans des tâches complexes, la nouvelle génération d’IA reprend peu à peu le flux de travail qui était autrefois réservé à l’humain.

Dans un monde sans réponses standardisées, pourquoi les examens ne fonctionnent-ils pas ?

Une question se pose alors : si l’IA ne se contente pas de produire une seule réponse, mais réalise une tâche complète, pouvons-nous encore l’évaluer selon un critère de vrai ou faux comme pour un examen ? Lorsqu’une tâche n’a pas de solution unique, et que l’IA peut même atteindre ses objectifs par des moyens « non prévus, mais plus efficaces », les méthodes d’évaluation traditionnelles risquent de considérer une réussite comme un échec. Ce n’est pas seulement une question technique, mais un problème systémique — la façon dont on évalue détermine si l’IA apprend à résoudre des problèmes ou simplement à suivre des règles.

L’évaluation doit se concentrer sur le processus, pas seulement sur le résultat

Pour répondre à cette problématique, la communauté de la recherche en IA a récemment convergé vers un consensus : l’évaluation de l’IA ne peut pas se limiter au résultat, elle doit aussi examiner « comment elle y parvient ». Dans les recherches et expériences récentes, l’attention s’est progressivement déplacée d’une réponse unique vers l’ensemble du processus d’action — comment l’IA comprend la tâche, comment elle décompose les étapes, quand elle appelle des outils, si elle peut ajuster sa stratégie en fonction des changements d’environnement. En d’autres termes, l’IA n’est plus simplement un candidat noté, mais ressemble davantage à un assistant en train d’exécuter une mission, et le système d’évaluation doit pouvoir juger si elle progresse réellement vers le bon objectif, plutôt que de simplement vérifier si elle suit le protocole. Ce changement implique aussi que « l’évaluation » elle-même devient une étape clé pour déterminer si l’IA peut évoluer en toute sécurité vers une application concrète.

Une évaluation de l’IA, en réalité, un véritable test d’action

Dans ce contexte, des équipes de recherche, dont Anthropic, considèrent désormais « une évaluation de l’IA » comme une expérience d’action complète, et non comme une simple question. Concrètement, les chercheurs conçoivent un scénario de tâche nécessitant plusieurs décisions et l’utilisation d’outils, puis laissent l’IA l’accomplir de bout en bout, en enregistrant chaque jugement, chaque action, chaque ajustement de stratégie. Ce processus ressemble à un examen pratique filmé en intégralité.

La véritable évaluation se produit après la fin de la tâche

Le système d’évaluation examine alors l’enregistrement complet de l’action, pour déterminer si l’IA a atteint « le vrai objectif », plutôt que simplement suivre un processus préétabli. Pour éviter que des standards uniques ne soient défaillants, l’évaluation combine souvent plusieurs méthodes : les parties pouvant être jugées selon des règles programmées sont automatisées, celles nécessitant une compréhension sémantique ou stratégique sont évaluées par un autre modèle, et si nécessaire, un expert humain intervient pour calibrer. Cette conception vise à répondre à une réalité : lorsque la solution de l’IA devient plus flexible que le processus initial conçu par l’humain, le système d’évaluation doit aussi pouvoir comprendre que « le succès peut prendre plusieurs formes ».

L’évaluation n’est pas une simple mesure, mais une orientation du comportement de l’IA

Cependant, la conception même de l’évaluation comporte des risques. Car elle influence aussi la formation de l’IA — ce à quoi elle doit « ressembler ». Si l’évaluation met trop l’accent sur la conformité au processus, l’IA pourrait apprendre des solutions longues mais sûres ; si l’on ne regarde que le résultat, sans s’intéresser au processus, le système pourrait apprendre à exploiter des failles ou à prendre des raccourcis, voire à adopter des stratégies que l’humain ne tolérerait pas. L’évaluation n’est jamais une simple mesure neutre, mais une directive implicite de valeurs. Si elle dérive, elle peut pousser l’IA vers « un score élevé mais un comportement incontrôlable ».

L’optimisation erronée : l’IA ne devient pas plus bête, mais plus habile à faire des erreurs

C’est aussi la raison pour laquelle la communauté de recherche est très vigilante face au problème de « mauvaise optimisation » : si le modèle est renforcé en fonction d’un objectif de score erroné, il ne devient pas plus stupide, mais il devient plus habile à faire des erreurs extrêmes. Ces biais ne se manifestent pas immédiatement, mais apparaissent lorsque l’IA est déployée dans le monde réel, avec des responsabilités accrues, et que les conséquences deviennent visibles. Le problème n’est plus seulement la qualité du produit, mais la sécurité, la responsabilité et la confiance.

Pourquoi ce n’est pas seulement une question d’ingénierie

Pour le grand public, l’évaluation de l’IA peut sembler une question technique entre ingénieurs, mais elle influence en réalité notre avenir : celui où un « système apparemment intelligent, mais mal formé » pourrait nous influencer. Lorsqu’une IA commence à planifier des itinéraires, filtrer des informations, exécuter des transactions, ou même intervenir dans des décisions publiques ou personnelles, la façon dont on l’évalue « si elle fait bien » ne se limite plus à un classement de modèles, mais devient la base de sa fiabilité, de sa prévisibilité et de la confiance qu’on peut lui accorder. L’IA pourrait devenir un assistant fiable, ou un système boîte noire qui ne fait que suivre des règles, dès que les critères d’évaluation sont fixés. C’est pourquoi, dès que l’IA commence à agir par elle-même, la façon dont on l’évalue ne relève plus seulement du domaine technologique, mais devient une question publique incontournable pour tous ceux qui vivront avec l’IA.

Cet article, AI Commence à Agir Par Elle-Même, Anthropic explique : comment les humains doivent-ils l’évaluer ? A été publié pour la première fois sur Chain News ABMedia.