Des données révèlent que « Claude devient moins intelligent » n’est pas une légende urbaine : le modèle d’IA est instable et constitue un risque pour l’entreprise

Après que l’IA soit devenue l’outil standard des entreprises, un phénomène autrefois considéré comme un simple « problème de ressenti » remonte rapidement à la surface : les LLM (grands modèles de langage) « deviennent plus bêtes ». Un internaute, Wisely Chen, a souligné que le prétendu « LLM qui se dégrade » n’est pas une légende urbaine : il est désormais possible de le suivre en continu grâce à des données, et cela commence déjà à avoir un impact concret sur les processus de travail en entreprise.

Il prend son propre cas comme exemple : le 15 avril, les services de la gamme Claude de l’éditeur Anthropic ont subi une dégradation généralisée, y compris claude.ai, l’API et Claude Code, qui affichent tous « Degraded Performance ». Ce n’est pas juste un ralentissement ou une erreur ponctuelle : la qualité des réponses s’est clairement effondrée, et même dans certains cas, il était impossible d’utiliser normalement le service. Résultat : ses trois tâches de développement du jour ont toutes été reportées.

Pour les développeurs individuels, ce type de situation peut n’entraîner qu’une baisse d’efficacité ; mais pour les équipes IT d’entreprise, l’impact est démultiplié. Lorsqu’une équipe compte plusieurs ingénieurs qui dépendent en même temps d’outils d’IA pour coder, rédiger des documents et automatiser des processus, une dégradation du modèle signifie que la productivité globale baisse collectivement au même moment, ce qui se traduit ensuite par une perte de temps et de coûts considérable.

L’IA a l’impression de devenir plus bête ? Les données prouvent que c’est « déjà dégradé »

Wisely Chen indique que des affirmations du type « GPT devient plus bête » ou « Claude n’est plus comme avant » circulent depuis longtemps dans la communauté, mais qu’elles manquaient d’un soutien de données objectives sur le long terme. Ce n’est que récemment, avec l’apparition de plateformes de suivi continu de la qualité des modèles, que ce phénomène a été quantifié pour la première fois.

Parmi elles, StupidMeter effectue des tests automatisés 24 heures sur 24 sur des modèles grand public, y compris OpenAI, Anthropic, Google, etc., en suivant des indicateurs comme la justesse, les capacités de raisonnement et la stabilité. Contrairement aux benchmark traditionnels ponctuels, ce type de système s’apparente davantage à une logique de surveillance d’API ou de disponibilité de services en entreprise : il observe les fluctuations des performances du modèle dans des environnements d’utilisation réels.

Les résultats des données sont assez parlants : à l’heure actuelle, la plupart des modèles grand public se trouvent en état d’alerte ou de dégradation, seuls quelques modèles maintiennent un fonctionnement normal. Cela signifie que la qualité des modèles est instable : ce n’est pas un problème propre à un produit unique, mais un phénomène répandu à l’échelle de l’ensemble de l’industrie.

Le LLM « se dégrade » en douce, affectant la stabilité des entreprises dans les workflows d’IA

Pour les entreprises, ce changement implique que l’IA n’est plus seulement un « outil d’optimisation de l’efficacité », mais devient une « variable qui impacte la stabilité ». Si, dans les activités quotidiennes, les flux de travail de l’entreprise dépendent déjà fortement de LLM — de l’écriture de code au code review, jusqu’à la production de documents et de rapports d’analyse — alors, lorsque le modèle présente, un jour donné, une baisse de capacité de raisonnement ou une dégradation de la qualité des réponses, ces problèmes ne se produisent pas de façon localisée comme le ferait un bug logiciel traditionnel : ils s’infiltrent simultanément dans toutes les étapes qui utilisent l’IA.

Le point le plus critique est que ces fluctuations sont souvent difficiles à prévoir et à détecter en temps réel. La plupart des entreprises n’ont pas de mécanisme leur permettant de surveiller en continu la qualité des modèles. Elles ne prennent généralement conscience du problème qu’après l’apparition de résultats anormaux, ou après une baisse de l’efficacité des équipes. Dans ce contexte, la « dégradation des capacités » n’est plus seulement un ressenti subjectif des utilisateurs : c’est un risque systémique qui affecte directement le rythme opérationnel de l’entreprise.

Quand l’IA devient l’eau et l’électricité, la stabilité devient le nouvel indicateur clé

Wisely Chen compare le rôle des LLM à « l’eau et l’électricité des entreprises modernes ». Lorsque l’IA s’est profondément intégrée aux opérations quotidiennes et est devenue une capacité de base indispensable, l’importance de sa stabilité augmente également.

Par le passé, l’évaluation des outils d’IA par les entreprises se concentrait surtout sur les capacités du modèle, le prix et les fonctionnalités. Mais avec l’apparition du phénomène de « dégradation », un autre indicateur, plus crucial encore, se met à émerger : la stabilité. Si la qualité des modèles peut varier sans notification, les entreprises ne font plus seulement « usage de l’IA » : elles doivent commencer à assumer un nouveau type de risque d’infrastructure. La situation est encore plus désespérante : si l’on ne regarde que les grands modèles de langage à la pointe, tant que les problèmes de puissance de calcul ne sont pas résolus, ils peuvent continuer à se produire.

Cet article Les données révèlent que « Claude dégrade » n’est pas une légende urbaine : l’instabilité des modèles d’IA devient un risque pour les entreprises est apparu pour la première fois dans Chaîne d’actualité ABMedia.