OpenZeppelin audit EVMbench a découvert une contamination des données

La société d’audit de sécurité blockchain OpenZeppelin a réalisé un audit indépendant du standard d’IA pour la sécurité des contrats intelligents, EVMbench, lancé en collaboration avec OpenAI et Paradigm, et a identifié deux problèmes majeurs : la contamination des données d’entraînement et au moins 4 vulnérabilités classées comme « à haut risque » qui s’avèrent en réalité être des faux exploits.

Problème de contamination des données d’EVMbench : une faille critique dans la date limite d’entraînement de l’IA

EVMbench, publié à la mi-février 2026, vise à évaluer la capacité de différents modèles d’IA à identifier, réparer et exploiter les vulnérabilités des contrats intelligents. Pendant le test, l’accès réseau des agents IA était coupé pour empêcher toute recherche en ligne. Cependant, l’audit de OpenZeppelin a révélé une faille structurelle : le benchmark est basé sur 120 audits réalisés entre 2024 et la mi-2025, et la majorité des modèles d’IA de pointe ont leur date de coupure des connaissances également fixée à la mi-2025.

Cela signifie que l’agent IA a probablement été exposé aux rapports de vulnérabilités d’EVMbench lors de sa phase d’entraînement, et que ses mémoires peuvent contenir les réponses à toutes ces questions. OpenZeppelin indique : « La capacité la plus importante en sécurité IA est la capacité à découvrir de nouvelles vulnérabilités dans du code que le modèle n’a jamais vu auparavant. » La taille limitée du dataset amplifie encore l’impact de cette contamination sur l’évaluation globale.

Principaux problèmes identifiés lors de l’audit d’EVMbench

• Contamination des données d’entraînement : l’entraînement de l’IA pourrait inclure les rapports de vulnérabilités d’EVMbench, rendant la « découverte à zéro connaissance » inefficace.
• Faux classification de vulnérabilités à haut risque : au moins 4 vulnérabilités marquées comme hautement risquées sont en réalité exploitables.
• Défauts du système de notation : EVMbench attribuait des points pour la découverte de ces faux exploits, ce qui pose problème.
• Taille limitée du dataset : renforçant l’impact de la contamination sur l’évaluation.
• Classement actuel : Anthropic avec Claude 4.6 en tête, suivi d’OpenAI avec OC-GPT-5.2 et Google avec Gemini 3 Pro.

Crise des faux exploits : au moins 4 vulnérabilités à haut risque confirmées comme invalides

Outre la contamination des données, OpenZeppelin a identifié des erreurs factuelles plus concrètes. Ils ont évalué au moins 4 vulnérabilités classées comme hautement risquées par EVMbench, qui se sont avérées inexistantes — et plus important encore, dont les descriptions d’exploitation sont en réalité inapplicables.

« Il ne s’agit pas d’un désaccord subjectif sur la gravité ; la vulnérabilité décrite ne peut pas être exploitée, » souligne OpenZeppelin. Si l’agent IA « découvre » ces faux exploits lors du test, cela signifie que le système de notation récompense des résultats erronés.

OpenZeppelin insiste sur le fait que cet audit ne nie pas le potentiel de l’IA dans la sécurité blockchain : « Le problème n’est pas de savoir si l’IA va changer la sécurité des contrats intelligents — elle le fera sûrement. Le vrai problème, c’est si les données et les benchmarks que nous utilisons pour construire et évaluer ces outils respectent les mêmes standards que ceux qu’ils sont censés protéger. »

Questions fréquentes

Quelles problématiques OpenZeppelin a-t-il découvert dans l’audit d’EVMbench ?

OpenZeppelin a identifié deux problèmes principaux : d’une part, la contamination des données d’entraînement, car les vulnérabilités utilisées dans EVMbench proviennent d’audits réalisés entre 2024 et 2025, ce qui coïncide avec la date de coupure des connaissances des modèles d’IA, qui ont donc pu « voir » ces réponses lors de leur entraînement ; d’autre part, au moins 4 vulnérabilités classées comme hautement risquées sont en réalité des faux exploits, dont les descriptions d’exploitation sont inapplicables.

Pourquoi la contamination des données est-elle si dangereuse pour l’évaluation de la sécurité de l’IA ?

Si l’IA a été exposée lors de l’entraînement aux rapports de vulnérabilités du benchmark, elle peut répondre aux questions en se souvenant des réponses plutôt qu’en détectant réellement des vulnérabilités. Cela compromet la validité du test « à zéro connaissance » et ne reflète pas la capacité réelle de l’IA à auditer en sécurité des contrats intelligents inconnus.

Quelle est la position d’OpenZeppelin sur l’avenir de l’IA dans la sécurité blockchain ?

OpenZeppelin affirme que l’IA aura un impact significatif sur la sécurité des contrats intelligents, mais insiste sur le fait que cet impact doit reposer sur des méthodologies fiables et des évaluations précises. Ils considèrent que les problèmes d’EVMbench ne sont pas une critique de l’IA elle-même, mais un avertissement important pour l’industrie.