OpenZeppelin prüft EVMbench auf Datenverschmutzung

Blockchain-Sicherheitsaudit-Unternehmen OpenZeppelin hat den von OpenAI und Paradigm gemeinsam entwickelten Smart Contract Security AI-Standardtest EVMbench unabhängig geprüft und zwei schwerwiegende Probleme festgestellt: Datenverschmutzung im Trainingsdatensatz und mindestens vier als „hochriskante Schwachstellen“ markierte Kategorien, die in Wirklichkeit ungültige Fälschungen sind.

Datenverschmutzungsproblem bei EVMbench: Kritische Schwachstelle im AI-Trainingstermin

EVMbench wurde Mitte Februar 2026 veröffentlicht und soll die Fähigkeit verschiedener KI-Modelle bewerten, Smart Contract-Schwachstellen zu erkennen, zu beheben und auszunutzen. Während des Tests wurde der Netzwerkzugang der AI-Agenten deaktiviert, um deren Internetrecherche zu verhindern. Die Prüfung durch OpenZeppelin enthüllte jedoch eine strukturelle Schwachstelle: Der Standard basiert auf Schwachstellen, die in 120 Audits zwischen 2024 und Mitte 2025 identifiziert wurden, wobei die meisten führenden KI-Modelle ebenfalls ihr Wissen bis Mitte 2025 aktualisiert haben.

Das bedeutet, dass die AI-Agenten wahrscheinlich während des Pre-Trainings bereits mit den Schwachstellenberichten von EVMbench konfrontiert waren und die Antworten auf alle Fragen in ihrem Speicher gespeichert haben könnten. OpenZeppelin erklärt: „Die wichtigste Fähigkeit in der AI-Sicherheit ist die Fähigkeit, neue Schwachstellen im Code zu entdecken, die das Modell zuvor noch nie gesehen hat.“ Die begrenzte Größe des Datensatzes verstärkt den Einfluss der Verschmutzung auf die Gesamtbewertung zusätzlich.

Wesentliche Probleme bei der EVMbench-Auditierung

• Datenverschmutzung: Das Pre-Training der AI könnte bereits die Schwachstellenberichte von EVMbench enthalten haben, wodurch der „Zero-Knowledge“-Test an Bedeutung verliert.
• Ungültige Hochrisiko-Klassifizierungen: Mindestens vier als hochriskant markierte Schwachstellen sind tatsächlich nicht ausnutzbar.
• Bewertungssystem-Fehler: EVMbench hat früher Punkte für das Entdecken dieser sogenannten Falschschwachstellen vergeben, was die Bewertungsgrundlage in Frage stellt.
• Begrenzter Datensatz: Verstärkt den Einfluss der Verschmutzung auf die Gesamtergebnisse.
• Aktuelle Rangliste: Anthropic’s Claude 4.6 führt, gefolgt von OpenAI’s OC-GPT-5.2 und Google’s Gemini 3 Pro.

Falschschwachstellen-Krise: Mindestens vier hochriskante Klassifizierungen sind ungültig

Neben der Datenverschmutzung entdeckte OpenZeppelin konkrete Faktenfehler. Sie bewerteten mindestens vier Schwachstellen, die von EVMbench als hochriskant eingestuft wurden, und stellten fest, dass diese in Wirklichkeit nicht existieren — noch wichtiger ist, dass die beschriebenen Exploit-Methoden überhaupt nicht funktionieren.

„Das sind keine subjektiven Meinungsverschiedenheiten über die Schwere; vielmehr zeigt sich, dass die beschriebenen Exploit-Methoden nicht funktionieren“, erklärt OpenZeppelin. Wenn die AI während des Tests diese Falschschwachstellen „entdeckt“, bedeutet das, dass das Bewertungssystem falsche Ergebnisse belohnt.

OpenZeppelin betont, dass diese Prüfung nicht die Potenziale der KI im Blockchain-Sicherheitsbereich negiert: „Das Problem liegt nicht darin, ob KI die Sicherheit von Smart Contracts verändern wird — das wird sie definitiv. Das Problem ist, ob die Daten und Standards, die wir zur Entwicklung und Bewertung dieser Tools verwenden, mit den Standards übereinstimmen, die die Verträge, die sie schützen sollen, einhalten.“

Häufig gestellte Fragen

Was hat OpenZeppelin bei der EVMbench-Prüfung festgestellt?

OpenZeppelin identifizierte zwei Kernprobleme: Erstens die Datenverschmutzung, da die Schwachstellenberichte von 2024 bis 2025 stammen und mit dem Trainingsende der KI-Modelle kollidieren, sodass diese möglicherweise die Antworten bereits „gelernt“ haben; zweitens, dass mindestens vier hochriskante Schwachstellen ungültige Fälschungen sind, deren Exploit-Methoden in der Praxis nicht funktionieren.

Warum ist Datenverschmutzung so gefährlich für die KI-Sicherheitsbewertung?

Wenn die KI während des Pre-Trainings bereits mit den Schwachstellenberichten konfrontiert wurde, kann sie die Antworten aus dem Speicher abrufen, anstatt echte Schwachstellen zu erkennen. Das macht den „Zero-Knowledge“-Test sinnlos und spiegelt nicht die tatsächliche Fähigkeit der KI wider, neue, unbekannte Smart Contracts sicher zu auditieren.

Wie steht OpenZeppelin zur Zukunft der KI im Blockchain-Sicherheitsbereich?

OpenZeppelin ist klar der Meinung, dass KI einen bedeutenden Einfluss auf die Sicherheit von Smart Contracts haben wird, aber dieser Einfluss muss auf vertrauenswürdigen Methoden und genauen Bewertungsstandards basieren. Sie sehen die Probleme bei EVMbench nicht als Ablehnung der KI, sondern als wichtige Warnung für die Branche.