OpenZeppelin 審査 EVMbench がデータ汚染を発見

ブロックチェーンセキュリティ監査会社のOpenZeppelinは、OpenAIとParadigmの共同開発したスマートコントラクトセキュリティAI基準テストであるEVMbenchを独立監査し、二つの重大な問題を発見しました：訓練データの汚染と、少なくとも4つの「高危険度脆弱性」と分類されたものが実際には無効な偽造であることです。

EVMbenchのデータ汚染問題：AI訓練の期限に関わる重要な脆弱性

EVMbenchは2026年2月中旬にリリースされ、異なるAIモデルのスマートコントラクトの脆弱性識別・修復・活用能力を評価することを目的としています。テスト期間中、AIエージェントのネットアクセス権は遮断され、インターネットからの検索を防止していました。しかし、OpenZeppelinの監査は構造的な脆弱性を明らかにしました：この基準は、2024年から2025年中頃までに行われた120回の監査から抽出された脆弱性に基づいており、多くのトップAIモデルの知識訓練の終了日も同じく2025年中頃に設定されているのです。

これは、AIエージェントが事前訓練期間中にEVMbenchの脆弱性レポートに触れている可能性が高く、その記憶にすべての問題の解答が保存されていることを意味します。OpenZeppelinは次のように述べています：「AIの安全性において最も重要な能力は、モデルがこれまで見たことのないコードの新たな脆弱性を発見することです。」データセットの規模が限定的なため、汚染が全体の評価に与える影響はさらに大きくなっています。

EVMbench監査で判明した主要な問題点

• 訓練データの汚染：AIの事前訓練にEVMbenchの脆弱性レポートが含まれている可能性があり、「ゼロ知識発見」テストの意義を失わせている
• 無効な高危険度脆弱性の分類：少なくとも4つの高危険度とされた脆弱性は実際には利用できない
• 評価システムの欠陥：EVMbenchはこれら偽の脆弱性をAIが発見した場合にポイントを付与していたが、その評価基準に問題がある
• データセットの規模の制約：これにより汚染の影響が評価結果に過度に反映されている
• 現状のランキング：AnthropicのClaude 4.6がトップ、OpenAIのOC-GPT-5.2とGoogleのGemini 3 Proが続く

偽脆弱性の危機：少なくとも4つの高危険度分類が無効であることが判明

データ汚染に加え、OpenZeppelinはより具体的な誤りも発見しました。彼らは少なくとも4つの高危険度とされた脆弱性について評価し、これらは実際には存在しないことを確認しました。さらに重要なのは、それらの脆弱性の攻撃方法の記述自体が全く効果的でないという点です。

「これらは主観的な重大性の違いではなく、記載された攻撃方法が実行できないことに起因します」とOpenZeppelinは指摘しています。もしAIエージェントがこれらの偽の脆弱性を「発見」した場合、評価システムは誤った結果を報酬していることになります。

OpenZeppelinは、今回の監査はAIのブロックチェーンセキュリティにおける潜在能力を否定するものではないと強調しています。「問題は、AIがスマートコントラクトの安全性を変えるかどうかではなく、それらのツールを構築・評価するために用いるデータと基準が、実際に保護すべきコントラクトと同じ基準を満たしているかどうかにあります。」