OpenZeppelin auditoria EVMbench descobre contaminação de dados

A empresa de auditoria de segurança de blockchain OpenZeppelin realizou uma auditoria independente ao padrão de teste de IA de segurança de contratos inteligentes EVMbench, lançado em colaboração com OpenAI e Paradigm, e identificou duas questões graves: contaminação de dados de treino e pelo menos 4 vulnerabilidades marcadas como “alto risco” que, na realidade, são falsificações inválidas.

Problema de contaminação de dados do EVMbench: uma vulnerabilidade crítica na data de corte do treino de IA

O EVMbench foi lançado em meados de fevereiro de 2026, com o objetivo de avaliar a capacidade de diferentes modelos de IA em identificar, corrigir e explorar vulnerabilidades de contratos inteligentes. Durante os testes, o acesso à internet dos agentes de IA foi bloqueado para evitar buscas online por respostas. No entanto, a auditoria da OpenZeppelin revelou uma falha estrutural: o padrão de teste baseia-se em vulnerabilidades identificadas em 120 auditorias realizadas entre 2024 e meados de 2025, período em que a maioria dos principais modelos de IA também teve seu conhecimento treinado até essa data.

Isso significa que os agentes de IA provavelmente tiveram acesso às vulnerabilidades do EVMbench durante seu pré-treinamento, armazenando as respostas na memória. A OpenZeppelin afirmou: “A habilidade mais importante de segurança de IA é descobrir vulnerabilidades em códigos que o modelo nunca viu antes.” A limitação do tamanho do conjunto de dados aumenta ainda mais o impacto da contaminação na avaliação geral.

Principais problemas identificados na auditoria do EVMbench

• Contaminação de dados de treino: o pré-treinamento dos agentes de IA pode incluir relatórios de vulnerabilidades do EVMbench, tornando a avaliação de “descoberta zero” sem sentido.
• Classificação inválida de vulnerabilidades de alto risco: pelo menos 4 vulnerabilidades marcadas como de alto risco são, na verdade, inexploráveis.
• Defeitos no sistema de pontuação: o EVMbench anteriormente atribuía pontos às descobertas dessas vulnerabilidades falsas, o que compromete a validade da avaliação.
• Tamanho limitado do conjunto de dados: amplifica o impacto da contaminação nos resultados globais.
• Classificação atual no ranking: Claude 4.6 da Anthropic lidera, seguido por OC-GPT-5.2 da OpenAI e Gemini 3 Pro do Google.

Crise de vulnerabilidades falsas: pelo menos 4 classificações de alto risco comprovadamente inválidas

Além da contaminação de dados, a OpenZeppelin identificou erros mais específicos. Avaliaram pelo menos 4 vulnerabilidades marcadas como de alto risco pelo EVMbench, que na realidade não existem — e, mais importante, suas descrições de exploração são inviáveis.

A OpenZeppelin afirmou: “Não se trata de uma divergência subjetiva de gravidade; as vulnerabilidades descritas simplesmente não funcionam.” Se um agente de IA “descobrir” essas vulnerabilidades falsas durante o teste, isso indica que o sistema de avaliação recompensa resultados incorretos.

A empresa destacou que esta auditoria não nega o potencial da IA na segurança de blockchain: “O problema não é se a IA mudará a segurança dos contratos inteligentes — ela certamente mudará. O problema é se os dados e padrões que usamos para construir e avaliar essas ferramentas estão alinhados com os padrões que eles pretendem proteger.”

Perguntas frequentes

O que a OpenZeppelin descobriu na auditoria do EVMbench?

A OpenZeppelin identificou duas questões principais: primeiro, a contaminação de dados, pois os relatórios de vulnerabilidades do EVMbench vêm de auditorias entre 2024 e 2025, período em que os modelos de IA também tiveram seu conhecimento treinado até lá, podendo já ter “visto” as respostas; segundo, pelo menos 4 vulnerabilidades marcadas como de alto risco que, na verdade, são falsas, pois suas explorações descritas não funcionam.

Por que a contaminação de dados é tão perigosa para a avaliação de segurança de IA?

Se o modelo de IA foi treinado com relatórios de vulnerabilidades do padrão, ele pode simplesmente “lembrar” as respostas, em vez de realmente identificar vulnerabilidades. Isso compromete a validade do teste de “zero conhecimento”, não refletindo a capacidade real do IA de auditar contratos inteligentes desconhecidos.

Qual é a postura da OpenZeppelin sobre o futuro da IA na segurança de blockchain?

A OpenZeppelin afirmou que a IA terá um impacto significativo na segurança de contratos inteligentes, mas esse impacto deve ser baseado em metodologias confiáveis e avaliações precisas. Eles veem os problemas do EVMbench como um alerta importante para o setor, não uma negação do potencial da IA.