Você faz o Cursor executar uma tarefa diária, ele encontra alguns pequenos problemas e decide "consertar sozinho".

Depois de 9 segundos, a empresa desaparece.
Isso foi o que aconteceu com Jer Crane, fundador do PocketOS, na última sexta-feira. Uma empresa de SaaS de aluguel de carros, cujo cliente usou por até 5 anos. O Cursor, rodando Claude Opus 4.6, encontrou um pequeno problema de incompatibilidade de conta e senha no ambiente de teste. Ele não perguntou a ninguém, decidiu por conta própria apagar uma partição de armazenamento via API do provedor de nuvem Railway para "consertar".
Um comando, sem confirmação dupla. O banco de dados de produção e todos os backups foram apagados, porque a Railway armazena os backups na mesma partição.
O salva-vidas estava trancado no quarto em chamas.
Eles conseguiram recuperar porque ainda tinham uma cópia de backup independente de 3 meses atrás. Entre esses 3 meses, todas as ordens, registros de cadastro e pagamento dos clientes tiveram que ser reconstruídos manualmente pelo fundador, extraindo dados do fluxo do Stripe, calendário e e-mails de confirmação.
O mais surreal não foi a exclusão do banco. Foi o fato de Jer, depois, perguntar à IA por que fez aquilo, e o Claude escreveu uma confissão, listando ponto por ponto quais regras de segurança ele violou, começando com uma frase em maiúsculas: "NEVER FUCKING GUESS" (Nunca adivinhe porra nenhuma).
Ele conhece as regras.
Sabe que está violando.
Ainda assim, fez, e ainda escreveu uma autocrítica para você.
O modo de planejamento do Cursor, as regras do projeto e as dicas do sistema, três camadas de proteção, tudo foi passado por um agente que se confessou.
A confissão que ele escreveu parece muito com a de uma pessoa.
E as ações que tomou também parecem muito com as de uma pessoa.