A Coinbase revela como um erro de configuração desencadeou uma interrupção de 50 minutos

A Coinbase afirma que uma atualização de rotina da infraestrutura desativou uma gateway de rede crítica, interrompendo transferências, compras com cartão de débito e serviços onchain durante cerca de 50 minutos. O seu novo relatório pós-incidente explica o erro e por que razão as ferramentas de recuperação habituais da empresa também falharam.

Principais conclusões

• A Coinbase atribuiu a interrupção de 50 minutos a uma colisão não detetada de nomes de recursos do Kubernetes durante uma atualização de infraestrutura de rotina.
• O incidente afetou transferências, compras de débito do Coinbase Card, liquidações institucionais e serviços onchain em várias plataformas.
• A interrupção também desativou o processo normal de rollback da Coinbase, levando à introdução de novas salvaguardas e alterações na infraestrutura.

A Coinbase explica o que correu mal

A exchange de criptomoeda Coinbase (Nasdaq: COIN) identificou o erro de software por trás da interrupção da semana passada, que deixou os clientes incapazes de concluir transferências, fazer compras com o Coinbase Card e aceder a vários serviços onchain durante cerca de 50 minutos.

De acordo com um relatório pós-incidente publicado a 21 de julho, os engenheiros estavam a implementar uma atualização que parecia rotineira e de baixo risco, quando uma colisão não detetada de nomes de recursos do Kubernetes fez com que a atualização modificasse o componente de rede errado.

A Coinbase afirmou:

“Isto foi causado por uma configuração incorreta não intencional de um componente de rede importante na sequência de uma atualização de configuração de rotina. Em nenhum momento os fundos dos clientes estiveram em risco.”

O Kubernetes é o software que a Coinbase utiliza para organizar e executar aplicações na sua infraestrutura de cloud. A colisão de nomes de recursos fez com que a atualização alterasse parte do gateway de entrada (ingress) da Istio da empresa, em vez de apenas o componente pretendido. O gateway atua como um controlador de tráfego, direcionando pedidos entre os serviços internos da Coinbase.

Quando o gateway ficou offline, os sistemas responsáveis por processar transações, transferências, liquidações e autorizações de pagamento deixaram de conseguir comunicar.

Cartões recusados e transferências bloqueadas

A interrupção afetou as plataformas de retalho, institucionais e de programadores da Coinbase, entre aproximadamente 12:37 p.m. ET e 1:25 p.m. ET.

Alguns clientes de retalho não conseguiram concluir depósitos, levantamentos ou transações fora da plataforma. As transferências já em curso pareceram ficar bloqueadas, mas foram processadas depois da retoma do serviço. As compras com débito do Coinbase Card foram recusadas, enquanto as compras com cartão de crédito continuaram.

A interrupção também interrompeu swaps onchain através da Coinbase DEX na Base e na Solana. Os clientes da Coinbase Exchange e da Prime tiveram transferências e liquidações atrasadas ou falhadas, enquanto os clientes da plataforma de programadores não conseguiram fazer onboarding de utilizadores, mover fundos ou usar serviços de onramp.

O impacto evidencia a importância crescente da fiabilidade à medida que a Coinbase se expande para além do trading de criptomoeda à vista. Os seus produtos planeados “tudo numa exchange”, incluindo ações tokenizadas e futuros perpétuos, estão a alargar o leque de atividade financeira dependente da infraestrutura da empresa.

A Coinbase descreveu separadamente planos para tornar a plataforma num centro financeiro mais amplo, com novos serviços de negociação, pagamentos e gestão de dinheiro que abrangem ações, derivados, pagamentos em stablecoins e ferramentas para programadores. Essa expansão aumenta as implicações quando falha uma infraestrutura partilhada.

Por que razão a recuperação demorou mais do que o esperado

O gateway foi restaurado às 1:20 p.m. ET, e a Coinbase declarou que o incidente estava mitigado três minutos depois. As filas de transações pendentes restantes foram sendo eliminadas nas horas seguintes.

A recuperação demorou mais porque as ferramentas de implementação da Coinbase dependiam do gateway falhado. Os engenheiros não conseguiram usar o processo de rollback padrão e, em vez disso, lançaram manualmente uma implementação de emergência através do fornecedor de cloud da empresa, recorrendo a acesso privilegiado temporário.

A Coinbase está agora a adicionar verificações para bloquear conflitos de nomenclatura, a separar as ferramentas de recuperação da infraestrutura que gerem e a testar procedimentos de acesso de emergência com mais regularidade.

A Coinbase sublinhou:

“O nosso objetivo é sempre zero downtime. Estamos a redesenhar ativamente a nossa infraestrutura para garantir que, no improvável evento de outra falha como esta, possamos reverter e recuperar de forma rápida.”