Coinbase révèle comment une erreur de configuration a déclenché une panne de 50 minutes

Coinbase indique qu’une mise à jour d’infrastructure de routine a désactivé une passerelle réseau critique, perturbant les transferts, les achats par carte de débit et les services onchain pendant environ 50 minutes. Son nouveau rapport d’incident explique l’erreur et pourquoi les outils de reprise habituels de l’entreprise ont également échoué.

Points clés

• Coinbase a relié la panne de 50 minutes à une collision de noms de ressource Kubernetes non détectée lors d’une mise à jour d’infrastructure de routine.
• L’incident a perturbé les transferts, les achats par carte de débit Coinbase Card, les règlements institutionnels et les services onchain sur plusieurs plateformes.
• La panne a aussi désactivé le processus normal de rollback de Coinbase, poussant l’entreprise à mettre en place de nouvelles protections et modifications d’infrastructure.

Coinbase explique ce qui s’est mal passé

La plateforme d’échange crypto Coinbase (Nasdaq : COIN) a identifié l’erreur logicielle à l’origine de la panne de la semaine dernière, qui a empêché les clients d’effectuer des transferts, d’effectuer des achats avec Coinbase Card et d’accéder à plusieurs services onchain pendant environ 50 minutes.

D’après un rapport d’incident publié le 21 juillet, des ingénieurs déployaient une mise à jour de routine, présentée comme à faible risque, lorsqu’une collision de noms de ressource Kubernetes non détectée a provoqué la modification du mauvais composant réseau lors de la mise à jour.

Coinbase a déclaré :

“Cela a été causé par une mauvaise configuration involontaire d’un composant réseau important à la suite d’une mise à jour de configuration de routine. À aucun moment, les fonds des clients n’ont été en danger.”

Kubernetes est le logiciel que Coinbase utilise pour organiser et exécuter des applications sur son infrastructure cloud. La collision de noms de ressource a fait en sorte que la mise à jour modifie une partie de la passerelle d’ingress Istio de l’entreprise au lieu du seul composant prévu. La passerelle agit comme un contrôleur de trafic, dirigeant les requêtes entre les services internes de Coinbase.

Une fois la passerelle hors ligne, les systèmes chargés de traiter les transactions, transferts, règlements et autorisations de paiement ne pouvaient plus communiquer.

Rejets de cartes et transferts bloqués

La perturbation a touché les plateformes de détail, institutionnelles et développeurs de Coinbase d’environ 12 h 37 (heure de l’Est) à 13 h 25 (heure de l’Est).

Certains clients de détail n’ont pas pu finaliser des dépôts, retraits ou transactions hors plateforme. Les transferts déjà en cours semblaient bloqués, mais ils ont été traités après le retour du service. Les achats par carte de débit Coinbase Card ont été refusés, tandis que les achats par carte de crédit ont continué.

La panne a aussi interrompu les échanges onchain via Coinbase DEX sur Base et Solana. Les clients de Coinbase Exchange et Prime ont connu des transferts et règlements retardés ou échoués, tandis que les clients de la plateforme développeurs n’ont pas pu intégrer des utilisateurs, déplacer des fonds ni utiliser les services d’onramp.

L’impact met en évidence l’importance croissante de la fiabilité alors que Coinbase s’étend au-delà du trading crypto spot. Ses produits prévus “everything exchange”, incluant des actions tokenisées et des futures perpétuelles, élargissent l’éventail d’activités financières dépendant de l’infrastructure de l’entreprise.

Coinbase a également décrit séparément ses projets pour faire de la plateforme un hub financier plus large, avec de nouveaux services de trading, de paiements et de gestion d’argent couvrant les actions, les dérivés, les paiements en stablecoins et les outils développeurs. Cette expansion augmente les enjeux lorsqu’une infrastructure partagée tombe en panne.

Pourquoi la reprise a pris plus de temps que prévu

La passerelle a été restaurée à 13 h 20 (heure de l’Est), et Coinbase a déclaré l’incident atténué trois minutes plus tard. Les files d’attente de transactions restantes se sont vidées au cours des heures suivantes.

La reprise a pris plus de temps parce que les outils de déploiement de Coinbase reposaient sur la passerelle défaillante. Les ingénieurs ne pouvaient pas utiliser le processus standard de rollback et ont dû lancer manuellement un déploiement d’urgence via le fournisseur cloud de l’entreprise, en utilisant un accès temporaire privilégié.

Coinbase ajoute désormais des contrôles pour bloquer les conflits de nommage, sépare les outils de reprise de l’infrastructure qu’ils gèrent et teste plus régulièrement les procédures d’accès d’urgence.

Coinbase a insisté sur :

“Notre objectif est toujours zéro temps d’arrêt. Nous repensons activement notre infrastructure afin d’être en mesure, dans l’éventualité hautement improbable d’une autre défaillance comme celle-ci, de revenir en arrière et de récupérer rapidement.”