Coinbaseの7月のサービス中断を振り返り：Kubernetesの設定競合により複数の取引サービスが停止、ユーザーの資金は影響なし

PANews 7月22日（中国の報道）によると、Coinbaseの公式が7月14日のサービス中断事件の復習レポートを7月14日に発表し、事故の原因、復旧の過程、今後の改善策を詳細に開示した。Coinbaseは、今回の障害は、定例の構成更新におけるKubernetesリソース名の競合によって発生し、重要なネットワーク・コンポーネントが機能不全となったことで、送金、デビットカード取引、オンチェーン・サービスに影響が及んだが、ユーザーの資金は終始リスクにさらされなかったと述べている。7月14日米国東部時間12:34、Coinbaseは、基幹となるインフラ・サービスを受け持つ共有の本番Kubernetesクラスタに対し、コアとなるインフラ・サービス用の通常の構成変更をデプロイした。この更新は、新しいサービス展開モデルへの移行の一部であり、システム性能と信頼性の向上を目的として、標準的なプロセスで審査済みであり、低リスクな変更と見なされていた。

しかし、プレプロダクションの検査ではリソース名の競合が発見されなかったため、この構成変更が意図せず、クラスター内のIstio Ingress Gatewayに関連するKubernetesリソースを変更してしまい、入口ゲートウェイが利用できなくなった。12:37までに、このクラスターへ流入するすべてのトラフィックが中断され、内部サービスが複数のインフラ・コンポーネントにアクセスできなくなった。

Coinbaseによると、影響を受けた非同期ワークフローは、資金の流れ全体の体系にほぼ及び、取引の決済、資産送金、デビットカード取引の認証などが含まれる。インフラ・サービスがアクセスできない場合、これらのプロセスはプラットフォーム全体で一時停止され、影響を受けた業務には次が含まれる。小売ユーザーはチェーン外の取引、チャージ、出金を完了できない、一部の処理中の取引は停滞状態として表示され、サービス復旧後に自動的に完了する。Coinbase Cardのデビットカード取引は一時的に失敗し、クレジットカードの支払いは引き続き利用可能だが、一部のカード管理機能は利用できない。BaseおよびSolana上のCoinbase DEXのオンチェーン交換サービスは停止した。Coinbase ExchangeおよびPrimeの機関顧客で送金や決済の失敗、または遅延が発生した。Coinbase Developer Platformの顧客は、口座開設、資金移転、入金サービスを完了できない。

Coinbaseは、復旧期間中に影響を受けたプロセスを停止し、Retail、Exchange、Primeのステータスページで進捗を継続的に更新したと述べている。米国東部時間13:20に入口ゲートウェイが復旧し、13:23までに事象は概ね緩和された。その後、システムが滞留していたタスクの処理を開始し、大部分のサービスは迅速に復旧、残りのキューは数時間以内に清掃が完了した。今回の事象を踏まえ、Coinbaseはシステムの信頼性を高めるために以下の対策を講じるとしている。展開段階の防護メカニズムを拡張し、Kubernetesリソース名の競合を自動検出して阻止し、構成更新が他のコンポーネントに誤って影響を与えることを避ける。デプロイツールと基盤となるインフラの冗長性を強化し、障害と同時に復旧ツールにも影響が及ぶことを防ぐ。緊急アクセスの仕組みを定期的に見直し、演習を実施して、大規模障害時の復旧速度を高める。

Coinbaseによると、会社の目標は常にゼロ停機の運用を実現することであり、インフラを継続的に再構築し、将来同様の障害が発生しても、より素早くロールバックと復旧ができるようにする。また、ユーザーへの影響について謝罪し、関連する問題が依然として残っているユーザーに対しては、公式サポートチームに連絡することを勧めている。