A Coinbase identificou um erro no Kubernetes por trás de uma queda de 50 minutos em 14 de julho.

A Coinbase publicou um postmortem em 21 de julho identificando o erro de software por trás de uma queda de 50 minutos em 14 de julho que impediu os clientes de concluírem transferências, fazerem compras com o Coinbase Card e acessarem serviços on-chain. A interrupção foi causada por uma colisão de nomes de recursos do Kubernetes não detectada durante uma atualização de infraestrutura de rotina que modificou o componente de rede errado. O incidente afetou as plataformas de varejo, institucionais e de desenvolvedores aproximadamente de 12:37 p.m. ET a 1:25 p.m. ET, embora os fundos dos clientes não estivessem em risco. A queda ocorreu enquanto a Coinbase expande além da negociação de cripto no spot para ações tokenizadas, futuros perpétuos e serviços financeiros mais amplos, elevando a aposta quando falhas em infraestrutura compartilhada acontecem.

Colisão de nome de recurso do Kubernetes acionou falha na gateway

Engenheiros estavam implantando o que parecia ser uma atualização de rotina e de baixo risco quando uma colisão não detectada de nomes de recursos do Kubernetes fez com que a atualização modificasse o componente de rede errado, segundo o postmortem publicado em 21 de julho. O Kubernetes é um software que a Coinbase usa para organizar e executar aplicações em sua infraestrutura em nuvem. A colisão de nomes de recursos fez com que a atualização alterasse parte do gateway de entrada (ingress) do Istio da empresa em vez de apenas o componente pretendido. O gateway atua como um controlador de tráfego, direcionando solicitações entre os serviços internos da Coinbase. Assim que o gateway ficou offline, os sistemas responsáveis por processar negociações, transferências, liquidações e autorizações de pagamento deixaram de conseguir se comunicar. A Coinbase afirmou que o incidente “foi causado por uma configuração incorreta não intencional de um componente de rede importante como resultado de uma atualização de configuração de rotina” e que “em nenhum momento os fundos dos clientes estiveram em risco”.

Interrupção afetou transferências, compras com cartão e liquidações institucionais

A disrupção afetou as plataformas de varejo, institucionais e de desenvolvedores da Coinbase aproximadamente de 12:37 p.m. ET a 1:25 p.m. ET. Alguns clientes de varejo não conseguiram concluir depósitos, saques ou transações fora da plataforma. Transferências já em andamento pareciam travadas, mas foram processadas depois que o serviço voltou. As compras de débito com o Coinbase Card foram recusadas, enquanto compras com cartão de crédito continuaram. A interrupção também afetou swaps on-chain via Coinbase DEX na Base e na Solana. Clientes da Coinbase Exchange e da Prime tiveram transferências e liquidações atrasadas ou com falha, enquanto clientes da plataforma de desenvolvedores não conseguiram fazer o onboarding de usuários, mover fundos ou usar serviços de on-ramp. O impacto destaca a crescente importância da confiabilidade à medida que a Coinbase se expande além da negociação de cripto no spot. Seus produtos planejados de “tudo em uma exchange”, incluindo ações tokenizadas e futuros perpétuos, ampliam o intervalo de atividades financeiras que dependem da infraestrutura da empresa. A Coinbase descreveu separadamente planos para tornar a plataforma um hub financeiro mais amplo, com novos serviços de negociação, pagamentos e gestão de dinheiro abrangendo ações, derivativos, pagamentos com stablecoin e ferramentas para desenvolvedores.

Coinbase implementa novas salvaguardas após recuperação manual

O gateway foi restaurado às 1:20 p.m. ET, e a Coinbase declarou que o incidente foi mitigado três minutos depois. Os backlogs restantes de transações foram limpos ao longo das horas seguintes. A recuperação demorou mais porque as ferramentas de implantação da Coinbase dependiam do gateway que falhou. Os engenheiros não conseguiram usar o processo padrão de rollback e, em vez disso, iniciaram manualmente uma implantação de emergência via provedor de nuvem da empresa usando acesso privilegiado temporário. Agora, a Coinbase está adicionando verificações para bloquear conflitos de nomenclatura, separando ferramentas de recuperação da infraestrutura que elas gerenciam e testando procedimentos de acesso de emergência com mais regularidade. A Coinbase enfatizou que “nosso objetivo é sempre zero downtime” e afirmou: “Estamos ativamente redesenhando nossa infraestrutura para garantir que, no caso altamente improvável de outra falha como esta, possamos reverter e recuperar rapidamente”.

FAQ

O que causou a queda da Coinbase em 14 de julho?
A queda foi causada por uma colisão de nomes de recursos do Kubernetes não detectada durante uma atualização de infraestrutura de rotina que modificou o componente de rede errado, especificamente alterando parte do gateway de entrada (ingress) do Istio da Coinbase em vez do componente pretendido.

Quanto tempo durou a queda da Coinbase e quais serviços foram afetados?
A queda durou aproximadamente 50 minutos, de 12:37 p.m. ET a 1:25 p.m. ET em 14 de julho. Ela afetou transferências de clientes de varejo e compras de débito com o Coinbase Card, liquidações institucionais na Coinbase Exchange e na Prime, swaps on-chain via Coinbase DEX na Base e na Solana, além de serviços da plataforma de desenvolvedores, incluindo onboarding de usuários e movimentação de fundos.

Quais salvaguardas a Coinbase está implementando após a queda?
A Coinbase agora está adicionando verificações para bloquear conflitos de nomenclatura, separando ferramentas de recuperação da infraestrutura que elas gerenciam e testando procedimentos de acesso de emergência com mais regularidade para garantir uma reversão e recuperação rápidas em incidentes futuros.