Coinbase обнаружила ошибку в Kubernetes, которая привела к 50-минутному сбою 14 июля

Coinbase опубликовала постмортем 21 июля, где указала программную ошибку, ставшую причиной сбоя продолжительностью 50 минут 14 июля. Из-за него клиенты не могли завершать переводы, совершать покупки с помощью Coinbase Card и получать доступ к onchain-сервисам. Инцидент был вызван необнаруженным столкновением имён ресурса в Kubernetes во время рутинного обновления инфраструктуры, в ходе которого изменили не тот сетевой компонент. Сбой затронул платформы для розницы, учреждений и разработчиков примерно с 12:37 по времени ET до 1:25 по времени ET, однако средства клиентов не подвергались риску. Отключение произошло на фоне того, что Coinbase расширяется, выходя за пределы спот-торговли криптовалютами, в токенизированные акции, бессрочные фьючерсы и более широкие финансовые услуги — это повышает ставки, когда из строя выходит общая инфраструктура.

Столкновение имён ресурсов Kubernetes привело к сбою шлюза

Инженеры внедряли то, что выглядело как рутинное обновление с низким риском, когда необнаруженное столкновение имён ресурса в Kubernetes заставило обновление изменить не тот сетевой компонент, говорится в постмортеме, опубликованном 21 июля. Kubernetes — это ПО, которое Coinbase использует, чтобы организовывать и запускать приложения в своей облачной инфраструктуре. Столкновение имён ресурса привело к тому, что обновление изменило часть корпоративного шлюза Istio ingress вместо только предназначенного компонента. Шлюз действует как диспетчер трафика, направляя запросы между внутренними сервисами Coinbase. Как только шлюз ушёл офлайн, системы, отвечающие за обработку сделок, переводов, расчётов и авторизаций платежей, больше не могли взаимодействовать. Coinbase заявила, что инцидент «был вызван непреднамеренной неверной настройкой важного сетевого компонента в результате рутинного обновления конфигурации», и что «ни в одной точке средства клиентов не подвергались риску».

Сбой нарушил переводы, покупки картой и институциональные расчёты

Сбои затронули розничные, институциональные и платформы разработчиков Coinbase примерно с 12:37 по времени ET до 1:25 по времени ET. Некоторые розничные клиенты не могли завершить пополнения, выводы или транзакции вне платформы. Переводы, которые уже были в процессе, казались зависшими, но были обработаны после возвращения сервиса. Покупки по дебетовой карте Coinbase Card отклонялись, в то время как покупки по кредитным картам продолжались. Также сбой прервал onchain-свопы через Coinbase DEX на Base и Solana. Клиенты Coinbase Exchange и Prime столкнулись с задержками или неудачными переводами и расчётами, а клиенты платформы разработчиков не могли подключать пользователей, перемещать средства или использовать onramp-сервисы. Воздействие подчёркивает растущую важность надёжности по мере того, как Coinbase выходит за пределы спот-торговли криптовалютами. Её запланированные продукты «всё как биржа» (everything exchange), включая токенизированные акции и бессрочные фьючерсы, расширяют диапазон финансовой активности, зависящей от инфраструктуры компании. Coinbase также отдельно описывала планы сделать платформу более широким финансовым хабом: новые сервисы торговли, платежей и управления деньгами, охватывающие акции, деривативы, платежи в стейблкоинах и инструменты для разработчиков.

Coinbase внедряет новые меры защиты после ручного восстановления

Шлюз был восстановлен в 1:20 по времени ET, а Coinbase заявила, что инцидент был смягчён тремя минутами позже. Оставшиеся очереди транзакций очистились в течение последующих часов. Восстановление заняло больше времени, потому что инструменты развёртывания Coinbase полагались на отказавший шлюз. Инженеры не могли использовать стандартный процесс отката и вместо этого вручную запустили аварийное развёртывание через облачного провайдера компании, применив временный привилегированный доступ. Теперь Coinbase добавляет проверки, чтобы блокировать конфликты имён, разделяет инструменты восстановления и инфраструктуру, которой они управляют, и чаще тестирует процедуры аварийного доступа. Coinbase подчеркнула, что «наша цель всегда — нулевая остановка», и заявила: «Мы активно перерабатываем нашу инфраструктуру, чтобы в крайне маловероятном случае ещё одного сбоя, подобного этому, мы могли быстро откатить изменения и восстановиться».

FAQ

Что стало причиной сбоя Coinbase 14 июля?
Сбой был вызван необнаруженным столкновением имён ресурса в Kubernetes во время рутинного обновления инфраструктуры, которое изменило не тот сетевой компонент: в частности, вместо нужного компонента обновление изменило часть шлюза Istio ingress Coinbase.

Как долго длился сбой Coinbase и какие сервисы были затронуты?
Сбой длился примерно 50 минут — с 12:37 по времени ET до 1:25 по времени ET 14 июля. Он затронул переводы розничных клиентов и дебетовые покупки Coinbase Card, институциональные расчёты на Coinbase Exchange и Prime, onchain-свопы через Coinbase DEX на Base и Solana, а также сервисы платформы разработчиков, включая подключение пользователей и перемещение средств.

Какие меры защиты Coinbase внедряет после сбоя?
Coinbase теперь добавляет проверки, чтобы блокировать конфликты имён, разделяет инструменты восстановления и инфраструктуру, которой они управляют, а также чаще тестирует процедуры аварийного доступа, чтобы обеспечивать быстрое возвращение к работоспособности и восстановление в будущих инцидентах.