← 모든 기록

장애가 번지는 이유 — 공유 서킷브레이커와 폭발 반경

어느 날 아침, 한 API 서버가 짧은 시간 동안 외부 호출을 무더기로 거부하기 시작했다. 로그를 보니 거부당한 호출이 수천 건인데, 실제로 문제가 생긴 외부 서비스는 하나뿐이었다. 나머지 멀쩡한 서비스들까지 함께 막혀 있었다.

(이 글의 수치·이름은 설명을 위해 단순화한 값이다. 외부 서비스는 A·B·C·D 로 부른다.)


상황: 외부 서비스 하나가 막혔는데 넷이 다 막혔다

문제의 서버는 외부 서비스 네 개(A·B·C·D)를 각각 Feign 클라이언트로 호출한다. 각 호출에는 장애 격리를 위해 서킷브레이커(circuit breaker)가 걸려 있었다.

그날 외부의 방화벽(WAF)이 특정 서버에서 나가는 B 호출만 403 으로 막기 시작했다. 짧은 시간, 수십 건이었다. B 하나가 잠깐 아픈, 그 자체로는 작은 사고다.

그런데 거부된 호출을 세어 보니 A·C·D 까지 포함해 수천 건이었다. B 와 전혀 상관없는 호출들이 함께 거부되고 있었다.

WAF 가 B 호출을 403 으로 막음 (수십 건)
  → 서킷브레이커 OPEN
  → A·C·D 호출까지 전부 거부 (수천 건)

장애를 격리하려고 넣은 서킷브레이커가, 오히려 장애를 네 서비스로 퍼뜨리고 있었다. 이 “하나의 실패가 영향을 미치는 범위”를 흔히 폭발 반경(blast radius)이라고 부른다.


원인 1: 서킷브레이커가 하나였다

설정을 열어 보니 네 Feign 클라이언트가 서킷브레이커 인스턴스 하나를 공유하고 있었다. 이름이 DefaultApiCB 하나뿐이었다.

A 클라이언트 ─┐
B 클라이언트 ─┤
C 클라이언트 ─┼─→ DefaultApiCB  (하나)
D 클라이언트 ─┘

서킷브레이커는 “최근 호출 중 실패 비율”을 본다. 그 창에 A·B·C·D 의 호출이 뒤섞여 들어온다. B 가 실패를 쏟아내 전체 실패율이 임계치를 넘으면 서킷이 OPEN 으로 넘어가고, 그 순간부터 이 서킷을 통과하는 모든 호출, 즉 A·C·D 까지 즉시 거부된다.

문제의 핵심은 격리 단위를 잘못 잡았다는 것이다. 서킷브레이커로 격리하려는 대상은 “실패하는 외부 서비스”다. 그런데 서킷을 공유하면 격리 단위가 “이 서버의 모든 외부 호출”이 되어 버린다. B 가 아프다고 A 를 끊는 건 격리가 아니라 전염이다.


원인 2: 창이 너무 작아 과민했다

이름 문제만이 아니었다. 설정값 자체가 민감했다.

sliding-window-size: 8
minimum-number-of-calls: 4
failure-rate-threshold: 50

최근 8건 중 4건만 실패하면 열리는 설정이다. 호출량이 적은 시간대라면 B 실패 몇 건만으로도 창이 금세 채워져 열렸다가, 몇 건 성공하면 닫히기를 반복한다. 서킷이 1분 주기로 열렸다 닫혔다 깜빡거렸다.

정상 운영에도 외부 호출은 간헐적으로 실패한다. 타임아웃 한두 건, 일시적 5xx 는 늘 섞인다. 창이 너무 작으면 이런 정상 변동에도 과민하게 반응해 멀쩡한 서비스까지 끊는다. 서킷브레이커는 “진짜 고장”과 “일시적 잡음”을 통계적으로 구분해야 하는데, 표본이 8개면 구분이 안 된다.

설정 파일에서 어느 블록이 적용되는지부터 확인

여기서 한참 헤맸다. 운영 설정 파일을 열었더니 작은 창 설정이 주석 블록 아래에 또 한 벌 살아 있었다. 위쪽 주석 처리된 블록을 보고 “큰 창으로 설정돼 있네”라고 넘어갔다가, 실제 적용되는 건 그 아래 살아 있는 작은 창 블록이라는 걸 뒤늦게 알았다.

# resilience4j:
#   circuitbreaker:
#     configs:
#       default:
#         sliding-window-size: 100   ← 주석. 적용 안 됨

resilience4j:
  circuitbreaker:
    configs:
      default:
        sliding-window-size: 8       ← 이게 실제 적용되는 값

설정 파일에 죽은 블록(주석)과 산 블록이 섞여 있으면, 어느 게 적용되는지부터 확인한다. 주석만 보고 판단하면 실제 동작과 반대로 이해하게 된다.


해결: 서킷을 클라이언트별로 나눴다

고친 방향은 단순하다. 서킷브레이커를 외부 서비스마다 하나씩 따로 두는 것이다. 이름을 넷으로 나눴다.

A 클라이언트 ─→ ACircuitBreaker
B 클라이언트 ─→ BCircuitBreaker
C 클라이언트 ─→ CCircuitBreaker
D 클라이언트 ─→ DCircuitBreaker

이제 B 가 막혀도 BCircuitBreaker 만 열린다. A·C·D 는 자기 서킷으로 자기 호출만 보니 멀쩡히 통과한다. B 하나의 실패가 B 에만 머문다. 폭발 반경이 네 서비스에서 한 서비스로 줄었다.

설정은 흩어 두지 않고 공통 한 곳에 명시했다.

resilience4j:
  circuitbreaker:
    configs:
      default:
        sliding-window-size: 100
        minimum-number-of-calls: 50
        failure-rate-threshold: 50
        wait-duration-in-open-state: 30s
    instances:
      ACircuitBreaker: { base-config: default }
      BCircuitBreaker: { base-config: default }
      CCircuitBreaker: { base-config: default }
      DCircuitBreaker: { base-config: default }

창을 100 으로, 최소 호출을 50 으로 키웠다. 충분한 표본이 쌓인 뒤에야 실패율을 판단하니, 타임아웃 몇 건에 깜빡거리지 않는다. 실패율이 50% 를 넘으면 30초간 OPEN 으로 두고, 그 뒤에 조금씩 다시 흘려보내 회복을 살핀다.


회귀 방지: 이름이 갈라졌는지, 전파가 막혔는지

같은 실수가 다시 들어올 수 있다. 새 Feign 클라이언트를 추가하면서 기존 이름을 그대로 쓰면 다시 공유가 된다. 그래서 테스트 두 개로 못 박았다.

첫째, 네 이름이 서로 다른 인스턴스인지. 설정에 네 이름이 다 있고, 레지스트리에서 꺼낸 네 서킷이 서로 다른 객체인지 확인한다.

둘째, 그리고 이게 핵심인데, 한쪽을 강제로 OPEN 시켰을 때 다른 쪽 호출이 막히지 않는지. B 서킷을 열어 둔 상태에서 A·C·D 호출이 그대로 통과하는지 본다. 이 사고의 본질이 “B 가 열리면 A 도 막힌다”였으니, 테스트도 바로 그 문장을 검증한다.

BCircuitBreaker 를 강제로 OPEN
  → B 호출은 거부된다 (정상)
  → A·C·D 호출은 통과한다 (전파 없음을 확인)

이름이 공유 상태로 되돌아가면 둘째 테스트가 깨진다. 설정 실수가 배포 전에 걸린다.


배운 것

  • 서킷브레이커는 실패를 격리하려고 쓰는데, 공유하면 오히려 실패를 전파한다. 격리 단위는 호출 대상(외부 서비스)별로 잡는다. 하나의 서킷은 하나의 의존성만 책임져야 한다.
  • 창이 너무 작으면 정상 변동에도 과민하게 열린다. 서킷은 “진짜 고장”과 “일시적 잡음”을 구분해야 하고, 그러려면 충분한 표본이 필요하다.
  • 설정 파일에 주석 블록과 산 블록이 섞여 있으면, 어느 게 적용되는지부터 확인한다. 주석만 보고 동작을 판단하면 반대로 이해한다.
  • 회귀 테스트는 사고의 문장을 그대로 검증한다. “한쪽이 열려도 다른 쪽은 멀쩡하다” — 이 한 줄이 이 장애의 전부였고, 테스트도 이 한 줄이면 된다.
글 공유XFacebookLinkedIn