목록알람시스템 (1)

코딩관계론

MTTR 단축을 위한 관측 가능성 시스템 개선 여정

최근 관측 가능성(Observability) 관련 서적을 읽으면서, 회사의 알람 시스템을 전면 개선하기로 결심했습니다.관측 가능성의 핵심은 로그, 메트릭, 트레이스를 상관관계로 연결하여 근본 원인을 빠르게 파악할 수 있는 시스템을 구축하는 것입니다.문제 상황입사 당시 회사에는 중앙집중형 로그 시스템만 존재했고, 그 외의 모니터링·알람 체계는 사실상 없었습니다. 그 결과 장애 발생 시, 개발자가 먼저 감지하는 것이 아니라 고객 문의 -> 실무자가 문제임을 인지 -> 개발자에게 보고하는 형식으로 되어 있었습니다.이 구조에서는 실무자의 인지 시간 + 개발자의 문제 해결 시간이 그대로 MTTR(Mean Time To Recovery)에 반영됩니다.실제로는 한 달 이상 지속된 버그가 뒤늦게 발견되는 사례도 있었..
개발 2025. 8. 10. 16:27
이전 Prev 1 Next 다음