47. 통합가시성

[개념]

MSA환경에서 가시성 방안(솔루션, data 수집 등), 비동기 트랜잭션 가시성 방안

 

Grafana/Prometheus

 

동기, 비동기에 대한내용

 

 

 

 

MSA(Microservices Architecture) 환경에서 '통합 가시성(Observability)'은 여러 마이크로서비스의 상태를 종합적으로 파악하고 문제를 진단하는 데 필수적입니다. 이를 위해 **지표(Metrics), 로그(Logs), 분산 추적(Distributed Tracing)**의 세 가지 핵심 데이터를 수집하고 분석하는 것이 중요합니다.

---

1. 가시성 방안 (솔루션, 데이터 수집)

MSA 환경에서는 수많은 서비스가 서로 통신하기 때문에, 각 서비스의 상태를 개별적으로 모니터링하는 것만으로는 전체 시스템의 문제를 파악하기 어렵습니다. 따라서 다음과 같은 데이터와 솔루션을 활용하여 통합 가시성을 확보해야 합니다.

• 지표 (Metrics): 시스템의 상태를 수치로 나타내는 데이터(예: CPU 사용량, 메모리 사용량, 요청 수, 응답 시간)입니다.
  • 수집: 각 마이크로서비스에 Prometheus 클라이언트 라이브러리를 통합하여 지표를 노출합니다.
  • 솔루션: Prometheus가 각 서비스 엔드포인트에서 지표를 주기적으로 수집(Pull 방식)합니다. 수집된 데이터는 시계열 데이터베이스에 저장됩니다. Grafana는 이 Prometheus 데이터를 시각화하여 대시보드를 구축하는 데 사용됩니다.
• 로그 (Logs): 애플리케이션에서 발생하는 이벤트, 오류, 경고 등을 기록한 텍스트 데이터입니다.
  • 수집: 각 서비스의 로그를 stdout으로 출력하고, Fluentd, Logstash 같은 로그 수집기를 사용하여 중앙 집중형 로깅 시스템으로 전송합니다.
  • 솔루션: **ELK 스택(Elasticsearch, Logstash, Kibana)**이나 Loki와 같은 솔루션을 사용하여 로그를 수집, 저장, 검색합니다.
• 분산 추적 (Distributed Tracing): 하나의 요청이 여러 마이크로서비스를 거치면서 어떻게 처리되었는지 전체 흐름을 추적하는 데이터입니다.
  • 수집: OpenTelemetry, OpenTracing 같은 표준을 사용하여 각 서비스 호출에 대해 고유한 Trace ID와 Span ID를 생성하고 전달합니다.
  • 솔루션: Jaeger나 Zipkin 같은 솔루션을 사용하여 분산 추적 데이터를 시각화하고, 요청의 병목 구간을 파악할 수 있습니다.

---

2. Grafana & Prometheus

Prometheus는 MSA 환경에서 지표를 수집하고 저장하는 데 특화된 시계열 데이터베이스 및 모니터링 시스템입니다. 서버 상태, 애플리케이션 지표 등을 주기적으로 수집하며, 유연한 쿼리 언어(PromQL)를 제공합니다.

Grafana는 Prometheus를 포함한 다양한 데이터 소스의 지표를 시각화하는 대시보드 도구입니다. Prometheus에서 수집한 지표를 그래프, 차트, 테이블 등으로 만들어 직관적인 모니터링 환경을 제공합니다.

라이선스 제공자: Google

---

3. 동기, 비동기 트랜잭션 가시성 방안

MSA 환경에서는 서비스 간 통신 방식에 따라 트랜잭션의 가시성 확보 방식이 달라집니다.

동기 트랜잭션 (Synchronous Transaction)

• 통신 방식: 한 서비스가 다른 서비스의 응답을 기다리는 직렬(Serial) 통신 방식입니다. (예: HTTP REST API)
• 가시성 방안: **분산 추적(Distributed Tracing)**이 가장 효과적입니다. 요청의 시작부터 끝까지 모든 서비스 호출을 Trace ID로 연결하여 시각화함으로써, 어떤 서비스에서 지연이 발생했는지 쉽게 파악할 수 있습니다.

비동기 트랜잭션 (Asynchronous Transaction)

• 통신 방식: 메시지 큐(Message Queue)나 이벤트 스트림을 통해 통신하므로, 응답을 기다리지 않고 다음 작업을 진행합니다.
• 가시성 방안: 동기식 방식처럼 하나의 요청 흐름을 추적하기 어렵습니다. 따라서 다음과 같은 복합적인 접근이 필요합니다.
  • 메시지 ID 추적: 메시지 헤더에 고유한 Message ID를 포함시켜, 메시지 큐에 들어갈 때와 나올 때의 로그를 남겨 흐름을 추적합니다.
  • 상관관계 ID (Correlation ID): 요청의 시작부터 마지막까지 동일한 ID를 모든 메시지에 포함시켜, 서로 다른 서비스의 로그를 이 ID를 기준으로 연결하여 분석합니다.
  • 중앙 집중형 로깅: 모든 서비스의 로그를 한 곳에 모아 Correlation ID나 Message ID로 검색하여 비동기 트랜잭션의 전체 과정을 재구성합니다.