Observability 개념과 Prometheus/Grafana 활용 가이드

Observability (관측 가능성) 란?

Observability는 시스템이 내부 상태를 외부로 얼마나 잘 드러내는지를 나타내는 속성입니다. 즉, 시스템의 동작을 외부에서 얼마나 잘 이해하고 분석할 수 있는지를 의미합니다. 복잡한 분산 시스템 환경에서 Observability는 문제 해결, 성능 개선, 보안 감사 등 DevOps 및 SRE(Site Reliability Engineering)의 핵심 역량으로 자리 잡고 있습니다.

Observability는 주로 세 가지 주요 데이터 소스를 통해 확보됩니다:

1. 로그 (Logs): 시스템에서 발생하는 이벤트의 기록입니다. 오류, 경고, 정보 메시지 등 특정 시점에 발생한 일련의 사건을 보여줍니다.
2. 메트릭 (Metrics): 시간 경과에 따른 시스템의 측정 가능한 상태를 나타냅니다. CPU 사용량, 메모리 사용량, 네트워크 트래픽, 요청 수, 응답 시간 등이 해당됩니다. 메트릭은 추세 분석 및 알림 설정에 유용합니다.
3. 트레이스 (Traces): 분산 시스템에서 요청이 여러 서비스 간에 어떻게 이동하는지에 대한 엔드-투-엔드 보기를 제공합니다. 요청의 지연 시간, 병목 현상, 실패 지점을 파악하는 데 결정적입니다.

왜 Observability가 필요한가?

• 빠른 문제 해결: 복잡한 시스템에서 장애 발생 시 원인 파악 및 해결 시간을 단축합니다.
• 성능 최적화: 시스템의 병목 구간을 식별하고 리소스 사용률을 최적화합니다.
• 시스템 이해 증진: 시스템의 내부 작동 방식을 깊이 이해하고 예측 가능성을 높입니다.
• 안정적인 운영: 장애 예방 및 사전 감지를 통해 서비스 가용성을 향상시킵니다.

Prometheus와 Grafana를 활용한 Observability 구축

Prometheus는 시계열 데이터베이스를 기반으로 하는 오픈소스 모니터링 및 알림 시스템이며, Grafana는 다양한 데이터 소스를 시각화하는 데 사용되는 오픈소스 분석 및 시각화 도구입니다. 이 둘을 함께 사용하면 강력한 Observability 플랫폼을 구축할 수 있습니다.

1. Prometheus 설치 및 설정

Prometheus는 일반적으로 Docker 컨테이너 또는 Kubernetes 클러스터에 배포됩니다. 설정 파일(prometheus.yml)을 통해 모니터링할 대상(targets)을 정의합니다.

prometheus.yml 예시:

scrape_configs:
  - job_name: 'my_application'
    static_configs:
      - targets: ['localhost:9090'] # 애플리케이션의 메트릭 엔드포인트

Prometheus는 정의된 대상의 /metrics 엔드포인트에서 메트릭을 주기적으로 수집(scrape)합니다. Node Exporter, cAdvisor 등 다양한 exporter를 사용하여 호스트나 컨테이너의 시스템 메트릭을 수집할 수도 있습니다.

2. Grafana 설치 및 Prometheus 데이터 소스 연동

Grafana 역시 Docker나 Kubernetes에 설치할 수 있습니다. 설치 후 웹 인터페이스에 접속하여 Prometheus를 데이터 소스로 추가합니다.

• Grafana UI 접속 (기본: http://localhost:3000)
• Configuration > Data Sources > Add data source 선택
• Prometheus 선택 후, Prometheus 서버의 URL (http://<prometheus-server-ip>:9090) 입력 및 저장

3. 대시보드 생성 및 시각화

Prometheus에서 수집된 메트릭을 Grafana에서 시각화합니다. Prometheus Query Language (PromQL)를 사용하여 원하는 데이터를 쿼리하고, 그래프, 게이지, 표 등 다양한 패널로 표현할 수 있습니다.

주요 PromQL 쿼리 예시:

• CPU 사용량: sum(rate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance)
• 메모리 사용량: node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes
• HTTP 요청 수: rate(http_requests_total[5m])

Grafana는 이러한 쿼리를 기반으로 실시간 차트를 생성하고, 여러 패널을 조합하여 시스템 상태를 한눈에 파악할 수 있는 대시보드를 구성할 수 있습니다. Kubernetes 클러스터의 경우, Kubernetes API 서버 메트릭, Pod/Node 상태 등을 모니터링하는 사전 구축된 대시보드 템플릿을 활용할 수 있습니다.

4. 알림 설정

Prometheus는 Alertmanager와 연동하여 특정 조건 발생 시 알림을 보낼 수 있습니다. Grafana에서도 자체적인 알림 기능을 제공합니다. 임계값 초과, 특정 오류 발생 등을 감지하여 Slack, PagerDuty 등 원하는 채널로 알림을 전송하도록 설정하여 선제적인 대응이 가능합니다.

주의사항

• 데이터 보존 정책: Prometheus는 시계열 데이터를 저장하므로, 장기간 보존 시 디스크 공간이 많이 필요합니다. 적절한 보존 기간을 설정해야 합니다.
• 메트릭 수집 주기: 너무 잦은 수집은 Prometheus 부하를 증가시키고, 너무 느리면 실시간성이 떨어집니다. 서비스 특성에 맞는 적절한 주기를 설정해야 합니다.
• Exporter 선택: 모니터링하려는 대상에 맞는 exporter를 선택하고 설정하는 것이 중요합니다.
• 보안: Prometheus 및 Grafana의 접근 권한을 적절히 관리하여 민감한 시스템 정보가 노출되지 않도록 주의해야 합니다.

Observability는 지속적인 개선이 필요한 영역입니다. Prometheus와 Grafana를 시작으로 시스템에 대한 깊이 있는 통찰력을 얻고, 더 안정적이고 효율적인 운영을 달성하시기 바랍니다.