OpenTelemetry Go 스택: Tempo Prometheus Loki

Go용 OpenTelemetry 스택 배포: 추적, 메트릭 및 로그

Go 애플리케이션을 위한 OpenTelemetry 스택은 Tempo에서 추적을, Prometheus에서 메트릭을, Loki에서 로그를 수집합니다. 클라이언트 app-1이 otel-collector를 통해 서버 app-2로 요청을 보냅니다. Grafana가 모든 데이터를 시각화합니다. 전체 스택은 최소 구성으로 docker-compose를 사용하여 실행됩니다.

Docker Compose 설정

주요 서비스: 두 개의 Go 애플리케이션, telemetry 수신기로서의 otel-collector, 백엔드 Tempo/Prometheus/Loki, Grafana. 관측성 네트워크가 트래픽을 격리합니다.

주요 포트:

• app-2: 8080
• otel-collector: 4317 (gRPC), 4318 (HTTP), 8889 (metrics)
• Prometheus: 9090
• Tempo: 3200
• Loki: 3100
• Grafana: 3000

services:
  app-1:
    build: ./app_1
    depends_on:
      otel-collector:
        condition: service_started
    networks:
      - observability
  app-2:
    build: ./app_2
    ports:
      - "8080:8080"
    networks:
      - observability
  otel-collector:
    image: otel/opentelemetry-collector-contrib:latest
    ports:
      - "4318:4318"
      - "4317:4317"
      - "8889:8889"
    volumes:
      - ./configs/otel-collector-config.yaml:/etc/otelcol/config.yaml:ro
    networks:
      - observability
  prometheus:
    image: prom/prometheus:latest
    ports:
      - "9090:9090"
    volumes:
      - ./configs/prometheus.yml:/etc/prometheus/prometheus.yml:ro
    networks:
      - observability
  tempo:
    image: grafana/tempo:2.7.0
    ports:
      - "3200:3200"
    volumes:
      - ./configs/tempo-config.yaml:/etc/tempo/tempo.yaml
    networks:
      - observability
  loki:
    image: grafana/loki:3.3.2
    ports:
      - "3100:3100"
    volumes:
      - ./configs/loki-config.yaml:/etc/loki/local-config.yaml:ro
    networks:
      - observability
  grafana:
    image: grafana/grafana:latest
    ports:
      - "3000:3000"
    volumes:
      - ./configs/grafana/datasources.yaml:/etc/grafana/provisioning/datasources/datasources.yaml:ro
    networks:
      - observability
networks:
  observability:
    driver: bridge

추적을 위한 Tempo 설정

Tempo는 gRPC (4317)와 HTTP (4318)를 통해 OTLP를 수신합니다. 추적 블록은 30분 보존 기간으로 압축됩니다. UI에서 빠른 가시성을 위해 trace_idle_period를 5초로 설정합니다.

server:
  http_listen_port: 3200
  grpc_listen_port: 9095
distributor:
  receivers:
    otlp:
      protocols:
        grpc:
          endpoint: "0.0.0.0:4317"
ingester:
  trace_idle_period: 5s
  max_block_duration: 30m
storage:
  trace:
    backend: local
    local:
      path: /var/tempo/traces
compactor:
  compaction:
    block_retention: 30m

Prometheus 및 경고 규칙

메트릭은 otel-collector:8889에서 60초마다 스크랩됩니다. 경고 규칙은 P95 지연 > 2000ms 및 오류 비율 > 5%를 추적합니다.

global:
  scrape_interval: 60s
scrape_configs:
  - job_name: "otel-collector"
    static_configs:
      - targets: ["otel-collector:8889"]

예제 규칙:

groups:
  - name: app1-service-alerts
    rules:
      - alert: App1LatencyHigh
        expr: histogram_quantile(0.95, sum by (le) (rate(app_1_requests_latency_ms_bucket[5m]))) > 2000
        for: 3m
        labels:
          severity: warning
  - name: app2-service-alerts
    rules:
      - alert: App2HighErrorRate
        expr: rate(app_2_requests_total{status="failed"}[5m]) / rate(app_2_requests_total[5m]) > 0.05
        for: 2m
        labels:
          severity: critical

로그를 위한 Loki 설정

로그는 TSDB 스키마 v13으로 파일 시스템에 저장됩니다. 24시간 주기로 인덱싱합니다. 구조화된 메타데이터가 활성화되어 있습니다.

auth_enabled: false
server:
  http_listen_port: 3100
common:
  path_prefix: /tmp/loki
  storage:
    filesystem:
      chunks_directory: /tmp/loki/chunks
schema_config:
  configs:
    - from: 2020-10-24
      store: tsdb
      schema: v13
      index:
        period: 24h
limits_config:
  allow_structured_metadata: true

Grafana에서의 통합

데이터소스는 메트릭→추적→로그를 연결합니다:

• Prometheus exemplarTraceIdDestinations
• Loki derivedFields by traceID
• Tempo serviceMap and tracesToLogsV2

Go 클라이언트에서 OTel 초기화

InitOTel 함수는 리소스 속성과 함께 모든 신호에 대한 제공자를 생성합니다. 추적에 10% 샘플링, 내보내기에 배칭을 적용합니다.

func InitOTel(ctx context.Context, serviceName string) (*log.LoggerProvider, func(context.Context) error) {
    ctx, cancel := context.WithTimeout(ctx, 10*time.Second)
    defer cancel()

    res := resource.NewWithAttributes(
       semconv.SchemaURL,
       semconv.ServiceName(serviceName),
       semconv.ServiceVersion("1.0.0"),
    )

    // Tracing
    traceExp, err := otlptracegrpc.New(ctx,
       otlptracegrpc.WithEndpoint("otel-collector:4317"),
       otlptracegrpc.WithInsecure(),
    )
    tracerProvider := sdktrace.NewTracerProvider(
       sdktrace.WithSampler(sdktrace.ParentBased(sdktrace.TraceIDRatioBased(0.1))),
       sdktrace.WithBatcher(traceExp),
       sdktrace.WithResource(res),
    )
    otel.SetTracerProvider(tracerProvider)

    // Metrics
    metricExp, err := otlpmetricgrpc.New(ctx,
       otlpmetricgrpc.WithEndpoint("otel-collector:4317"),
       otlpmetricgrpc.WithInsecure(),
    )
    meterProvider := sdkmetric.NewMeterProvider(
       sdkmetric.WithReader(sdkmetric.NewPeriodicReader(metricExp, sdkmetric.WithInterval(10*time.Second))),
       sdkmetric.WithResource(res),
    )
    otel.SetMeterProvider(meterProvider)

    // Logs
    logExp, _ := otlploggrpc.New(ctx,
       otlploggrpc.WithEndpoint("otel-collector:4317"),
       otlploggrpc.WithInsecure(),
    )
    logProvider := log.NewLoggerProvider(
       log.WithProcessor(log.NewBatchProcessor(logExp)),
       log.WithResource(res),
    )

    return logProvider, func(ctx context.Context) error {
       // shutdown logic
       return nil
    }
}

주요 사항

• 완전한 OTel 스택: otel-collector를 통해 통합된 tracing (Tempo), metrics (Prometheus), logs (Loki)
• Go 계측: otelhttp.Transport, otelslog.Handler, counter/histogram 메트릭
• Grafana 네이티브 통합: traceID로 메트릭→추적→로그 전환
• 성능: trace_idle_period 5s, 10% 샘플링, 10s 주기 리더
• 경고: P95 지연 > 2000ms, 오류 비율 > 5%

— Editorial Team