Aufbau eines Production-Observability-Stacks mit Grafana, Prometheus, Loki und Alloy

Warum Sie Ihren eigenen Stack aufbauen sollten

Managed Observability Services (Datadog, Grafana Cloud, New Relic) sind leistungsstark, aber teuer. Bei entsprechender Skalierung spart ein selbst gehosteter Grafana + Prometheus + Loki Stack Tausende von Euro pro Monat und gibt Ihnen die volle Kontrolle über Retention, Alerting und Data Governance.

Der hier vorgestellte Stack läuft auf jeder einzelnen VM mit Docker Compose und lässt sich ohne Architekturänderungen horizontal auf Kubernetes skalieren.

Architektur

Kernkomponenten

Grafana — Die zentrale Ansicht

Grafana dient als vereinheitlichte Dashboard-Schicht. Dank auto-provisionierter Datenquellen erfordert die Anbindung von Prometheus (Metrics) und Loki (Logs) nach dem ersten Deployment keine manuelle Konfiguration.

Wichtige Konfigurationsentscheidungen:

• Provisioning via YAML: Dashboards, Datenquellen und Alert-Kanäle werden alle als Dateien definiert, die in den Container gemountet werden. Dies macht sie versionskontrollierbar und reproduzierbar – kein „Click-Ops“ in der UI.
• Anonymer Zugriff in privaten Netzwerken: Bei internen Deployments entfernt die Aktivierung des anonymen Zugriffs mit Viewer-Berechtigungen die Hürde des Logins. Für internetseitige Setups aktivieren Sie OAuth via GitHub, Google oder Ihren IdP.
• Vorgefertigte Dashboards: Liefern Sie das „Node Exporter Full“-Dashboard und das „Docker Containers“-Dashboard als JSON aus – die zwei am häufigsten angeforderten Ansichten für das Infrastruktur-Monitoring.

Prometheus — Metrikerfassung

Prometheus scrapt Targets nach einem Pull-Modell. Die wichtigste Konfigurationsentscheidung ist das Scrape-Intervall im Verhältnis zu den Speicherkosten:

Scrape-Intervall	Täglicher Speicher (pro Host)	Retention	Use Case
15s	~150 MB	30 Tage	Kritische Infra
30s	~75 MB	14 Tage	Standard
60s	~35 MB	7 Tage	Nicht-kritisch

Der Stack verwendet standardmäßig 15s für Kern-Targets (node_exporter, cAdvisor) und 30s für Applikations-Endpunkte. Dies bietet eine gute Granularität, ohne den Speicher zu sprengen.

Loki — Log-Aggregation

Im Gegensatz zu Elasticsearch indexiert Loki nicht den Log-Inhalt, sondern nur Metadaten-Labels. Das macht den Betrieb dramatisch günstiger:

• Keine Volltext-Indexierung: Der Speicherbedarf liegt bei gleichem Log-Volumen bei ca. 10-20 % von Elasticsearch.
• Label-basierte Abfragen: Log-Streams werden durch Labels wie job, instance, container_name identifiziert.
• LogQL: Eine leistungsstarke Abfragesprache, die näher an PromQL als an Lucene liegt.

Der entscheidende Konfigurationsparameter ist retention_period. Der Stack ist standardmäßig auf 14 Tage eingestellt, nach denen Log-Daten automatisch gelöscht werden.

Alloy — Die Collector-Schicht

Grafana Alloy ersetzt das bisherige Muster aus Agent / Promtail / Tempo durch ein einziges Binary, das Metriken, Logs und Traces verarbeitet. Die Konfiguration nutzt eine neue DSL namens Alloy syntax (.alloy Dateien):

// Discovery: find all Docker containers
discovery.docker "local" {
  host = "unix:///var/run/docker.sock"
}

// Scrape metrics from discovered containers
prometheus.scrape "default" {
  targets    = discovery.docker.local.targets
  forward_to = [prometheus.remote_write.default.receiver]
}

prometheus.remote_write "default" {
  endpoint {
    url = "http://prometheus:9090/api/v1/write"
  }
}

Dies ersetzt das alte Muster, node_exporter + promtail + cadvisor als separate Prozesse auszuführen.

Überlegungen für den Produktiveinsatz

Retention-Tuning

Die größten Betriebskosten in einem Observability-Stack ist der Speicher. Legen Sie die Retention basierend auf Ihren tatsächlichen Anforderungen fest:

# Loki: 14 days of raw logs, archive older to S3
# Grafana: snapshot dashboards periodically, don't rely on browser cache

Alerting

Das integrierte Alerting von Grafana ersetzt den eigenständigen Alertmanager. Alert-Regeln werden gegen Prometheus-Abfragen ausgewertet und über Contact Points geroutet:

• Critical → PagerDuty oder Slack-Webhook mit @here
• Warning → E-Mail oder Slack-Channel
• Info → Nur Dashboard-Annotationen

Skalierung

Dieser Stack läuft auf einer einzelnen VM mit 2 vCPU / 4 GB RAM für Workloads bis zu ca. 50 Hosts. Darüber hinaus:

1. Fügen Sie einen zweiten Prometheus im Remote-Write-Modus hinzu.
2. Sharden Sie Loki in mehrere Ingester.
3. Verschieben Sie Alloy auf jeden Target-Host anstatt einer zentralisierten Erfassung.

Fazit

• Ein selbst gehosteter Observability-Stack spart bei einer Skalierung von 10+ Hosts im Vergleich zu Managed Services 500–2000 $ pro Monat.
• Grafana + Prometheus + Loki ist der Industriestandard – jede große Plattform unterstützt diese Protokolle.
• Alloy vereinfacht die Collector-Schicht auf eine einzige Konfigurationsdatei.
• Starten Sie mit dem Compose-Stack und wechseln Sie zu Kubernetes, wenn Sie ihn überwachsen haben.