Self-Hosted AI Stack: Ollama, Open WebUI und LiteLLM in der Produktion

Warum Self-Hosting von AI Inference

Das lokale Ausführen von LLMs ist kein Hobby-Experiment mehr. Da Modelle wie DeepSeek V4, Qwen 3.6, Llama 4 und Mistral Small 3.1 auf Consumer-GPUs Platz finden, ist self-hosted AI für viele Workloads zu einer viable Alternative zu API-basierten Diensten geworden:

• Kosten bei Skalierung: API-Kosten steigen linear mit den Tokens. Self-hosted Inference bedeutet fixe Hardwarekosten.
• Datenschutz: Keine Daten verlassen Ihr Netzwerk – kritisch für regulierte Branchen.
• Latenz: Lokale Inference liegt bei 10-50ms gegenüber 500-2000ms bei Cloud-APIs im Bereich von 7B-70B Parametern.
• Modell-Flexibilität: Nutzen Sie jedes Open-Weight-Modell, führen Sie Fine-Tuning durch, tauschen Sie Modelle aus und experimentieren Sie ohne Vendor Lock-in.

Architektur

Kernkomponenten

Ollama — Local Inference Engine

Ollama hat sich zum Standard für das lokale Ausführen von LLMs entwickelt. Es übernimmt den Modell-Download, die GPU-Beschleunigung (NVIDIA CUDA) und stellt eine REST-API für die Inference bereit.

Wichtige Entscheidungen:

• Modell-Speicher: Standardmäßig liegen Modelle unter ~/.ollama/models. Mappen Sie dies auf ein persistent Volume – das wiederholte Herunterladen von 70B-Modellen (40+ GB) ist mühsam.
• GPU Passthrough: Das NVIDIA Container Toolkit ist für die GPU-Beschleunigung erforderlich. Ohne dieses dauert die CPU-Inference bei einem 70B-Modell Sekunden pro Token.
• Gleichzeitige Anfragen: Ollama verarbeitet standardmäßig eine Anfrage pro Modell. Erhöhen Sie für Multi-User-Setups das --num-parallel Flag oder nutzen Sie das Routing von LiteLLM.

Leitfaden zur Modellwahl:

Modell	Parameter	VRAM	Qualität	Geschwindigkeit (7B auf 3090)
Qwen 3.6	7.6B	6 GB	Gut	~80 tok/s
Mistral Small 3.1	24B	16 GB	Sehr Gut	~40 tok/s
DeepSeek V4	67B	42 GB	Exzellent	~15 tok/s
Llama 4	8B/70B	6 GB / 42 GB	Gut/Exzellent	~75 tok/s / ~12 tok/s

LiteLLM — Das API-Gateway

LiteLLM bietet eine OpenAI-kompatible API, die an jedes LLM-Backend routet. Dies ist die zentrale architektonische Entscheidung: Verbinden Sie Open WebUI nicht direkt mit Ollama, sondern routen Sie über LiteLLM.

Warum das wichtig ist:

• Multi-Model-Routing: LiteLLM kann Load-Balancing über Modelle hinweg betreiben, bei Fehlern auf Fallbacks zurückgreifen und nach Kosten oder Latenz routen.
• OpenAI Drop-in: Jedes Tool, das die OpenAI-API nutzt (Cursor, Continue.dev, Open Interpreter), kann stattdessen auf Ihren LiteLLM-Endpunkt zeigen.
• Nutzungs-Tracking: LiteLLM protokolliert den Token-Verbrauch pro Benutzer und Modell – essenziell für die Kostenallokation in Team-Setups.
• Rate Limiting: Verhindert, dass ein einzelner Benutzer die GPU mit Massen-Inference überlastet.

Die Konfigurationsdatei (litellm_config.yaml) definiert Modellgruppen und Routing-Regeln:

model_list:
  - model_name: fast
    litellm_params:
      model: ollama/mistral-s3.1
      api_base: http://ollama:11434
      rpm: 60

  - model_name: powerful
    litellm_params:
      model: ollama/deepseek-v4
      api_base: http://ollama:11434
      rpm: 10

  - model_name: default
    litellm_params:
      model: ollama/qwen3.6
      api_base: http://ollama:11434

Open WebUI — Die Benutzeroberfläche

Open WebUI ist die funktionsreichste ChatGPT-Alternative für self-hosted Setups. Es bietet:

• Konversationsmanagement: Threads, Suchverlauf, Export
• RAG-Support: Dokumente hochladen und mit jedem beliebigen Modell abfragen
• Benutzerverwaltung: Multi-User mit rollenbasierter Zugriffskontrolle
• Tool-Support: Websuche, Code-Ausführung, Bildgenerierung (via ComfyUI-Integration)

Die UI verbindet sich mit dem OpenAI-kompatiblen Endpunkt von LiteLLM und übernimmt so automatisch alle Routing- und Fallback-Verhaltensweisen.

Hardware-Anforderungen

Setup	GPU	RAM (System)	Speicher	Benutzer
Minimum	Keine (CPU)	16 GB	20 GB	1
Empfohlen	RTX 3090 24GB	32 GB	100 GB	1-3
Team	2× RTX 4090 24GB	64 GB	500 GB	5-15
Produktion	4× A100 80GB	256 GB	2 TB	50+

Ohne GPU ist mit 1-5 Tokens/Sekunde bei 7B-Modellen zu rechnen – nutzbar für Chat, mühsam für Batch-Processing.

Überlegungen für den Produktionseinsatz

Modell-Management

Laden Sie nicht alle Modelle gleichzeitig. Ein einzelnes 70B-Modell belegt ~40 GB VRAM für die Inference plus ~40 GB Festplattenspeicher. Beginnen Sie mit einem kleinen und einem großen Modell:

docker compose exec ollama ollama pull mistral-s3.1  # 16 GB disk, 24B params
docker compose exec ollama ollama pull qwen3.6        # 6 GB disk, 7.6B params

# Add when needed
# docker compose exec ollama ollama pull deepseek-v4   # 42 GB disk, 67B params

Sicherheit

Der Stack exponiert eine UI und eine API. Für die Produktion:

1. Platzieren Sie ihn hinter dem SSL Reverse Proxy Stack (HTTPS + WAF)
2. Setzen Sie WEBUI_SECRET_KEY und WEBUI_JWT_SECRET in Open WebUI
3. Aktivieren Sie die Benutzerauthentifizierung (Standard: an)
4. Setzen Sie LITELLM_MASTER_KEY für die API-Zugriffskontrolle
5. Beschränken Sie den Modellzugriff – nicht alle Benutzer benötigen 70B-Inference

Monitoring

LiteLLM stellt Prometheus-Metriken unter /metrics bereit. Fügen Sie diesen Endpunkt zur Prometheus-Scrape-Konfiguration Ihres Observability-Stacks hinzu für:

• Token-Verbrauch pro Modell und Benutzer
• Request-Latenz nach Modell
• Fehlerraten und Rate-Limit-Treffer
• Häufigkeit von Model-Fallbacks

Key Takeaways

• LiteLLM ist die kritische Schicht: Es entkoppelt das UI von der Inference-Engine und ermöglicht Model-Routing, Fallbacks und Rate-Limiting, ohne eine der beiden Komponenten anfassen zu müssen
• GPU ist für eine akzeptable UX unverzichtbar: CPU-Inference ist zwar machbar, aber für die interaktive Nutzung frustrierend
• Starten Sie mit Qwen 3.6 (7B) für Geschwindigkeit und Mistral Small 3.1 (24B) für Qualität — upgraden Sie auf DeepSeek V4, wenn Sie maximale Leistungsfähigkeit benötigen
• Der Stack skaliert horizontal: Fügen Sie bei steigender Nachfrage weitere Ollama-Instanzen hinter LiteLLM hinzu