Back openDesk Edu for a sovereign, open-source education — every vote counts.
Vote nowSave products you love by clicking the heart icon.
Produktionsreife, selbstgehostete KI-Inferenz-Stack mit Ollama, Open WebUI und LiteLLM — einheitlicher API-Gateway, GPU-beschleunigte Inferenz und ein ChatGPT-kompatibles Chat-Interface.
No payment required
The information, code snippets, configuration files, and instructions provided in this product are shared for educational and informational purposes only. While every effort has been made to ensure accuracy, you are solely responsible for reviewing, testing, and adapting any code or configurations to your own environment before using them in production.
No liability: The author(s) shall not be held liable for any damages, data loss, system outages, security breaches, or other issues arising from the use, misuse, or inability to use the code, configurations, or instructions provided in this product. By downloading or using this product, you acknowledge that you understand and accept these terms.
Produktionsreife PostgreSQL + Redis mit automatischen täglichen Backups, 30-tägiger Aufbewahrung und optionalem S3-Offsite-Synchronisierung.
Produktionsreife, selbstgehostete KI-Inferenz-Stack mit Ollama, Open WebUI und LiteLLM — ein einheitlicher API-Gateway, GPU-beschleunigte LLM-Inferenz und eine ChatGPT-kompatible Chat-Oberfläche. In wenigen Minuten auf jedem Docker-Host mit NVIDIA-GPU bereitstellen.
┌──────────────────────────────────────────────────────┐
│ Open WebUI (Port 3000) │
│ ChatGPT-like chat interface │
└──────────────────┬───────────────────────────────────┘
│ OpenAI-compatible API
▼
┌──────────────────────────────────────────────────────┐
│ LiteLLM Proxy (Port 4000) │
│ Model routing, rate limiting, retries │
└──────────────────┬───────────────────────────────────┘
│ Native API
▼
┌──────────────────────────────────────────────────────┐
│ Ollama (Port 11434) │
│ GPU-accelerated LLM inference engine │
└──────────────────────────────────────────────────────┘
Statt Open WebUI direkt mit Ollama zu verbinden, fungiert LiteLLM als API-Gateway:
| Modell | Parameter | VRAM | Qualität | Geschwindigkeit (RTX 3090) | | ------------------ | --------- | ------- | -------------- | ------------------- | | Qwen 3.6 | 7.6B | 6 GB | Gut | ~80 Tok/s | | Mistral Small 3.1 | 24B | 16 GB | Sehr gut | ~40 Tok/s | | DeepSeek V4 | 67B | 42 GB | Ausgezeichnet | ~15 Tok/s | | Llama 4 | 8B/70B | 6/42 GB | Gut/Sehr gut | ~75/12 Tok/s |
# 1. Configure
cp .env.example .env
# Edit .env — fill in WEBUI_SECRET_KEY, LITELLM_MASTER_KEY
# 2. Pull a model (requires 15-20GB for llama3.2)
docker compose run --rm ollama ollama pull llama3.2:latest
# 3. Start the stack
docker compose up -d
# 4. Open the dashboard
open http://localhost:3000 # Open WebUI
open http://localhost:4000 # LiteLLM proxy
nvidia-container-toolkit)| Variable | Erforderlich | Standard | Beschreibung |
|---|---|---|---|
| WEBUI_SECRET_KEY | Erforderlich | — | Verschlüsselungsschlüssel für Open WebUI |
| LITELLM_MASTER_KEY | Erforderlich | — | LiteLLM-Administrations-API-Schlüssel |
| OLLAMA_KEEP_ALIVE | Nein | 5m | Zeit, um Modelle im Speicher zu halten |
| OLLAMA_NUM_PARALLEL | Nein | 2 | Parallele Anfrageverarbeitung pro Modell |
| OLLAMA_MAX_LOADED_MODELS | Nein | 3 | Maximale Anzahl von Modellen im GPU-Speicher |
| ENABLE_SIGNUP | Nein | false | Neue Benutzerregistrierung zulassen |
| DEFAULT_MODELS | Nein | llama3.2:latest | Standardmodell in Open WebUI |
| LITELLM_DB_URL | Nein | — | Optional: PostgreSQL-URL für Nutzungsverfolgung |
WEBUI_SECRET_KEY und LITELLM_MASTER_KEY setzenENABLE_SIGNUP=false)WEBUI_AUTH=true)nvidia-smi -l 1latest oder main)Laden Sie das ZIP herunter, extrahieren Sie es, konfigurieren Sie .env, führen Sie docker compose up -d aus.