Angewandte Quantisierungsstrategien für das Deployment von Consumer-LLMs

Vollständiges Paper herunterladen (PDF)

---

Abstract

Das Deployment großer Sprachmodelle auf Consumer-Hardware erfordert eine aggressive Speicheroptimierung, die eine Balance zwischen Kompression und Generierungsqualität herstellt. Diese Studie präsentiert eine empirische Evaluierung von layer-aware Quantisierungsstrategien für die Qwen3.5-Modellfamilie auf Consumer-GPUs (NVIDIA RTX 4080 Laptop, 12GB) und Edge-Servern (DGX Spark, 128GB).

Vier praktische Deployment-Szenarien werden abgedeckt:

1. TQ3_0: Eine llama.cpp-Implementierung einer 3-Bit-Codebook-basierten KV-Cache-Kompression unter Verwendung einer strukturierten Zufallsrotation (Walsh-Hadamard-Transformation mit zufälligen Vorzeichenumkehrungen) basierend auf Googles TurboQuant. Dies erreicht eine 4,9-fache Speicherreduktion (52 vs. 256 Bytes/Block) bei einem Durchsatzverlust von 24 % bei 200K Kontext.
2. Hybrid GPTQ-INT4+FP8: Gewichtsquantisierung, die eine Durchsatzsteigerung von 49 % (22,4 vs. 15,0 tok/s) bei Qwen3.5-122B-A10B erzielt, indem die Präzision an den Layer-Typ angepasst wird.
3. Kontextgrößen-Optimierung: Identifizierung von 48K Tokens als praktischer „Sweet Spot“ für Coding-Aufgaben auf 12GB-GPUs.
4. Hybride Speicherarchitektur: Ermöglichung von 417K Kontext auf 128GB Unified Memory durch rekursive Layer-Kompression.

Zentrale Beiträge

TQ3_0: 3-Bit KV-Cache-Kompression

TQ3_0 ist eine llama.cpp-Implementierung basierend auf Googles TurboQuant (Zandieh et al., 2025). Der Kernansatz von TurboQuant besteht darin, dass die Anwendung einer Zufallsrotation auf hochdimensionale Vektoren eine konzentrierte Beta-Verteilung auf jeder Koordinate induziert (konvergiert in hohen Dimensionen gegen N(0, 1/d)), wodurch die Koordinaten nahezu unabhängig werden und somit einer optimalen skalaren Quantisierung pro Koordinate (Lloyd-Max) zugänglich sind. TQ3_0 approximiert diese Zufallsrotation über eine strukturierte Walsh-Hadamard-Transformation mit zufälligen Vorzeichenumkehrungen — O(d log d) statt O(d²) für eine dichte Rotation — kombiniert mit einem festen 8-Einträge-Codebook, das für die Effizienz von GPU-Kerneln optimiert ist.

Dies führt zu einer 4,9-fachen Reduktion des KV-Cache-Speichers (52 Bytes vs. 256 Bytes pro Block), wobei der Durchsatz über Kontextlängen von 2K bis 200K von 16,00 auf 12,14 tok/s sinkt. Dies ermöglicht den Betrieb von Modellen mit über 200K Kontext auf Consumer-GPUs, die ansonsten einen Out-of-Memory-Fehler verursachen würden.

Wie sich Quantisierungsfehler auf den LLM-Output auswirken

Eine natürliche Frage ist, warum eine 3-Bit-Kompression die Output-Qualität überhaupt bewahrt. Die entscheidenden Mechanismen sind:

• KV-Cache-Fehler $\rightarrow$ Attention-Verzerrung: Quantisierungsfehler in K/V-Vektoren verzerren die Attention-Scores. Da Softmax nichtlinear ist, können kleine Fehler zu unverhältnismäßigen Verschiebungen führen, wenn die Attention-Scores eng beieinander liegen. Die Zufallsrotation stellt jedoch sicher, dass dieser Fehler isotrop ist — also gleichmäßig über alle Koordinaten verteilt statt in Ausreißer-Dimensionen konzentriert —, was eine katastrophale Fehlallokation der Attention abmildert.

• Layer-weise Propagation: In einem Transformer mit L Layern könnten sich Fehler aufsummieren. In der Praxis skaliert LayerNorm die Aktivierungen auf eine Einheitsvarianz (unterdrückt Magnitude Drift), während Residual-Connections es dem ursprünglichen Signal ermöglichen, degradierte Layer zu umgehen, was eine implizite Fehlerdämpfung bewirkt.

• L2-Fehler vs. Output-Qualität: MSE (L2-Norm) ist ein nützlicher, aber unvollkommener Proxy. TurboQuant berichtet von einer MSE-Verzerrung $\le 0,03$ bei 3 Bit pro Koordinate, was empirisch einer vernachlässigbaren Verschlechterung der Perplexity entspricht. Zwei Konfigurationen mit identischem L2-Fehler können jedoch eine unterschiedliche Qualität liefern, je nachdem, wo im Netzwerk der Fehler auftritt — Attention-Layer sind im Allgemeinen empfindlicher als MLP-Layer.

Hybride GPTQ-INT4 + FP8 Quantisierung

Durch die Konvertierung von 1.085 Tensoren in FP8-Präzision bei Qwen3.5-122B-A10B erreicht die hybride Quantisierung einen Checkpoint von 74,19 GB mit einer Durchsatzsteigerung von 49 %. Die Strategie passt die Präzision an den Layer-Typ an: Attention-Projektionen behalten eine höhere Präzision, während MLP-Layer FP8 verwenden. Dieser Ansatz vermeidet zudem FlashInfer NVFP4-Abstürze auf der SM121-Architektur.

Die theoretische Schranke des Quantisierungsfehlers hängt von der Hessian-Konditionszahl $\kappa(H)$ ab: $\epsilon \ge \kappa(H) \cdot 2^{(-2b)}$, wobei $\lambda_{\max}$ und die größten und kleinsten Eigenwerte der Hessian-Matrix sind. Dies ist eine lose Worst-Case-Schranke; in der Praxis erreicht die spaltenweise Optimierung von GPTQ wesentlich geringere Fehler, indem sie sich an die lokale Krümmung anpasst. Empirische Messungen zeigen im Bereich für Expert-Layer bei 4-Bit-Präzision, was zu einem Quantisierungsfehler von 0,4 % bis 4 % führt.

Optimales Context Sizing

Benchmarks auf Qwen3.5-35B-A3B mit einer 12GB-GPU zeigen, dass 48K Tokens der Sweet Spot für Coding-Aufgaben bei 17,41 tok/s sind. Hierbei wird das Verständnis der Codebasis gegen Durchsatzverluste abgewogen, die jenseits von 65K Tokens überproportional zunehmen.

Hybrider Speicher für erweiterten Kontext

Auf dem DGX Spark mit 128GB Unified Memory ermöglicht die Nutzung rekursiver Layer für weitreichende Abhängigkeiten Kontextfenster von über 417K, was Möglichkeiten für groß angelegte Dokumentanalysen eröffnet.

Deployment-Richtlinien

Basierend auf den empirischen Ergebnissen:

• Consumer-GPUs (12GB–16GB): Verwenden Sie Q4_K_M Gewichtsquantisierung mit q8_0 KV-Cache für interaktive Workloads. Aktivieren Sie TQ3_0 nur, wenn der Kontext 32K Tokens überschreitet. Konfigurieren Sie 48K Kontext als Standard für Coding-Aufgaben.
• Edge-Server (128GB Unified Memory): Verwenden Sie hybrides GPTQ-INT4+FP8 für MoE-Modelle. Konfigurieren Sie eine GPU-Speicherauslastung von 85 % für die Produktion.
• Framework-Auswahl: llama.cpp für das Deployment auf Consumer-GPUs mit TQ3_0-Support und Offline-Nutzung. vLLM für überlegenes Multi-User-Serving durch PagedAttention.

Limitationen

Die Evaluierung beschränkt sich auf die Qwen3.5-Modellfamilie. Die Ergebnisse können für Llama, Mistral oder andere Architekturen abweichen. Perplexity-Messungen sind nicht enthalten, wodurch Qualitätsaussagen von früheren Arbeiten abhängen. Der Sweet Spot von 48K Kontext wurde von einem einzelnen Modell auf einer einzelnen GPU abgeleitet und sollte nicht als universelle Empfehlung betrachtet werden.

Zitation

@techreport{weiss2026quantization,
  title={Applied Quantization Strategies for Consumer LLM Deployment: Layer-Aware Weight and KV Cache Compression},
  author={Weiss, Tobias},
  year={2026},
  note={Technical Report, llama.cpp implementation of TurboQuant}
}

Vollständiges Paper herunterladen (PDF)