Ankündigung neuer vLLM- und SGLang-Inferenz-Engines auf TPU

Google Cloud bietet jetzt native TPU-Unterstützung für die beiden beliebtesten Open-Source-Inferenz-Engines — vLLM und SGLang. Die neuen Engines decken das gesamte Spektrum der Serving-Workloads ab, und mehrere Funktionen adressieren speziell agentische Workloads.

Was unterstützt wird

• Agentisch & Multi-Turn — automatisches Prefix-Caching (einschließlich für Hybridmodelle), KV-Cache-Auslagerung auf Host-Speicher und Managed Lustre über TPU Sync, Tool-Aufrufe und strukturierte Ausgabe.
• Interaktiv & niedrige Latenz — spekulative Dekodierung mit MTP, EAGLE-3, DFlash, DSpark und n-Gram-Draftern.
• High-Throughput-Batch — Datenparallele Aufmerksamkeit mit Expertenparallelität.
• Langer Kontext — Kontextparallelität für Prefill und Dekodierung, FP8-KV-Cache, Host-KV-Auslagerung.
• Disaggregiertes Serving — Prefill und Dekodierung auf getrennten Hosts über TPU Sync, einschließlich über verschiedene parallele Layouts hinweg.
• Multimodal — Vision-Language-Modelle mit Bild-/Videoeingabe; Embedding-Modelle.
• Sehr große Modelle — Hybrid- und Sparse-Attention-Architekturen; Tensor-, Daten-, Experten-, Pipeline- und Kontextparallelität über Hosts hinweg; FP8-, FP4- (MXFP4, NVFP4), INT8- und INT4-Checkpoints.

Warum Agenten das betrifft

Agentische Workloads erfordern mehrere dieser Funktionen gleichzeitig. Agenten senden wiederholt wachsende Multi-Turn-Konversationen, daher erfordert effizientes Serving das Finden des gecachten Präfixes anstatt es neu zu berechnen. Beide Engines halten wiederverwendbare Präfixe im HBM und — mit aktivierter Host-Auslagerung — verschieben ältere Präfixe automatisch als zweite Ebene in den Host-Speicher. Genau dieses Muster verwandelt das wiederholte Umsortieren von Agenten-Turns von einer Neuberechnungssteuer in einen Cache-Treffer.

Fazit

Für Teams, die Agent-Workloads oder sehr große Modelle betreiben, ist die Kombination aus automatischem Prefix-Caching, KV-Auslagerung über Ebenen hinweg und disaggregiertem Prefill/Decode das, was Produktions-Serving im Jahr 2026 ausmacht. Wenn Sie auf vLLM oder SGLang standardisiert haben, ist TPU jetzt ein erstklassiges Ziel statt eines Portierungsprojekts.