GPU-Teams stehen vor einem schlechten Kompromiss: ein Control Plane pro Team oder schwache Isolation in einem gemeinsamen Cluster. Dieses reproduzierbare Labor kombiniert Kamaji (Control Planes als Pods) und HAMi (fraktionierte GPUs) auf einer einzigen Maschine ohne GPU, unter Verwendung von HAMis Mock-Device-Plugin.
Jetzt können Sie Anwendungen und KI-Agenten gemeinsam in einer einzigen kollaborativen Erfahrung beobachten. Basierend auf OpenTelemetry werden vorhandene Telemetriedaten ohne Neukonfiguration angezeigt und sind über eine einzige URL mit Enterprise-SSO erreichbar – kein Konsolenzugriff erforderlich. Es erkennt Dienste automatisch, kartiert Abhängigkeiten und bindet den AWS DevOps Agent in Untersuchungssitzungen ein, um Signale zu korrelieren und Root Causes zu verfolgen.
Ein neuer benutzerdefinierter Eventbus, der speziell für Organisationen entwickelt wurde, die ereignisgesteuerte Anwendungen über Teams und Konten hinweg skalieren. Stellen Sie einen einzigen zentralisierten Bus bereit, der über AWS RAM mit jedem Konto geteilt wird, mit optionaler Ereignisreihenfolge, einer vereinfachten Subscriber-Ressource, die Filterung/Ziele/Wiederholungen bündelt, inhaltsbasierter Deduplizierung und synchroner Invocation für Ziele wie Lambda. Ein neues Ingress/Egress-Preismodell ersetzt die sich summierenden kontenübergreifenden Routing-Gebühren; vorhandene Busse funktionieren weiterhin als „klassisch“.
Führen Sie LLM-Inferenz auf SageMaker HyperPod mit einer Kubernetes-nativen, GPU-bewussten Routing-Ebene aus, die als einzelnes EKS Managed Add-on mit null Anwendungsänderungen bereitgestellt wird. Statt Round-Robin wird auf Basis von Echtzeit-Inferenzsignalen geroutet – KV-Cache-Auslastung, Warteschlangentiefe, Prefix-Cache-Treffer, vorhergesagte Latenz – wodurch die First-Token-Latenz in Szenarien mit gemischter Hardware und Burst-Last um bis zu 82 % reduziert wird. Funktioniert mit jedem OpenAI-kompatiblen Modellserver, einschließlich vLLM und SGLang.
Erstellen und senden Sie Nachrichten, indem Sie Ihren KI-Coding-Agenten in natürlicher Sprache bitten. Amazon SES und AWS End User Messaging veröffentlichen KI-Agenten-Fähigkeiten für den AWS MCP Server, die Agenten schrittweise validierte Anleitungen für Aufgaben wie die Verifizierung einer Absenderidentität, das Senden einer Produktions-E-Mail oder die Erstellung eines gebrandeten RCS-Agenten bieten.
Das HyperPod Inference Gateway sticht hervor: KV-Cache-bewusstes Routing mit null App-Änderungen verwandelt rohe GPU-Knoten in latenzoptimierte Inferenzinfrastruktur – ein Muster, dessen Idee sich jedes selbstverwaltete LLM-Team abschauen sollte.