ML Drift: GPU-AI/ML-Inferenz der nächsten Generation am Edge

ML Drift ist das leistungsstarke, universelle GPU-Compute-Framework von Google AI Edge zur Beschleunigung von On-Device-AI- und ML-Inferenz. Es ist der GPU-Delegate der nächsten Generation für LiteRT (den Nachfolger von TensorFlow Lite) und wurde entwickelt, um echte Leistung aus der GPU-Hardware herauszuholen, die bereits in jedem Smartphone und Laptop steckt.

In Edge- und Workstation-Umgebungen erzählt der Spitzendurchsatz nur die halbe Geschichte: Der Speicherbedarf bestimmt, welche Workloads tatsächlich parallel ausgeführt werden können. In Gemma-Benchmarks erreicht ML Drift einen um bis zu 12 % geringeren Speicher-Overhead als andere Frameworks und gibt so Speicher für andere lokale Aufgaben frei.

In großem Maßstab praxiserprobt

ML Drift läuft bereits in der Produktion auf Millionen von Geräten täglich und unterstützt Funktionen im gesamten Google-Ökosystem:

• YouTube Shorts hat seine segmentierungsbasierten Effekte auf ML Drift migriert – mit einer Reduzierung der durchschnittlichen Frame-Latenz um bis zu 40 % auf Android und iOS. So können Creator hochwertige visuelle Effekte in Echtzeit anwenden, ohne Kameraframes zu verlieren.
• Google Photos hat ML Drift in seine computergestützten Fotografie- und Segmentierungs-Pipelines integriert – mit einer Beschleunigung von bis zu 2 Sekunden gegenüber dem bisherigen GPU-Delegate, wodurch Fotoverbesserungen sofort wirken.
• Google Chrome hat ML Drift in seine AI-Laufzeit integriert, um nativ hardwarebeschleunigte Gemini-Nano-Modelle für die integrierten AI-APIs (Prompt, Summarize, Writer) auf Desktop-Plattformen zu unterstützen.

An der Spitze der On-Device-Fähigkeiten unterstützt es außerdem Google-AI-Edge-Apps wie Gallery, Foresight und Eloquent.

Das Partner-Ökosystem

Über Google-Produkte hinaus haben Entwicklerpartner ML Drift übernommen:

• Adobe Lightroom und Photoshop haben wichtige KI-Funktionen – Motiv auswählen, Himmel auswählen, Adaptives Porträt – mit ML Drift aufgerüstet und erreichen damit eine um bis zu 30 % schnellere On-Device-Leistung für professionelle Fotobearbeitung auf Mobilgeräten.
• Snap hat LiteRT integriert, um On-Device-Inferenz auf der GPU unter Android zu unterstützen.

Fazit

ML Drift ist die GPU-Geschichte für On-Device-AI im Jahr 2026: geringerer Speicher-Overhead, wirklich schnellere On-Device-Inferenz und bereits in Googles eigenem Maßstab bewährt (Chrome, YouTube Shorts, Photos, Meet). Für alle, die On-Device-AI/ML ausliefern – von Kameraeffekten bis hin zu integrierter Browser-KI – ist es das Backend, das „läuft lokal“ tatsächlich schnell macht, nicht nur möglich.