Integrationsmuster für AI + XR

Android XR wird erwachsen: Auto-Spatialization, Enterprise und das SDK, das Sie kennen sollten

Google und Samsung haben gerade das größte Android XR-Update seit dem Launch veröffentlicht. Auto-Spatialization verwandelt jede 2D-App in 3D, Android Enterprise ermöglicht Fleet-Deployments und das SDK unterstützt nun fünf Engines.

Die Konvergenz von AI und XR ist kein zukünftiger Trend – sie findet bereits jetzt statt. Vision-Language-Modelle (VLMs) können sehen, was Ihr Headset sieht. LLMs können NPCs antreiben, die echte Gespräche führen. Neuronale Netze können 3D-Szenen aus spärlichen Kamera-Inputs rekonstruieren.

Dieser Artikel katalogisiert einsatzbereite Integrationsmuster, die Sie heute mit WebXR, browserbasiertem ML und selbstgehosteter AI-Infrastruktur implementieren können.

Muster 1: VLM-gestütztes Szenenverständnis

Welches Problem es löst

Ihre XR-App muss die physische Welt verstehen – nicht nur Ebenen und Anker tracken, sondern Objekte erkennen, Texte lesen, Gefahren identifizieren oder eine Szene für einen sehbehinderten Nutzer beschreiben.

Architektur

WebXR Camera → Canvas Capture → VLM (API or local) → JSON structured output → XR overlay

Implementierung

// Capture the WebXR camera feed as a frame
function captureFrame(xrFrame, referenceSpace, gl) {
  const viewerPose = xrFrame.getViewerPose(referenceSpace);
  if (!viewerPose) return null;

  const canvas = document.createElement("canvas");
  canvas.width = gl.drawingBufferWidth;
  canvas.height = gl.drawingBufferHeight;

  // Read back WebXR layer pixels (requires WEBGL_draw_pixels or copyTexImage2D)
  // This is simplified — production code uses XRWebGLBinding or WebGPU
  const pixels = new Uint8Array(canvas.width * canvas.height * 4);
  gl.readPixels(0, 0, canvas.width, canvas.height, gl.RGBA, gl.UNSIGNED_BYTE, pixels);

  // Send to VLM (e.g., Gemini Pro Vision, Claude 3.5 Sonnet, or local Florence-2)
  return describeScene(pixels, canvas.width, canvas.height);
}

async function describeScene(pixels, width, height) {
  const response = await fetch("/api/ai/describe-scene", {
    method: "POST",
    body: JSON.stringify({
      image: arrayBufferToBase64(pixels),
      width,
      height,
      prompt: "List all objects, their positions, and any readable text in this scene.",
    }),
  });
  return response.json(); // e.g., [{object: "chair", position: [1.2, 0, -0.5]}, ...]
}

Wann On-Device vs. Cloud zu verwenden ist

Empfehlung: Nutzen Sie On-Device für räumliches Verständnis in Echtzeit (Objekterkennung, Ebenenklassifizierung) und Cloud-VLMs für komplexe Abfragen („Was steht auf diesem Schild?“ oder „Finde meine Schlüssel“).

Praxisbeispiel

Die Aria-Brille nutzt On-Device SLAM + Cloud-VLM für kontextuelle AI-Unterstützung. Dasselbe Muster funktioniert mit der Meta Quest Pro, Apple Vision Pro oder jedem WebXR-fähigen Gerät mit Kamera-Pass-through.

Muster 2: Räumliche AI-Assistenten

Welches Problem es löst

Virtuelle Assistenten existieren heute in einem Chat-Fenster. In XR sollten sie im Raum existieren – verankert an einem echten Tisch, auf echte Objekte zeigend und sich ihrer physischen Umgebung bewusst.

Architektur

Spatial Anchor → LLM Context (scene description + user query) → LLM Response → TTS + Spatial Audio + Animated Avatar

Implementierung

// Create an AI assistant anchored to a real-world location
const assistantAnchor = await xrFrame.createAnchor(
  new XRRigidTransform(
    { x: 1.5, y: 1.2, z: -2.0 }, // position in room space
    { x: 0, y: 0, z: 0, w: 1 }, // facing user
  ),
  referenceSpace,
);

// Build context from the current scene understanding
const sceneContext = await getCurrentSceneDescription();
const userQuery = "What's that device on my desk?";

const response = await fetch("/api/ai/assistant", {
  method: "POST",
  body: JSON.stringify({
    query: userQuery,
    context: {
      scene: sceneContext,
      user_position: userPose.transform.position,
      assistant_position: assistantAnchor.position,
      conversation_history: recentMessages,
    },
  }),
});

// Render the assistant's response as speech + text
speakText(response.answer);
showSpeechBubble(response.answer, assistantAnchor);

Zentrale Design-Entscheidungen

1. Räumliches Gedächtnis (Spatial Memory) – der Assistent sollte sich zwischen den Sitzungen merken, wo sich Objekte befinden. Verwenden Sie eine räumliche Datenbank (z. B. PostgreSQL + PostGIS oder einen leichtgewichtigen R-Tree), um Ankerpositionen und deren semantische Bezeichnungen dauerhaft zu speichern.

2. Blickbewusstsein (Gaze Awareness) – tracken Sie, was der Nutzer ansieht, mittels WebXR Gaze oder Hand-Tracking. Übergeben Sie das betrachtete Objekt in den LLM-Kontext, sodass der Assistent auf die Frage „Was ist das?“ antworten kann, ohne dass explizit darauf gezeigt werden muss.

3. Turn-taking — nutzen Sie den WebXR-Mikrofonzugriff mit Voice Activity Detection (VAD). Zwingen Sie die Nutzer in VR nicht dazu, eine Taste zum Sprechen zu drücken.

// Gaze-aware query
function getGazedObject(frame, referenceSpace) {
  const gazeRay =
    frame.getJointPose?.(xrFrame, "gaze") || frame.getViewerPose(referenceSpace)?.transform;
  // Raycast into your spatial scene graph
  return scene.raycast(gazeRay);
}

Pattern 3: Neural Rendering und Szenenrekonstruktion

Was es löst

Hochwertige 3D-Rekonstruktionen aus spärlichen Kamera-Inputs ermöglichen persistente AR – Objekte bleiben an derselben Stelle, selbst wenn man den Raum verlässt und später zurückkehrt.

Der Stack

• Instant NGP / 3D Gaussian Splatting — Rekonstruktion einer Szene aus 2–5 Minuten Videomaterial
• WebGPU compute shaders — Echtzeit-Rendering von Splats direkt auf dem Gerät
• SLAM + NeRF fusion — Kombination von Echtzeit-Tracking mit neuraler Szenendarstellung

async function reconstructScene(videoFrames) {
  // Upload frames to reconstruction server (or run on-device with WebNN)
  const scene = await fetch("/api/xr/reconstruct", {
    method: "POST",
    body: videoFrames, // MP4 or frame sequence
  });

  // Receive back a 3D Gaussian splat scene representation
  const splatData = await scene.arrayBuffer();

  // Render with WebGPU
  const renderer = new GaussianSplatRenderer(device, context);
  renderer.uploadSplats(splatData);
  renderer.render(viewMatrix, projectionMatrix);
}

Self-hosted Inference

Für den produktiven Einsatz führen Sie die Rekonstruktion auf Ihrer eigenen GPU-Infrastruktur aus:

services:
  gaussian-splatting:
    image: ghcr.io/graphdeco-inria/gaussian-splatting:latest
    ports:
      - "7860:7860"
    volumes:
      - ./output:/output
      - ./input:/input
    deploy:
      resources:
        reservations:
          devices:
            - capabilities: [gpu]

Pattern 4: Voice-First XR-Interfaces

Was es löst

Tippen ist in VR extrem mühsam. Ein Voice-Interface mit NLP-Parsing ist die natürliche Eingabemodalität für immersive Umgebungen.

Implementierung

// Web speech API + LLM intent parsing
const recognition = new webkitSpeechRecognition();
recognition.continuous = true;
recognition.interimResults = true;

recognition.onresult = async (event) => {
  const transcript = event.results[event.results.length - 1][0].transcript;

  // Parse intent with a lightweight NLU model or LLM
  const intent = await fetch("/api/ai/parse-intent", {
    method: "POST",
    body: JSON.stringify({ text: transcript, context: currentSpatialContext }),
  });

  // Execute spatial commands
  switch (intent.action) {
    case "place_object":
      placeObject(intent.object, userGazePosition);
      break;
    case "resize":
      resizeSelectedObject(intent.scale);
      break;
    case "query":
      showInformationPanel(intent.query, userGazePosition);
      break;
  }
};

Alles zusammengefügt: Ein kompletter XR + AI Stack

## Complete Demo: Spatial Object Labeler

Below is a self-contained HTML page that combines WebXR, on-device object detection, and LLM-powered labeling. It captures the XR camera frame, runs a local ML model via WebNN (or falls back to a mock), and renders labeled bounding boxes in 3D space.

```html
<!DOCTYPE html>
<html>
  <head>
    <title>Spatial Object Labeler — XR + AI Demo</title>
    <script src="https://cdn.jsdelivr.net/npm/three@0.170.0/build/three.min.js"></script>
  </head>
  <body>
    <script>
      // ─── WebXR Setup ─────────────────────────────────────
      const renderer = new THREE.WebGLRenderer({ antialias: true });
      renderer.setSize(window.innerWidth, window.innerHeight);
      renderer.xr.enabled = true;
      document.body.appendChild(renderer.domElement);

      const scene = new THREE.Scene();
      const camera = new THREE.PerspectiveCamera(70, window.innerWidth / window.innerHeight, 0.1, 100);

      // ─── AI Integration ──────────────────────────────────
      async function detectObjects(frame, referenceSpace) {
        const viewerPose = frame.getViewerPose(referenceSpace);
        if (!viewerPose) return [];

        // Capture a canvas frame (simplified — production uses XRWebGLBinding)
        const canvas = document.createElement('canvas');
        canvas.width = 640; canvas.height = 480;

        // Mock detections for demo. In production, replace with a call to
        // a self-hosted VLM endpoint (e.g., Ollama + LLaVA, vLLM + Pixtral):
        //
        //   const response = await fetch('/api/ai/detect-objects', {
        //     method: 'POST',
        //     body: JSON.stringify({ image: canvas.toDataURL('image/jpeg', 0.8) })
        //   });
        //   return await response.json();
        return [
          { label: 'chair', confidence: 0.92, x: 0.5, y: -0.3, z: -1.2 },
          { label: 'table', confidence: 0.88, x: 0.8, y: 0.0, z: -1.5 },
          { label: 'laptop', confidence: 0.76, x: 0.3, y: 0.4, z: -0.8 }
        ];
      }

      // ─── Render Detections ───────────────────────────────
      function renderDetections(objects) {
        // Clear previous labels
        scene.children.filter(c => c.userData?.isLabel).forEach(c => scene.remove(c));

        for (const obj of objects) {
          const geometry = new THREE.SphereGeometry(0.05, 8, 8);
          const material = new THREE.MeshBasicMaterial({
            color: obj.confidence > 0.8 ? 0x00ff00 : 0xffaa00
          });
          const sphere = new THREE.Mesh(geometry, material);
          sphere.position.set(obj.x, obj.y, obj.z);
          sphere.userData.isLabel = true;
          scene.add(sphere);

          // Text label (using sprite)
          const canvas2 = document.createElement('canvas');
          canvas2.width = 256; canvas2.height = 64;
          const ctx = canvas2.getContext('2d');
          ctx.fillStyle = 'rgba(0,0,0,0.7)';
          ctx.fillRect(0, 0, 256, 64);
          ctx.fillStyle = 'white';
          ctx.font = '24px monospace';
          ctx.fillText(`${obj.label} (${(obj.confidence*100).toFixed(0)}%)`, 16, 44);

          const texture = new THREE.CanvasTexture(canvas2);
          const spriteMat = new THREE.SpriteMaterial({ map: texture });
          const sprite = new THREE.Sprite(spriteMat);
          sprite.position.set(obj.x, obj.y + 0.15, obj.z);
          sprite.scale.set(0.4, 0.1, 1);
          sprite.userData.isLabel = true;
          scene.add(sprite);
        }
      }

      // ─── Session Loop ────────────────────────────────────
      const session = await navigator.xr.requestSession('immersive-ar', {
        requiredFeatures: ['local']
      });
      renderer.xr.setSession(session);
      renderer.setAnimationLoop((timestamp, frame) => {
        if (frame) {
          const objects = await detectObjects(frame, renderer.xr.getReferenceSpace());
          renderDetections(objects);
        }
        renderer.render(scene, camera);
      });
    </script>
  </body>
</html>

Um dies selbst auszuführen:

1. Stellen Sie die Seite über HTTPS bereit (erforderlich für WebXR)
2. Deployen Sie einen VLM-Endpunkt unter /api/ai/detect-objects — oder lassen Sie den Mock-Modus laufen
3. Öffnen Sie die Seite auf einem WebXR-fähigen Gerät mit AR-Passthrough

Nächste Schritte

Um diese Muster in Ihren eigenen Projekten zu nutzen:

1. Starten Sie mit On-Device ML — WebNN und ONNX Runtime Web ermöglichen Echtzeit-Inferenz ohne Server-Latenz. Ideal für Objekterkennung, Hand-Tracking-Klassifizierung und Voice Activity Detection.
2. Fügen Sie ein Cloud-VLM für komplexe Abfragen hinzu — senden Sie nur strukturierte Szenendaten in die Cloud, niemals rohe Kamera-Frames. So bleibt die Latenz akzeptabel und die Privatsphäre gewahrt.
3. Bauen Sie den räumlichen Assistenten inkrementell auf — beginnen Sie mit der Platzierung von Anchors und einem einfachen LLM-Aufruf. Fügen Sie Gaze-Awareness und räumliches Gedächtnis hinzu, sobald die Basis funktioniert.
4. Messen Sie alles — die WebXR-Performance ist fragil. Profilieren Sie Frame-Zeiten, ML-Inferenzlatenz und Netzwerk-Roundtrips. Ein ausgelassener Frame in VR bedeutet Motion Sickness.
5. Hosten Sie Ihren AI-Stack selbst — das Betreiben von Ollama + vLLM auf Ihrer eigenen GPU bietet Ihnen kalkulierbare Kosten und volle Datenkontrolle. Informationen zum Setup finden Sie unter Self-Hosted AI Stack.

Datenschutzüberlegungen

XR + AI ist das sensorreichste Computing-Paradigma, das wir bisher entwickelt haben. Kameras sehen alles. Mikrofone hören alles. Modelle laufen überall.

1. Rohdaten der Sensoren direkt auf dem Gerät verarbeiten — nur strukturierte, anonymisierte Daten an Cloud-Modelle senden
2. Nutzerzustimmung pro Funktion — Kamera an/aus, Mikrofon an/aus, Scene Capture an/aus — jede Funktion unabhängig steuerbar
3. Datenaufbewahrungsrichtlinie — keine Speicherung von Raw Frames. Stattdessen strukturierte Scene Graphs speichern.
4. KI-Stack selbst hosten — die Inferenz auf der eigenen GPU behalten. Die oben genannten Muster funktionieren mit Ollama, vLLM und lokalen VLMs.

Weiterführende Literatur

• WebXR Hand Tracking — Grundlage für gestengesteuerte KI-Interaktionen
• WebXR Depth Sensing — Voraussetzungen für das räumliche Verständnis
• Self-Hosted AI Stack — die eigene Inferenz-Infrastruktur betreiben