Einführung in Virtual Reality

XR Performance: Real-Time Inference Optimization

Optimizing AI inference for XR devices — model quantization, NPU acceleration, hierarchical serving, bandwidth optimization for real-time 60fps rendering.

AI + XR Integration Patterns

Practical patterns for integrating LLMs, VLMs, and neural networks with immersive XR environments — from spatial AI assistants to real-time scene understanding.

Virtual Reality (VR) steht an der Schnittstelle von Computergrafik, menschlicher Wahrnehmung und Interaktionsdesign. Es geht nicht nur darum, einen Bildschirm vor das Gesicht zu schnallen – es ist die Kunst, das menschliche Gehirn davon zu überzeugen, dass eine computergenerierte Umgebung real genug ist, um sie zu bewohnen.

Was ist Virtual Reality?

Es gibt keine einzelne Definition. Drei einflussreiche Ansätze:

Ivan Sutherland (1965), der Vater der Computergrafik: "Im ultimativen Display wird man nicht durch ein Fenster auf diese Welt blicken, sondern in sie eintauchen."

Steve Bryson (1996): "Virtual Reality bezieht sich auf die Verwendung von dreidimensionalen Displays und Interaktionsgeräten, um computergenerierte Umgebungen in Echtzeit zu erkunden."

Thies Pfeiffer (2012): "Interaktiv generierte multimodale sensorische Wahrnehmungen 2. Ordnung, die von Menschen als Wahrnehmungen 1. Ordnung interpretiert werden."

Trotz der Unterschiede sind drei Merkmale universell: Immersion (die Wahrnehmung, in einer Umgebung präsent zu sein), Interaktion mit dieser Umgebung und Echtzeit-Reaktionsfähigkeit.

Grundlagen der Computergrafik

VR baut auf der Computergrafik auf. Jedes 3D-Objekt in VR besteht aus denselben Primitiven: Vertices (Punkten im 3D-Raum), Edges (Linien, die Vertices verbinden) und Faces (Dreiecken, die Oberflächen bilden). Die Utah Teapot – das "Hello World" der 3D-Grafik – demonstriert diese Konzepte.

Koordinatensysteme

Verschiedene Grafik-APIs verwenden unterschiedliche Koordinatensysteme:

Die Konvertierung zwischen den Systemen ist essenziell, wenn Assets aus verschiedenen Tools integriert werden.

Menschliche visuelle Wahrnehmung

Das Verständnis des menschlichen visuellen Systems ist entscheidend für den Aufbau einer komfortablen VR-Erfahrung.

Wichtige Einschränkungen:

• Das menschliche Auge hat eine zeitliche Auflösung von ~60 Hz – Bildraten unter diesem Wert verursachen sichtbares Flackern.
• Das natürliche Sichtfeld beträgt etwa 170° horizontal × 110° vertikal.
• Stereoskopisches Sehen beruht auf zwei versetzten Blickpunkten, um Tiefenwahrnehmung zu erzeugen.

Simulator Sickness

Wenn das visuelle System und das vestibuläre System (Gleichgewichtssinn) nicht übereinstimmen, entsteht Simulator Sickness. Die Symptome umfassen Übelkeit, Kopfschmerzen, Schwindel, verschwommenes Sehen und Müdigkeit – gemessen durch den SSQ (Simulator Sickness Questionnaire, Kennedy et al. 1993).

Strategien zur Minimierung: hohe Bildraten (≥90 Hz), präzises stereoskopisches Rendering, dynamische Anpassung des Sichtfelds während der Bewegung und die Minimierung der Latenz zwischen Kopfbewegung und Display-Aktualisierung.

Eine kurze Geschichte

Jaron Lanier wird oft als "Vater der VR" bezeichnet – er prägte den Begriff und gründete 1984 VPL Research, wo die erste kommerzielle VR-Hardware (der DataGlove und das EyePhone) produziert wurde. Vor Lanier verwendete Myron Krueger in den 1970er Jahren den Begriff "artificial reality" für seine interaktiven Installationen.

Wichtige Meilensteine:

• 1968: Ivan Sutherlands "Sword of Damocles" – das erste Head-Mounted Display.
• 1984: Gründung von VPL Research, Prägung des Begriffs "virtual reality".
• 1991: Virtuality-Arcade-Automaten bringen VR in die Öffentlichkeit.
• 2012: Oculus Rift Kickstarter entfacht das Interesse an Consumer-VR neu.
• 2016: HTC Vive und Oculus Rift CV1 führen Consumer-Room-Scale-VR ein.
• 2020: Oculus Quest 2 macht Standalone-VR massentauglich.
• 2024: Apple Vision Pro führt Spatial Computing im Massenmarkt ein.

Das Reality-Virtuality Continuum

Milgram und Kishino (1994) führten das Reality-Virtuality (RV) Continuum ein, das Umgebungen auf einem Spektrum anordnet:

Real ──── Augmented ──── Augmented ──── Virtual
Environment    Reality        Virtuality      Environment

Augmented Reality (AR) legt digitale Inhalte über die reale Welt (Smartphone-AR, HoloLens). Augmented Virtuality (AV) bringt Elemente der realen Welt in virtuelle Umgebungen. Virtual Reality (VR) ist vollständig immersiv und computergeneriert.

Rauschnabel et al. (2022) erweiterten dies auf "xR" – ein Oberbegriff, der VR, AR, MR (Mixed Reality) und alles dazwischen abdeckt.

VR-Geräte

Moderne VR-Geräte lassen sich in drei Kategorien unterteilen:

Motion Tracking

Tracking-Systeme bestimmen, wo sich der Kopf und die Hände des Benutzers im 3D-Raum befinden:

• Outside-in: Externe Sensoren (Kameras, Lighthouse-Basisstationen) tracken das Headset – hohe Präzision, begrenzter Spielbereich.
• Inside-out: Kameras am Headset tracken die Umgebung – kein externes Setup, geringere Robustheit bei Verdeckungen (Occlusion).
• 6-DoF (degrees of freedom): Position (X, Y, Z) + Orientierung (Pitch, Yaw, Roll) – die Mindestanforderung für immersive VR.

Immersion und Telepräsenz

Immersion ist die objektive, technische Fähigkeit eines VR-Systems: Display-Auflösung, Sichtfeld, Bildwiederholrate, Tracking-Präzision, Audioqualität.

Telepräsenz (oder "Presence") ist das subjektive Gefühl, "wirklich dort zu sein". Dies geschieht, wenn die technische Immersion gut genug ist, dass das Gehirn die Ungläubigkeit aufgibt (suspension of disbelief).

Hohe Immersion garantiert keine Präsenz, aber geringe Immersion macht sie nahezu unmöglich. Der "Sweet Spot": ≥90 Hz Refresh, ≤20 ms Motion-to-Photon-Latenz, ≥110° FOV und präzises positionales Audio.

Das Metaverse

Das Metaverse erweitert VR über einzelne Erfahrungen hinaus zu einem persistenten, vernetzten virtuellen Universum. Hauptmerkmale:

• Persistenz: Die Welt existiert und entwickelt sich weiter, unabhängig davon, ob man eingeloggt ist oder nicht.
• Interoperabilität: Assets und Identitäten können zwischen verschiedenen Erfahrungen bewegt werden.
• Ökonomie: Digitale Güter, Währungen und Eigentumsrechte (Blockchain/NFT-Layer).
• Soziales: Gemeinsame Räume für Interaktionen in Echtzeit.

Zu den großen kommerziellen Akteuren gehören Meta (Horizon Worlds), Epic Games (Fortnite-Ökosystem) und Apple (Vision Pro Spatial Computing Plattform).

Die vollständige Präsentation herunterladen

Für einen vollständigen Deep Dive mit Visualisierungen und weiteren Details laden Sie die Vorlesungsfolien der Universität herunter:

→ Download: Introduction to Virtual Reality (PDF)