Augmented Reality: Der Heilsbringer für eine neue Generation Videospiele?

Wir schreiben das 1966. Acht Jahre, bevor Star Trek die Idee des Holodecks einem Massenpublikum näherbringt, stellt der US-Wissenschaftler Ivan Sutherland das sogenannte Sword of Damocles vor. Gemeint ist eine sperrige, auf dem Kopf zu tragende Apparatur, die es dem Benutzer gestattet, computergeneriete Inhalte - in diesem Fall simple Drahtgittermodelle - in sein eigenes Sichtfeld einzublenden und dadurch seine eigene Realität mit digitalen Elementen anzureichen. Für damalige Verhältnisse eine Sensation.

Bis der Begriff "Augmented Reality" geläufiger wird, dauert es jedoch noch bis zum Jahr 1992. Zu diesem Zeitpunkt nämlich erfindet Louis Rosenberg - seines Zeichens Stanford-Doktorand und Mitarbeiter beim U.S. Air Force Research Laboratory - die sogenannten Virtual Fixtures. Die Idee: Mithilfe einer komplexen Kombination aus Headset und Roboterarmen sollten Chirurgen dazu befähigt werden, operative Eingriffe effizienter durchführen zu können. Ging es beispielsweise darum, eine Nadel besonders präzise in einem vorher definierten Punkt am Körper des Patienten zu injizieren, unterstützten die Virtual Fixtures den Operateur durch Einblendung eines dreidimensionalen Trichters sowie durch Vibrationsfeedback. Das beinahe unglaubliche Ergebnis laut Rosenberg: Weil reale Eindrücke und virtuell dargestellte Information so effektiv miteinander verschmolzen, konnte die Präzision der Chirurgen um bis zu 70 Prozent gesteigert werden.

Von der Nische zum Massenmarkt

Zur Jahrtausendwende, sprich im Jahr 2000, hält das Konzept der erweiterten Realität schließlich auch im Gamingsektor Einzug. Auf dem "International Symposium on Wear­able Computers" stellen Bruce H. Thomas und sein Team von der University of South Australia ihr "Outdoor Mobile"-Augmented-Reality-Spiel vor. Das Ganze hört auf den Namen ARQuake und erlaubt es dem Spieler, seine reale Umgebung zu erkunden, während aus allen Himmelsrichtungen Monster aus dem Ego-Shooter Quake auf ihn einstürmen. Technische Grundlage der schrägen Ballerei für unterwegs sind ein tragbarer Rucksack-PC, eine Lichtpistole, diverse GPS- und Lagesensoren sowie ein Head-Mounted Display. Wichtiges Detail am Rande: Im Vergleich zu VR-Brillen schirmen Head-Mounted Displays den Nutzer nicht von seiner Außenwelt ab, sondern überlagern lediglich den Blick auf die tatsächliche Umgebung mit Bilddaten des gekoppelten Ausgabegeräts. Quelle: PC Games Table Football war eines der ersten Augmented-Reality-Spiele für Playstation Vita. Im Hintergrund gut zu erkennen: einige Kaffeetassen. (Quelle: Sony Interactive Entertainment)  

Keine Frage, die eben skizzierte Hardware ist damals noch ziemlich experimentell. Mit dem Siegeszug kamerabestückter Smartphones sowie dem Aufkommen erster Tracking-Bibliotheken wie ARToolKit (entwickelt 1999 von Hirokazu Kato vom Nara Institute of Sci­ence and Technology), erreichen Augmented-Reality-Anwendungen gleichwohl eine immer breitere Zielgruppe.

Ein erstes Indiz für diesen langsam einsetzenden Trend ist die Veröffentlichung des Nintendo 3DS im Jahr 2011. Was viele nicht wissen: Jeder 3DS wurde schon damals mit sechs sogenannten Augmented-Reality-Karten ausgeliefert. Platziert man sie auf einem Tisch und folgt den Anweisungen der vorinstallierten App AR Games, erscheinen unter anderem Mario, Link und Samus als hübsch animierte 3D-Figuren, die man nun aus jedem Blickwinkel betrachten kann. Sinn und Zweck der AR-Karten aus technischer Sicht? Letztendlich dienen sie den 3DS-Kameras als Orientierungspunkt, damit die 3D-Figur je nach Perspektive und Abstand korrekt skaliert wird und dadurch der Eindruck entsteht, Mario und Co. wären tatsächlich anwesend.

Quelle: PC Games Virtual Fixtures von Louis Rosenberg gilt als die erste kommerziell eingesetzte AR-Anwendung. (Quelle: Wikipedia/WCS100) Aber auch Sony findet im Jahr 2012 zusehends Gefallen an der erweiterten Realität und legt seiner neuen Mobilkonsole PS Vita ebenfalls sechs AR-Karten bei. Drei passende Spielerfahrungen gibt's zeitnah und kostenlos in PSN Store als Download dazu. In Cliff Diving etwa müssen wir unsere AR Cards clever im Raum platzieren und auf diese Weise Sprungtürme erschaffen, mit deren Hilfe ein gewisser Diver Dan seiner Klippenspringerleidenschaft frönen kann. In Fireworks hingegen interagieren wir mit knallbunten Feuerwerkskörpern, und in Table Football mutiert der Esszimmertisch zum Fußballfeld.

Dann wäre da noch Wonderbook für die PS3, ein kinderfreundliches Kleinod von SCE London Studio. Der Clou hier: Anstatt AR-Karten in die Kamera zu halten, klappt man einfach ein Buch mit speziellen Markierungen auf und legt es so auf den Boden, dass die Playstation-Kamera es sehen kann. In Privatdetektiv Diggs etwa erwachen sodann kleine Krimi­szenarien vor unseren Augen zum Leben, während in Das Buch der Zaubersprüche fleißig gehext werden darf - mit Move-Controller als Zauberstab, versteht sich. Weil die Playstation-Kamera die vorm Fernseher sitzenden Spieler filmt, entsteht bei Wonderbook außerdem stets die schöne Illusion, tatsächlich in eine Videospielwelt teleportiert worden zu sein.

Pokémon GO: AR für jedermann

Streng genommen sind ARQuake, Cliff Diving, Wonderbook und Co. jedoch nur die Vorboten für etwas viel, viel Größeres, das die Branche nachhaltig verändern würde. Denn am 6. Juli 2016 kommt die Mo­bile-Anwendung Pokémon GO auf den Markt und bricht mit mehr als 100 Millionen Downloads allein im ersten Monat (und 750 Millionen nach einem Jahr) alle Rekorde. Grund für den Mega-Erfolg? Zum einen natürlich der für viele ungewohnte "Man muss zum Spielen rausgehen"-Faktor. Zum anderem aber sicherlich auch die Augmented-Reality-Komponente, die mit dem Modus AR+ kürzlich Quelle: PC Games Ein weiterer AR-Titel für die PS Vita hört auf den Namen Cliff Diving und dreht sich ums Thema Turmspringen an verrückten Orten – auf dem Frühstückstisch zum Beispiel. (Quelle: Sony Interactive Entertainment) noch mal kräftig aufgepeppt wurde.

Heißt konkret: Die Pokémon erscheinen nun nicht mehr nur einfach so im Display der Kamera des Smartphones, sondern suchen sich einen fixen Punkt in der Landschaft und setzen sich dort hin - etwa auf einen Stein, eine Bank oder einen Baumstamm. Was die Illusion von Präsenz natürlich verstärkt. Positiver Nebeneffekt: Durch den Fixpunkt weiß das einzufangende Pokémon sehr genau, wo sich der Spieler befindet und kann entsprechend reagieren. Etwa, indem es nervös wird, wenn jemand ihm zu schnell zu nahe kommt. Letztgenannte Details mögen banal klingen, werden in Zukunft aber entscheidend sein, um für glaubhafte AR-Gaming-Erlebnisse zu sorgen.

Doch nicht nur Niantic und andere findige App-Entwickler setzen derzeit große Hoffnungen in AR. Auch Microsoft möchte in Zukunft ein großes Stück vom Kuchen abhaben und untermauert diesen Anspruch bereits seit März 2016 mit der Veröffentlichung der HoloLens. Herzstück des ca. 579 Gramm Quelle: PC Games Jurassic Park: Alive soll noch im Sommer 2018 erscheinen und will im wahrsten Sinne des Wortes in die Fußstapfen von Pokémon GO treten. Dass die Saurier so gut aussehen wie auf diesem Screenshot, wagen wir allerdings zu bezweifeln. (Quelle: Universal) schweren Head-Mounted Displays sind eine IMU-Einheit (Kombination aus Beschleunigungssensor, Gyroskop und Magnetometer), eine eigenständig operierende Recheneinheit bestehend aus CPU, GPU und HPU (Holo Processing Unit) sowie vier hochsensible Sensoren (Tiefenkamera, Videokamera, Mikrofon-Array, Lichtsensor). Letztere tasten - Kinect lässt grüßen - zunächst den Raum ab und erstellen daraus eine Art 3D-Karte der Umgebung. HoloLens weiß also, wo im Raum sich Objekte und Wände befinden und kann diese Information nun an die Software weitergeben.

Auf welche Art und Weise Spiele von so viel Sensor-Hightech profitieren, zeigt unter anderem RoboRaid von Indie-Entwickler Against Gravity eindrucksvoll. Ausgangssituation des Arcade-Shooters: Nach einer kurzen Introsequenz bohren sich an verschiedenen Stellen im Zimmer dreieckig geformte Raumschiffe von außen kommend durch die Wand - und zwar perspektivisch absolut korrekt dargestellt und perfekt an den Flächen des Raums ausgerichtet. Zusätzliche Dramatik erhält das Spektakel durch die Tatsache, dass wenig später skorpionähnliche Miniroboter aus den Raumschiffen krabbeln und sofort zum Angriff übergehen. Bestes Gegenmittel: Ständig in Bewegung bleiben und mit gezielten Laserattacken zurückschlagen. Doch das ist leichter gesagt, als getan, denn die Invasoren brechen an immer neuen Stellen durch, schicken in regelmäßigen Abständen Verstärkungstruppen und verstecken sich zuweilen sogar in den Einschlusslöchern bereits in Mitleidenschaft gezogener Wandabschnitte. Adrenalin pur! Und vor allem in den ersten zehn Minuten so spaßig, dass wir das kleine Sichtfeld und andere Kinderkrankheiten der HoloLens schnell vergessen.

Welche Art von AR-Games in Zukunft möglich sein könnten, demonstriert außerdem Young Conker vom französischen Entwickler Asobo Studio (A Plague Tale: Innocence). Zur Erinnerung: Das rotzfreche Eichhörnchen Conker wurde ursprünglich von Rare erdacht und verdiente sich zu Nintendo-64-Zeiten in Conker's Bad Fur Day seine Sporen. In Young Conker spielt man nun - der Name verrät es bereits - eine jüngere Version eben dieses Hüpfspielhelden. Klassische Levels gibt es hier allerdings nicht, vielmehr dient das zuvor von den HoloLens-Sensoren gescannte Zimmer als Abenteuerspielplatz, in dem bestimmte Aufgaben zu meistern sind. Münzen sammeln, Fallen ausweichen, Schlüsselkarten finden, Trampoline benutzen - solche Sachen. Gesteuert wird Conker dabei mithilfe eines blauen Cursors, der unserer Blickrichtung folgt. Alle übrigen Dinge erledigen wir mittels Sprachbefehl. Soll das Fellknäuel beispielsweise stehen bleiben, genügt ein kurzes "Stopp". Soll es weitergehen, müssen wir einfach "Let's go" sagen. Allzu komplex wird Young Conker zwar zu keiner Zeit, aber die Tatsache, dass ein Spiel Möbel einscannt und als Grundlage für das Layout eines Jump'n'Run-Levels nutzt, begeistert. Lob gibt's zudem für die zahlreichen Slapstickanimationen. Wenn Eichhörnchen Conker beispielsweise kurz vor einer Regal- oder Sofakante zum Stehen kommt, beginnt er zu balancieren und mit den Armen zu rudern.

Zugegeben, mit einem Preis von 3.299 Euro für die Developer Edition und einem starken Fokus auf Businessanwendungen kommt die HoloLens für Gamer als Plattform derzeit kaum infrage. Nichtsdestotrotz besteht Hoffnung, dass Microsoft das Produkt - sobald der AR-Markt weiter an Fahrt aufnimmt und Komponenten im Preis sinken - auch in einer günstigeren, technisch weiter verbesserten Consumer Edition anbietet.

Die AR-Rubriken füllen sich

Um interessante AR-Spiele und -Apps zu erleben, braucht es heute natürlich nicht zwingend eine HoloLens. Im Gegenteil: Seit Apple im September 2017 sein neues Betriebssystem iOS 11 veröffentlichte und zeitnah dazu den Zugriff auf das sogenannte ARKit ermöglichte, ist die Zahl an Augmented-Reality-Inhalten im App Store spürbar angestiegen. Paradebeispiel für ein hochwertiges AR-Spiel ist dabei sicherlich The Machines von Quelle: PC Games Sonys Wonderbook für die PS3 erfordert Playstation Move sowie die PS3-Kamera und war im Grunde genommen das erste AR-Spiel, das man auch zu Hause am Fernseher erleben konnte. (Quelle: Sony Interactive Entertainment) Directive Games. Der Gameplay-Grund gedanke hier: Ähnlich wie in Command & Conquer schlüpft der Spieler in die Rolle eines Generals, der eine Vielzahl an futuristischen Truppen befehligt - immer mit dem Ziel vor Augen, die feindliche Basis am anderen Ende der Karte zu überrennen.

Bevor es losgeht, müsst ihr noch das Spielfeld kalibrieren, welches AR-typisch zum Beispiel ein großer Teppich, ein Tisch oder ein Bett sein kann. Im Anschluss gilt: Ihr seht immer nur den Teil des virtuellen Schlachtfelds, den ihr gerade mit eurer iPhone-Kamera anvisiert. Wer seine Truppen also aus der Nähe oder von der Seite begutachten möchte, muss das Handy dicht an den vorher definierten Spielfeldbereich bewegen. Bewegt man sich hingegen weiter vom Spielfeld weg, werden auch die Figuren und Fahrzeuge kleiner. Klingt für AR-Neulinge seltsam, sorgt aber für eine angenehme Hektik und jede Menge körperliche Aktivität, die reguläre Smartphone-Spiele in dieser Form nicht vermitteln können. Superwaffen, ein Mehrspielermodus, weltweite Ranglisten und hochauflösende 4K-Texturen runden den AR-Geheimtipp ab.

Oder wie wäre es mit Amon (Skulpturen zusammenpuzzeln), Kidu (Turm erklimmen), Eucli­dean Lands (3D-Puzzles lösen), AR Stack (Klötzchen stapeln), Splitter Critters (Aliens retten) und Zombies Gunship Revenant (Untote aus der Luft niedermähen)? Alle sechs Titel sind sehenswerte Augemented Reality-Empfehlungen, die zudem ein gutes Gefühl dafür vermitteln, was in naher Zukunft funktionieren könnte und was nicht. Quelle: Magic Leap Die Magic Leap One zeigt großes Potenzial, soll aber in der Anfangsphase noch deutlich mehr als 1.000 Euro kosten. Bis die Technik massenmarkttaugliche Preise erreicht, wird es wohl noch einige Jahre dauern. (Quelle: Magic Leap)

Lichtschwertduelle im Wohnzimmer

Nicht unerwähnt sei außerdem Star Wars: Jedi Challenges, ein hippes AR-Spiel, bei dem wir im heimischen Wohnzimmer gegen Hologramme von Kylo Ren, Darth Vader und anderen Vertretern der dunklen Seite in hitzigen Lichtschwertduellen antreten. Wichtigstes Alleinstellungsmerkmal: Als Waffe für den zentralen Spielmodus dient der sogenannte Lightsaber Controller, den man zunächst in Kombination mit dem Lenovo Mirage AR-Headset, einem LED-Peilsender und anderen Zubehörteilen für stolze 199 Euro erwerben muss. Benötigt wird darüber hinaus eines von insgesamt 16 kompatiblen Smartphones, darunter zum Beispiel die aktuellen iPhones, das Samsung Galaxy S8 oder das Google Pixel. Einmal eingerichtet, stehen dann entweder Holo-Schach, strategische Schlachten oder eingangs erwähntes Säbelrasseln auf der Agenda. Für Star Wars-Fans eine Mordsgaudi! Schade nur, dass das Zubehörset lediglich mit diesem Spiel funktioniert und bisher auch keine weiteren Titel angekündigt wurden.

Erschafft Magic Leap die Zukunft?

Wenn Branchenvertreter über die Zukunft von Augmented Reality fachsimpeln, dann kommen sie früher oder später immer auch auf Magic Leap zu sprechen. Kein Wunder, denn das Tech-Startup mit Hauptsitz in Florida sowie Zweigstellen an zehn Standorten weltweit konnte seit seiner Gründung im Jahr 2011 mehr als zwei Milliarden Dollar an Finanzierungsgeldern einsammeln. Zu den Investoren zählen dabei unter anderem Big Player wie Google, die Alibaba Group, J.P. Morgan und ein staatlicher Investmentfond aus Saudi-Arabien. Ausschlaggebend für die allgegenwärtige Euphorie? Quelle: PC Games Mit Fantasiewaffen Blechbüchsen zerbröseln: Dr. Grordbort’s Invaders, vermutlich ein Starttitel für die Magic Leap One, sieht in Bewegung einfach sensationell aus. Unbedingt mal auf Youtube ansehen! (Quelle: Magic Leap) Ganz einfach, Magic Leap arbeitet an einem tragbaren Computer, der eine völlig neuartige Displaytechnik namens "Digital Lightfield" einsetzt. Laut Magic Leap erzeugt ein Lichtfeldchip im Gerät dabei sogenannte Silicon-Photonen, mit deren Hilfe dann ein digitales Lichtfeld in die Augen des Anwenders projiziert wird. Vorteil dieser Methode: Das Gehirn verarbeitet die so erzeugten digitalen Objekte wie Objekte aus der realen Welt, was letztendlich dazu führt, dass man die Brille sehr lange am Stück tragen kann.

Hinzu kommt: Genau wie Microsofts HoloLens verfügt auch Magic Leap über clevere Sensoren, die Oberflächen, Ebenen und Objekte im Raum erkennen und Bildinformationen daran ausrichten können. Besser noch: Die Interaktion mit Magic-Leap-Inhalten erfolgt je nach Gusto über Sprachsteuerung, Gesten, Kopfbewegungen, Eye-Tracking und/oder den mitgelieferten Einhand-Touchpad-Controller.

Auf technischer Ebene spricht der Hersteller von "Gaming-Quality Graphics" und illustriert das Ganze mit einem kurzen, aber recht beeindruckenden Gameplay-Video. Alles beginnt an einem Schreibtisch. Der Nutzer blickt auf seine Tastatur und einige Kaffeetassen, als plötzlich eine neue E-Mail aufploppt. Zwei kurze Handbewegungen genügen, schon ist alles überprüft und die ins Sichtfeld eingeblendete E-Mail-App wieder geschlossen. Leicht gelangweilt startet der Büromitarbeiter zur Zerstreuung nun ein Spiel namens Dr. Grordbort's Invaders - und der Zuschauer staunt nicht schlecht. Denn was jetzt kommt, lässt Microsofts HoloLens ziemlich alt aussehen. An einem Tisch kann der Spieler nach Quelle: PC Games Faszinierend: Spielt man Minecraft mit HoloLens, tauchen Teile der Spielwelt korrekt positioniert auf dem Tisch, der Couch und anderen Möbeln des Zimmers auf. (Quelle: Microsoft)
  verschiedenen, sehr aufwendig modellierten In­game-Waffen greifen. Der gewünschte Einkauf wird automatisch mit Credits bezahlt und dann rücken auch schon die ersten Widersacher durch sich öffnende Luken in der Decke an. Die Musik wird schneller, der Held feuert hektischer, verdient sich zur Belohnung ein Wachgeschütz und platziert es am Boden vor ihm. Sekunden später schließlich das große Finale: Ein riesiger Panzer bricht durch die Bürowand, richtet sein Hauptgeschütz auf den Spieler aus, feuert und ... Schnitt, die beeindruckende Demo ist vorbei.

Sieht so also die Zukunft des Gaming mit Augmented Reality aus? Müssen wir in ein paar Jahren nur noch eine schicke AR-Brille überstülpen, um Sekunden später in fantastische Welten abzutauchen, die direkt in unsere Wohnung projiziert werden? Werden die AR-Brillen den Mobiltelefonen eines Tages vielleicht sogar den Rang ablaufen? Sollte der gerade einmal 95 Sekunden lange Trailer von Magic Leap zutreffen, dann kann man diese Frage womöglich bald mit "Ja!" beantworten. Das Problem: Im Gegensatz zu Microsofts HoloLens und Co. wirkt die Magic Leap One noch immer wie ein Buch mit sieben Siegeln, zu dem praktisch keinerlei Erfahrungsberichte vorliegen. Fest steht nur: Die Wunderbrille soll noch in diesem Jahr erscheinen und in jedem Fall über 1.000 Euro kosten, vermutlich sogar deutlich mehr. Sollte dies zutreffen - wovon bei so viel Hightech-Komponenten auszugehen ist -, dann wird die AR-Revolution wohl noch ein bisschen länger auf sich warten lassen. Macht aber nichts, denn gut Ding braucht eben Zeit.

Artikel teilen

Augmented Reality: Heilsbringer für neue Generation? Spätestens seit dem Hype um Pokémon GO ist Augmented Reality auch in der Gamingwelt zu einem echten Trendthema geworden. Wir beleuchten die Anfänge der erweiterten Realität, skizzieren den Status quo und blicken in die Zukunft. Hat AR-Gaming wirklich das Potenzial, der gesamten Branche völlig neue Impulse zu geben? Oder wird es das gleiche Schicksal erleiden wie Kinect, 3D-TVs und Co.?

Per E-Mail versenden