Spatial Design Apple Vision Pro

Mit der Ankündigung von Apple Vision Pro hat Apple nach eigenen Angaben die Welt der Mixed Reality (MR), also Augmented Reality (AR) und Virtual Reality (VR), auf ein völlig neues Niveau gehoben. Softwareanbietern, Entwicklern und Designern bietet sich nun die aufregende Möglichkeit, räumliche Anwendungen zu entwickeln, die die physische und die digitale Welt nahtlos miteinander verbinden.

Das bedeutet, dass wir uns als Designer neue Dimensionen des Designs und der Interaktion erschließen müssen.

Ich habe mich intensiv mit Spatial Design, den bereits bekannten Informationen zur Apple Vision Pro und den von Apple dazu veröffentlichten Design Guidelines beschäftigt.

In diesem Artikel widme ich mich der Apple Vision Pro und den Apple Spatial Design Prinzipien und Guidelines. Ich beleuchte die sich neu eröffnenden Möglichkeiten, aber auch die Herausforderungen, die sich daraus für uns Concept Designer, bei der Entwicklung von Spatial Apps ergeben werden.

Lassen Sie uns also in die erweiterte Realität eintauchen und herausfinden, wie wir neue, immersive Benutzererlebnisse schaffen können.

Was bedeutet eigentlich AR,VR oder MR?

Zuerst einmal möchte ich die Grundlagen kurz erläutern:

• VR steht für Virtual Reality, also Virtuelle Realität. Eine VR-Brille ist daher eine Bildschirmbrille, die Nutzer*innen an einen anderen, Virtuellen Ort versetzt.
• AR: steht für Augmented Reality, also Erweiterte Realität. Eine AR-Brille ist somit eine Brille, die für die Nutzer*innen die Realität durch Einblendungen erweitert oder anreichert.
• MR: steht für Mixed Reality, also Gemischte Realität, teilweise auch als Hybrid Realität bezeichnet. Darunter versteht man, wenn die Realität durch virtuelle Bestandteile in einer Art erweitert wird, dass die Virtuellen Bestandteile ein real wirkender und sich real verhaltender Bestandteil der wahrgenommenen Realität werden.
• XR, oder Extended Reality (Achtung Verwechslungsgefahr bei der Übersetzung ins Deutsche!), ist ein neu aufkommender Begriff, der übergreifend alle zuvor beschriebenen Begriffe in sich vereinen soll.

Jetzt aber zur Apple Vision Pro und der Frage, wo sie sich denn nun einreiht.

Apple Vision Pro

Bevor wir uns mit Prinzipien und Guidelines befassen, ist es wichtig die grundlegenden Aspekte der Apple Vision Pro zu verstehen.

Laut Apple haben Nutzer*innen eine grenzenlose Leinwand zur Verfügung, auf der wir als Designer nahtlos virtuelle interaktive Inhalte anbieten können. Die Verbindung zur physischen Umgebung soll dabei erhalten bleiben und nur bei Bedarf vollständig getrennt werden.

Apple setzt das um, indem sie die Vision Pro mit ausgeklügelter Kamera- und Prozessortechnik ausgerüstet haben, die Umgebung abfilmt und in Echtzeit auf dem Bildschirm der Brille darstellen kann. Dies kann auch nur bereichsweise geschehen, um Realität und Virtualität zu vereinen.

Schauen wir uns nun die von Apple beworbenen Hauptmerkmale im Detail an:

Raum

Apple Vision Pro soll eine grenzenlose Leinwand bieten, auf der Benutzer*innen mit virtuellen Inhalten wie Fenstern, Volumen und 3D-Objekten interagieren können. Diese räumliche Freiheit eröffne endlose Möglichkeiten für kreative Erlebnisse und Interaktionen.

Immersion

Eines der herausragenden Merkmale von VisionOS soll die Möglichkeit sein, zwischen verschiedenen Immersionsebenen wechseln zu können. Apps sollen in einem Shared Space gestartet werden können, in dem mehrere Apps nebeneinander laufen können. Es soll aber auch möglich sein, einen Full Space zu betreten, in dem eine einzelne App im Mittelpunkt steht.

Durchblick

Der Durchblick Modus „Pass Through“ bietet Benutzer*innen ein Live-Video von den externen Kameras des Geräts, sodass sie mit virtuellen Inhalten interagieren können, während sie eine Verbindung zu ihrer physischen Umgebung aufrechterhalten. Benutzer*innen können den Durchblicksgrad mithilfe der Digital Crown steuern und somit die Kontrolle über ihre Umgebung behalten.

Räumlicher Klang

Apple Vision Pro kombiniert akustische und visuelle Sensortechnologien, um natürlichen Klang in der Umgebung der Benutzer*innen zu erzeugen. Apps können Informationen über die Umgebung der Benutzer*innen abrufen und den Ton entsprechend anpassen, um die Gesamtimmersion zu verbessern.

Fokus und Gesten

Die Interaktion mit Apple Vision Pro basiert hauptsächlich auf den Augen und Händen der Benutzer*innen. Benutzer*innen können sich auf virtuelle Objekte konzentrieren, um sie zu aktivieren, oft unter Verwendung von indirekten Gesten wie Tippen oder direkten Gesten wie Berühren von Objekten mit den Fingern. Diese einzigartige Eingabemethode bietet eine neue Möglichkeit, mit Inhalten zu interagieren.

Ergonomie

Um den Benutzerkomfort sicherzustellen, kann Vision OS Inhalte automatisch relativ zum Kopf des Trägers positionieren, unabhängig von ihrer Größe oder Haltung. Dadurch entfällt die Notwendigkeit für Benutzer*innen, ständig ihre Position anzupassen, um auf Inhalte zugreifen zu können, was ein entspannteres und angenehmeres Erlebnis ermöglicht.

Barrierefreiheit

Barrierefreiheit hat für Apple Vision Pro oberste Priorität, mit Unterstützung für Technologien wie VoiceOver, Switch Control, Dwell Control, Guided Access, Head Pointer und mehr. Dies stellt sicher, dass alle Benutzer*innen, unabhängig von ihren Fähigkeiten die Plattform genießen können. Systembereitgestellte UI-Komponenten verfügen über integrierte Barrierefreiheitsunterstützung, was es Entwicklern erleichtert, inklusive Erlebnisse zu schaffen.

Eye Sight

Durch den Durchblick Modus der Brille ist es den Nutzer*innen möglich Personen in ihrer Umgebung zu sehen und somit auch mit ihnen zu interagieren. Ein großes Problem hieran ist, dass es diesen Personen durch fehlenden Augenkontakt schwer fällt natürliche Konversationen zu führen. Apple hat die Vision Pro daher mit einem Mechanismus ausgestattet, der eine künstliche Transparenz der Brille erzeugt.

Die Brille ist mit einem Außen-Display ausgestattet, das eine Aufnahme der Augen darstellt und somit ein Gefühl von Augenkontakt erlaubt. Insgesamt hat man sich Mühe gegeben, die Brille möglichst wenig anmuten zu lassen, was sicherlich auch Mitgrund an der organischen Form der Brille ist.

Inwiefern die Apple Vision Pro von technischer Seite überzeugen wird, bleibt abzuwarten. Im Netz kursieren zum Beispiel Gerüchte, dass die Weite des Sichtfelds, welche eines der größten Mankos der aktuellen Generation von XR-Headsets ist, trotz des stolzen Preises, nicht größer sein wird als bei den aktuell am Markt verfügbaren Headsets. Insgesamt ist der Einblick, den Apple uns bisher gewährt, in vielen Details sehr begrenzt. Es gab nur wenige Personen außerhalb des Herstellers, die das Gerät, selbstverständlich hinter geschlossenen Türen, ausprobieren durften.

Die Erwartungen sind jedenfalls hoch; hoffen wir, dass Apple diese erfüllt. Von technischer Seite wissen wir, dass die Brille mit ihren rund 450 Gramm (den externen Akku ausgenommen) nicht wesentlich leichter werden soll als die derzeit etablierten Systeme. Selbst mit integriertem Akku sind viele Geräte im Wettbewerb kaum schwerer. Der Akku soll eine Laufzeit von 2 Stunden haben und via USB-C geladen werden können.

Da ein solches Gerät nicht nur technisch, sondern natürlich auch in der Nutzung überzeugen muss legt Apple uns Designern und Entwicklern eigene Design Richtlinien an die Hand, auf die ich im folgenden Abschnitt eingehen möchte.

Prinzipien

Die Grundlagen des Spatial Designs fasst Apple in 5 Prinzipien zusammen, die Entwicklern und Designern dabei helfen sollen immersive Erlebnisse zu schaffen:

• Vertrautheit
• Menschzentrierter Ansatz
• Dimensionalität
• Immersion
• Authentizität

Im Folgenden werde ich für jedes einzelne Prinzip Apples Vorgaben kurz darlegen und erläutern.

Vertrautheit:

Das Interface soll sich vertraut anfühlen, das heißt „flache Apps“ die aussehen wie man sie von iPad und Monitor kennt eingebettet in den 3D Raum. Dies kann dann angereichert werden um subtile Tiefen-Ebenen um Hierarchien darzustellen. Der eigentliche Inhalt sollte wie gewohnt flach bleiben. Das generelle Erscheinungsbild sollte ebenso vertraut wirken.  Icons, Abstände und Touch-Flächen sollten denen des iPads nachempfunden sein, um eben diese Vertrautheit aufzubauen.

Es empfiehlt sich, vertraute Elemente wie Sidebars, Tabs und Suchfelder zu verwenden, um sicherzustellen, dass die Benutzeroberfläche für die Nutzer*innen leicht erkennbar und bedienbar bleibt. Fenster werden als Teil der Umgebung behandelt und sollen für die Benutzer*innen wie ein natürlicher Bestandteil ihrer Umgebung erscheinen.

Die Nutzer*innen sollen hierdurch ein Interface vorfinden, das ihm von Anfang an vertraut, verständlich und benutzbar ist.

Um für bereits existierende Apps die Vertrautheit hochzuhalten, empfiehlt Apple, ein Kernfeature einer bestehenden App zu identifizieren und dieses mit allen Mitteln des Spatial Designs auszuspielen – und nur dieses Feature. Der Rest der App kann auf gewohntes zurückgreifen. So möchte Apple sicherstellen, dass bestehende Apps weiterhin plattformübergreifend funktionieren und Nutzer*innen sanft an die Vorzüge des Spatial Design herangeführt werden.

Menschzentrierter Ansatz

Der Fokus der Gestaltung sollte darauf liegen, wie Nutzer*innen das MR-Headset und die darauf laufenden Anwendungen nutzen. Zuerst ist das Sichtfeld zu betrachten, also das, was Nutzer*innen auf einmal erfassen kann. Das Sichtfeld ist gewöhnlich horizontal und sollte mittig bespielt werden, wo sich der natürliche Fokus befindet. Die Körperhaltung muss hier zwingend mit betrachtet werden. Auf der Couch liegend kann das Sichtfeld entsprechend höher und gewinkelt bespielt werden, wobei für jemanden der am Schreibtisch sitzt das Sichtfeld eher etwas niedriger liegt.

Wenn Nutzer*innen ihre Kopfhaltung verändern, sich zum Beispiel leicht drehen sollen sie die Möglichkeit haben die Anzeige entsprechend zu justieren, sodass diese sich der neuen Kopfhaltung anpasst. Fenster sollen den Blick nicht verfolgen, wenn Nutzer*innen den Kopf drehen, sondern fest im realen Raum verankert sein und nur nach Bedarf neu platziert werden können.

Fenster sollten sich nicht aufdrängen, indem sie zu nah angezeigt werden, sie sollten auf Distanz funktionieren und den Nutzer*innen Raum lassen. Wichtig ist hierbei, dass sie trotz der Distanz immer lesbar und bedienbar bleiben.

Interaktionen sollten nicht neu erfunden werden, sondern es sollte auf bekannte Interaktionen zurückgegriffen werden. So zum Beispiel das Öffnen oder Schließen der Finger als Interaktion, um Größen zu manipulieren. Nutzer*innen sollten Anwendungen stationär bedienen können und nicht dazu gezwungen sein, sich dabei allzu viel zu bewegen, um auf Dauer nicht zu ermüden.

Die Gestaltung von Spatial Apps sollte die menschliche Anatomie und Bewegung berücksichtigen. Die wichtigsten Inhalte sollten im Zentrum des Sichtfeldes platziert werden, und die Anordnung der Benutzeroberfläche sollte ergonomisch sein, um Benutzer*innen ein angenehmes und bequemes Erlebnis zu bieten.

Dimensionalität

Spatial Apps sollen den verfügbaren Raum optimal nutzen und gleichzeitig flexibel genug sein, um in verschiedenen Umgebungen funktionieren zu können. Dies bedeutet, dass Apps in unterschiedlichen Größen und räumlichen Anordnungen angepasst werden können.

Apps müssen im realen Raum verankert sein. Glas-Materialien, ob nahezu durchsichtig oder satiniert, bietet sich an, da sie sich einerseits in den Raum einfügen, sich andererseits gut eignen, um Elemente optisch zu verbinden.

Menü und Button-Leisten können näher am Betrachter angezeigt werden, um besser bedienbar zu sein, ähnlich wie Maus und Tastatur auch näher sind als der Monitor. Fenster und Menüelemente sollten Schatten werfen, um ihnen eine realistischere Erscheinung zu geben.

Um ein noch realistischeres Erlebnis zu erzeugen, sollten Inhalte Licht emittieren und den Raum somit leicht anstrahlen, so wie ein reales Display auch Licht abstrahlt.

Jetzt wird es etwas kontraintuitiv: Fenster sollten größer werden, wenn sie weiter weg dargestellt werden und entsprechend kleiner, wenn sie näher sind. Vergleichen kann man das am besten mit einer Kinoleinwand, die weit entfernt und sehr groß ist sowie dem Tablet-Display, das nah und klein ist.

Tiefe und Skalierung sollten genutzt werden, um Hierarchie und Fokus der Benutzeroberfläche zu beeinflussen. Objekte in der Ferne können groß und einladend sein, während nahe Objekte zur Interaktion einladen und leicht untersucht werden können. Zu viel Tiefe und Bewegung kann allerdings schnell überwältigen. Diese Faktoren müssen daher sehr bedacht eigesetzt werden. Zusammengehörige Objekte sollten auch in der Tiefe nah beieinander gehalten werden. Ein Popup-Fester sollte Nutzer*innen auch nicht ins Gesicht springen.

Immersion

Immersion kann in Spatial Apps auf unterschiedlichen Ebenen stattfinden:

Ein Fenster, das vor der Nutzenden Person schwebt, realistisch eingebettet in die reale Umgebung

Eine Panorama-Leinwand, die Nutzer*innen zu 180° umschließt

Die vollständig umschließende VR-Experience

Je nach Kontext sollten diese unterschiedlichen Ebenen genutzt werden. Das Browsen von Apps beispielsweise sollte eigebettet im realen Raum geschehen und je mehr man sich fokussiert um so stärker sollte der Fokus auch visuell unterstützt werden. Angefangen beim Abdunkeln des umgebenden Raumes, bis hin zur vollen VR-Umgebung.

Das Hörerlebnis trägt einen großen Anteil zur Immersion bei. Räumliches Audio und atmosphärische Klänge sollten daher zum Einsatz kommen.

Authentizität

Der wichtigste Punkt ist es Apps zu entwickeln, die sich in der Plattform entsprechend authentisch anfühlen. Das heißt Apps müssen fesselnd und immersiv, sowie im Kontext des Gerätes sinnvoll sein.

Zusätzlich zu diesen grundlegenden Guidelines hat Apple ein Video zum Thema Spatial Interaction veröffentlicht, auf dessen Inhalt ich im Nächsten Abschnitt eingehen möchte

Spatial Interaction

Ein entscheidender Punkt bei immersiven Anwendungen ist die Interaktion, die wie bei jeder anderen Hardware auch möglichst ergonomisch sein sollte. Im VR und auch AR-Kontext spielt darüber hinaus die Sicherheit eine große Rolle. Auch das Thema Barrierefreiheit sollte nicht zu kurz kommen. Hierfür ergeben sich mit der Vision Pro einige neue Möglichkeiten.

Apple hat hierzu die Spatial Input Guidelines veröffentlicht die ich nachfolgend zusammenfasse.

Komfort und Ergonomie

Um ein gutes Nutzererlebnis zu liefern, muss sichergestellt werden, dass Interaktionen für Benutzer*innen komfortabel sind.

1. Eine angenehme Positionierung der Arme und eine Minimierung der Nacken- und Körperbewegung ist zu beachten, um Anstrengungen zu vermeiden.
2. Der Hauptinhalt ist im Zentrum des Blickfeldes zu halten
3. Tiefenwechsel sind möglichst reduziert zu verwenden, um die Augenermüdung gering zu halten.
4. Ermüdende Haltungen, wie zum Beispiel durch das in der Luft halten der Hände sind mit Bedacht einzusetzen.

Blickrichtung und Anvisieren

Der Blick kann als mächtiges Mittel genutzt werden, um Eingaben zu machen. Durch Anvisieren von Elementen können diese selektiert und anschließend genutzt werden. Die Augen sind ein präziser Zielmechanismus und sollten als solcher durch Anwendungen genutzt werden. Um sicher zielen zu können sollten möglichst runde bzw. abgerundete Formen verwendet und scharfe Kanten vermieden werden. So wird die Aufmerksamkeit in die Mitte der Objekte gelenkt und das Anvisieren erleichtert. Hover-Effekte, die die Interaktivität anzeigen, erleichtern die Bedienung hierbei immens.

Skalierung und Ausrichtung

Es gibt bei Vision OS zwei Arten der Skalierung. Die „natürliche“ Skalierung, von Apple „fixed scaling“ getauft die Elemente kleiner werden lässt wenn man sich von ihnen entfernt. Außerdem das „dynamic scaling“ welches dafür sorgt, dass Elemente wie App-Fenster größer werden, wenn man sie weiter von sich weg platziert, was es ermöglicht, Inhalte wie auf großen Leinwänden anzuzeigen, ohne Leserlichkeit und Nutzbarkeit zu beeinträchtigen. Bedienbare Elemente sollten konsistent in Richtung der Nutzer*innen ausgerichtet sein, um stets lesbar und nutzbar zu sein.

Gestensteuerung

Das System beinhaltet Standardgesten, die nach Möglichkeit genutzt werden sollten. Das Nutzen von zusätzlichen Gesten sollte beim Entwickeln von Apps auf ein Minimum reduziert werden. Bei dem Entwerfen von benutzerdefinierten Gesten ist darauf zu achten, dass diese nicht nur einfach auszuführen, sondern ebenso einfach zu erklären und erlernen sind. Konflikte und zu starke Ähnlichkeiten zwischen benutzerdefinierten Gesten und Systemgesten sind zu vermeiden. Bedürfnisse von Benutzer*innen mit Behinderungen sollten berücksichtigt werden, um eine barrierefreie Nutzung sicherzustellen.

Taktile Interaktion (Berühren von UI-Elementen)

Es ist zu berücksichtigen, dass Berührungsinteraktionen mit der Zeit ermüdend sein können. Diese Art der Interaktion eignet sich für Anwendungen, bei denen die körperliche Aktivität im Zentrum des Nutzungserlebnisses steht. Der Mangel von taktilem Feedback sollte durch andere Signale kompensiert weden. Hierzu eignen sich visuelle und akustische Signale.

Fazit

Mit Einführung der Apple Vision Pro möchte Apple ein neues Kapitel in der Welt der Extended Reality beginnen. Die nahtlose Kombination von AR und VR eröffnet Designern und Entwicklern aufregende Möglichkeiten immersive Nutzererlebnisse zu schaffen.

Apples Spatial Design Guidelines geben eine gute Unterstützung, allerdings wohl bewusst relativ offengehalten. Das große kreative Feld, das sich auftut, durch strenge Richtlinien einzuschränken, wäre, auch aus Businesssicht, sicher nicht hilfreich. Die Technologie scheint auf den ersten Blick vielversprechend, aber es bleibt abzuwarten, wie das Endprodukt aussehen wird. Es gibt kritische Stimmen, die z.B. „Eyesight“ als unheimlich beschreiben. Auch die Akkulaufzeit von bis zu 2 Stunden ist relativ begrenzt und der Gedanke sich durch die Brille abgeschottet in soziale Interaktion zu begeben fühlt sich zumindest im Gedankenspiel noch falsch an. Das heißt aber nicht, dass es nicht genau die richtigen Anwendungsfälle für diese Hardware gibt.

Diese zu identifizieren und die dafür passenden Anwendungen zu entwickeln wird wirklich ein neues Kapitel für uns aufschlagen. Für mich als Konzeptdesigner sind die vorgestellten Features und die sich daraus ergebenden neuen Möglichkeiten der Gestaltung jedenfalls ein Grund zu großer Vorfreude.