Blog

DeepSight – Ein Blick in die Zukunft von Augmented Reality

Ronja Scherz
Ronja Scherz
24. März 2017

Festo-DeepSight-Teaser

Ein Schichtführer steht in einer großen Maschinenhalle und überwacht die Produktion. Von seinem Standpunkt aus kann er die gesamte Halle überblicken. Er hat keinen Laptop bei sich, auch kein Tablet, nicht einmal ein Smartphone. Stattdessen trägt er eine unscheinbare Brille und lässt den Blick langsam über die einzelnen Maschinen schweifen. Lässt er seinen Blick auf einer der Maschinen ruhen, so öffnet sich in seinem Sichtfeld ein Fenster, das die wichtigsten Informationen zum aktuellen Status der Maschine enthält. Der Schichtführer kann so kontrollieren, an welchem Auftrag die Maschine gerade arbeitet, wie hoch die bereits produzierte Stückzahl ist und ob alle Werkzeuge fehlerfrei funktionieren. Wendet er seinen Blick von der Maschine ab, so verschwindet das Fenster wieder und er kann sich erneut frei in der Halle umschauen.

Eine vielversprechende Vision, aber ist sie auch realistisch? Mit dem heutigen Stand der Technologie (März 2017) muss man wohl sagen: „Leider noch nicht.“
 

Update 2018: Mittlerweile finden die Ergebnisse dieser Studie bereits Eingang in konkrete Augmented Reality und Virtual Reality Projekte. Informieren Sie sich hier über unsere 3D Dienstleistungen.

 

Doch die Fortschritte von Unternehmen wie Microsoft, Magic Leap oder auch DAQRI bei der Entwicklung von entsprechenden Brillen legen nahe, dass Augmented Reality bereits in naher Zukunft einsatzbereit sein wird. Dies bedeutet einen gewaltigen Schritt hin zur Industrie 4.0: Über den gesamten Produktherstellungsprozess hinweg könnten Werker bei ihrer täglichen Arbeit unterstützt werden. Doch wie können wir diese neue Technologie nutzen? Wie können wir schon jetzt Erfahrungen sammeln, um beim Erscheinen der einsatzfähigen Geräte benutzerfreundliche Anwendungen entwickeln zu können, mit denen sich Augmented Reality effizient und effektiv in den Arbeitsalltag integrieren lässt?

Mit dem Projekt DeepSight haben wir bei Centigrade einen Weg gefunden, schon jetzt Augmented Reality Anwendungen zu prototypen und dabei zugleich auch mögliche Vorteile dieser vielversprechenden Technologie erkennen und nutzen zu lernen. Dazu haben wir auf eine andere Technologie zurückgegriffen, die in diesem Kontext überraschend wirken könnte: Virtual Reality.

 

 

Warum nicht gleich mit AR arbeiten?

Seit dem Erscheinen der HoloLens im letzten Herbst tauchen verstärkt neue visionäre Berichte und Videos wie dieses auf, die zeigen, wie Menschen bei ihrer täglichen Arbeit mit Augmented Reality Brillen unterstützt werden könnten. Augmented Reality (kurz: AR), das Erweitern der Realität durch zusätzliche virtuelle Elemente, könnte auch in den verschiedensten Bereichen der Industrie sinnvoll zum Einsatz kommen. So könnte beispielsweise die Planung, Entwicklung und Wartung von Produkten maßgeblich verbessert werden. Allerdings haben diese vielversprechenden Aussichten noch einen Haken: Im Augenblick sind sie nicht mehr als Visionen.

Natürlich war das Erscheinen der HoloLens ein erster großer Schritt für diese Technologie. Auch andere Hersteller arbeiten gerade fieberhaft an ihren eigenen AR-Brillen oder bringen bereits erste Prototypen auf den Markt. Dennoch weisen die verfügbaren AR-Brillen noch viele Beschränkungen auf. So sind die meisten Geräte aktuell alles andere als unscheinbar, sondern liegen schwer auf dem Kopf und schränken die Sicht ihres Trägers durch abgedunkelte Gläser ein. Auch der Bereich, in dem tatsächlich virtuelle Elemente eingeblendet werden können, ist zurzeit noch sehr klein. Beispielsweise ist das Blickfeld bei der HoloLens lediglich 30°×18° groß. Das Gesichtsfeld eines Menschen hingegen hat üblicherweise eine Größe von 180°×130°. Das bedeutet, dass jeweils nur ein sehr kleiner Ausschnitt der Realität mit virtuellen Überblendungen angereichert werden kann.

Auch haben die meisten AR-Brillen nur sehr geringe Akkulaufzeiten, was die Mobilität ihrer Träger begrenzt. Die Anforderung, dass Augmented Reality Systeme vollständig in Echtzeit agieren sollen, stellt zudem eine der größten und kritischsten Herausforderungen dar. Letztlich müssen AR-Brillen für den Einsatz im industriellen Umfeld nicht nur die technischen Probleme überwinden, sondern auch Sicherheitskriterien erfüllen. Somit bedarf es noch einigen Weiterentwicklungen dieser Technologie, bis unsere Visionen tatsächlich zum Leben erweckt werden können.

Gartner Hype Cycle for Emerging Technologies

Aktuelle Studie von Gartner, dem weltweit führenden IT-Marktforschungsunternehmen, Quelle: Gartner, Juli 2016

Die aktuelle Gartner-Studie für aufstrebende Technologien prophezeit, dass Augmented Reality in fünf bis zehn Jahren im produktiven Einsatz sein wird. Doch auch wenn Augmented Reality sich zurzeit noch in der Entwicklung befindet, ist dies kein Grund, sich davon abzuwenden und abzuwarten. Vielmehr bietet uns dieser Zeitraum die Möglichkeit, Anteil an der Entwicklung zu nehmen und stückweise auf die Realisierung der jetzigen Visionen hinzuarbeiten.

Aber die Technologie wirft nicht nur im Hardware-Bereich Fragen auf, sondern stellt auch vollkommen neue Herausforderungen an die Software. Vor allem das User Interface und die damit verbundenen Nutzerinteraktionen müssen hier völlig neu betrachtet werden. Durch die zusätzliche dritte Dimension sind gängige Designmethoden nicht mehr anwendbar. Auch stellen sich völlig neue Fragen:

  • Wie können virtuelle Elemente so in die reale Welt integriert werden, dass Benutzer optimal darauf zugreifen können?
  • Wie sollten AR-Elemente aktiviert und deaktiviert werden, um den Benutzer bei seiner Aufgabe zu unterstützen, ohne ihn abzulenken oder bei seiner Arbeit zu behindern?
  • Wie sollten virtuelle Elemente positioniert und gestaltet werden, um eine gute Lesbarkeit und ein ergonomisches Arbeitsumfeld zu gewährleisten?
  • Wie können Benutzer mit den AR-Elementen auf intuitive Weise interagieren?

Im Rahmen meiner Masterthesis habe ich im letzten halben Jahr mit dem Projekt „DeepSight“ versucht, einige Antworten auf diese Fragen zu finden.

 

 Die Vision

Mit DeepSight sollte anhand eines kurzen Szenarios ein Blick in die Zukunft von Augmented Reality geworfen werden. Gemeinsam mit der Festo Polymer GmbH arbeiteten wir daher unsere Vision eines durch Augmented Reality unterstützten Schichtführers heraus. Wie bereits zu Beginn dieses Artikels angedeutet, sollte der Schichtführer an einer erhöhten Position innerhalb einer Maschinenhalle stehen und alle dort befindlichen Maschinen überwachen können. Fokussiert er eine Maschine, so sollten Informationen zum aktuellen Auftrag der Maschine eingeblendet werden. Der Schichtführer sollte dann die Möglichkeit haben, durch Druck auf einen Knopf weitere Details zu diesem Auftrag zu erhalten. Im Rahmen des Szenarios sollte außerdem ein Fehler an einem Werkzeug innerhalb einer Maschine auftreten können. Durch ein AR-Element sollte der Schichtführer auf den Fehler aufmerksam gemacht werden, sodass er den Blick auf die betroffene Maschine richten und den Fehler beheben kann.

Deep Sight-Szenario-Scribble

Der Schichtführer überwacht die Maschinenhalle mithilfe einer AR-Brille

Anhand dieses Szenarios sollte ein AR User Interface, sowie ein AR-Interaktionskonzept ausgearbeitet und implementiert werden. Dabei sollte jedoch davon ausgegangen werden, dass für die Nutzung der Anwendung eine AR-Brille verwendet wird, die alle aktuellen Beschränkungen bereits überwunden hat. Nun ist es natürlich schwierig, eine solche Anwendung zu entwickeln und zu testen, wenn die dafür benötigte Hardware noch nicht existiert. Aus diesem Grund musste ich ein wenig „schummeln“ und einen Umweg über eine andere Technologie nehmen: Virtual Reality (kurz: VR).

 

Von VR zu AR

Was ist der Unterschied zwischen Augmented Reality (AR) und Virtual Reality (VR)? Während der Träger einer AR-Brille seine reale Umgebung betrachtet, die lediglich um einige virtuelle Elemente ergänzt wird, wird der Träger einer VR-Brille vollständig in eine virtuelle Umgebung versetzt und hat keine visuelle Verbindung mehr zur Realität.

VR-Brille vs AR-Brille

links: VR-Brille, rechts: AR-Brille

VR-Brillen sind heute schon ein wenig weiter entwickelt, als AR-Brillen. Zwar weisen auch sie noch einige Schwächen auf, allerdings bieten sie ihrem Nutzer ein großes Sichtfeld und auch die Möglichkeit, sich in einem gewissen Rahmen in der virtuellen Umgebung zu bewegen. So eignet sich der derzeitige Stand der VR-Technologie bereits sehr gut, um Simulationen zu erstellen. Meist werden auf diese Weise reale Begebenheiten abgebildet, was beispielsweise in der Planungsphase eines Projektes nützlich sein kann, oder auch zu Ausbildungs- und Trainingszwecken sinnvoll ist.

Für DeepSight wollte ich den Nutzer passend zu unserem Szenario in eine Maschinenhalle versetzen. Ein Nutzer der DeepSight-Anwendung sollte somit beim Anziehen der VR-Brille in die Rolle des Schichtführers schlüpfen. Dabei sollte er das Gefühl haben, sich tatsächlich in einer realen Maschinenhalle zu befinden. Das Einzige, das ihm beim Umblicken in der Halle nicht real erscheint, sollten die Einblendungen mit den Informationen zu den Maschinen sein. Auf diese Weise sollte es möglich werden, das AR User Interface und die AR-Interaktionen passend zum Szenario zu entwickeln und mithilfe der VR-Anwendung zu testen.

Das Ganze mag an dieser Stelle noch ein wenig verwirrend klingen. Lassen Sie mich daher ein kurzes Beispiel anbringen:

Stellen Sie sich vor, Sie tragen eine AR-Brille. Sie sind zu Hause in ihrem Wohnzimmer. Vor Ihnen liegen einige Gegenstände. Wenn Sie eines der Objekte anblicken, erscheint darüber ein kleines Schild, auf dem der Name des Gegenstandes steht. Soweit, so gut.
Stellen Sie sich nun vor, sie tragen eine VR-Brille. Diese deckt Ihr Sichtfeld komplett ab. Somit befinden Sie sich zwar körperlich noch immer in ihrem Wohnzimmer, doch in der Brille sehen sie plötzlich eine weitläufige, idyllische Landschaft vor sich. Auch dort liegen einige Gegenstände vor Ihnen und es wird der Name eines Objektes eingeblendet, sobald Sie es anblicken. Für Sie besteht der einzige praktische Unterschied zwischen den beiden Brillen somit darin, dass die VR-Brille sie visuell an einen anderen Ort versetzt. Die Interaktion, die Sie in diesem Rahmen vornehmen können, das Anschauen der Objekte und das damit verbundene Aktivieren des Namensschildes, bleibt jedoch die gleiche. Auch die Anordnung der Schilder und ihre visuelle Gestaltung ist genau die gleiche, wie in der AR-Brille.

Eben aus diesem Grund ist es möglich, AR User Interfaces und AR-Interaktionen bereits jetzt zu entwickeln und mit einer VR-Brille zu testen. Damit das Testen jedoch auch richtig funktioniert, muss der Nutzer der Anwendung sich in der virtuellen Umgebung wirklich präsent fühlen.

 

Die Sinne des Nutzers ansprechen

Die meisten VR-Anwendungen versetzen den Träger der VR-Brille in eine Welt, die aus am Computer generierten 3D-Modellen und Animationen besteht. Je nachdem, welche Objekte auf diese Weise dargestellt werden und wie viel Zeit für deren Erstellung aufgewendet wird, kann eine solche virtuelle Umgebung mehr oder weniger realistisch wirken.

Damit der Nutzer sich in der virtuellen Umgebung präsent fühlen konnte, war es für die DeepSight-Anwendung sehr wichtig, dass die Maschinenhalle und alles, was darin vor sich geht, möglichst real wirkte. Aus diesem Grund entschieden wir, anstelle von 3D-Modellen einen Real-Film der Maschinenhalle der Festo Polymer GmbH zu verwenden. Um dabei einen möglichst guten Tiefeneffekt zu erzielen und dem Nutzer das Gefühl zu geben, sich tatsächlich innerhalb der Halle zu befinden, nahmen wir den Film stereoskopisch mit zwei 360°-Kameras auf. Zusätzlich erstellten wir eine Tonaufnahme, um später auch die Geräuschkulisse in der Anwendung wiedergeben zu können.

Mithilfe des so entstandenen Materials konnte bereits eine erste Version der VR-Anwendung erstellt werden, die es dem Träger der VR-Brille erlaubte, die Maschinenhalle virtuell zu besuchen.

DeepSight - Einzelbild

Die Aufnahme der Maschinenhalle

Aufgrund der erhöhten Position der Kamera bei der Aufnahme des Films hatte man bereits jetzt den Eindruck, von oben in eine tiefe Halle hinab zu blicken. Der Eindruck der bewegten Halle in Kombination mit den Geräuschen der arbeitenden Maschinen war schon jetzt beeindruckend. Um dem Nutzer nun auch einen festen Halt innerhalb der Halle zu geben, ergänzte ich den Film um einen aus einfachen 3D-Modellen bestehenden Raum, der nach vorne hin zur Maschinenhalle geöffnet ist, jedoch durch ein Geländer begrenzt wird. Das Resultat ließ ich von einigen Kollegen testen.

Zu beobachten, wie die Tester sich beim Umblicken in der Halle verhielten war sehr interessant und brachte mich mehrmals zum schmunzeln. Viele von ihnen gingen nach vorne an das virtuelle Geländer, um möglichst viel von der Maschinenhalle sehen zu können. Dabei beugten sich manche vorsichtig über die virtuelle Begrenzung, darum bemüht, sie ja nicht zu berühren. Andere wiederum, griffen nach dem Geländer und lachten anschließend über ihr eigenes Verhalten – denn das Geländer existierte ja nur in der virtuellen Welt. Zu sehen, wie meine Kollegen mit dem virtuellen Geländer interagierten, brachte uns auf die Idee, die Anwendung durch ein reales Gegenstück des Geländers zu ergänzen. Aus PVC-Rohren und Rohrverbindern bauten wir ein prototypisches Geländer auf und positionierten es entsprechend dem virtuellen Pendant. Und tatsächlich – beinahe jeder, der nun die Anwendung für mich testete, legte seine Hand auf dem Geländer ab.

DeepSight - Leute am Gelaender

Testpersonen interagieren auf unterschiedliche Weise mit dem Geländer

Diese Tests machten bereits zu einem frühen Zeitpunkt des Projektes deutlich, dass ein Gefühl von Präsenz innerhalb einer virtuellen Umgebung nur durch das Ansprechen möglichst vieler Sinne erreicht werden kann. Die virtuelle Umgebung nicht nur sehen, sondern auch hören und sogar berühren zu können verstärkt in jedem Fall den Eindruck, tatsächlich dort zu sein. Diesen Effekt haben wir bereits in einem früheren Forschungsprojekt (DeepGrip) genauer untersucht.

 

Augmented Reality User Interface und Interaktionskonzept

Nun, da es gelungen war, die Maschinenhalle in der VR-Anwendung abzubilden, konnte ich mich endlich dem eigentlichen Ziel meiner Arbeit widmen: Das Entwickeln des AR-Interaktionskonzeptes und des AR User Interfaces. Ich war gespannt: Inwiefern würde sich die Gestaltung eines 3D-Interfaces von der eines 2D-Interfaces unterscheiden?

Um das Szenario des Schichtführers abbilden zu können, stellte mir die Festo Polymer GmbH einige Daten zu den Aufträgen der einzelnen Maschinen zur Verfügung. Anhand dieser Daten konnte ich die AR-Elemente gestalten, die beim Anblicken einer Maschine im Blickfeld des Nutzers erscheinen sollten. Zunächst experimentierte ich mit verschiedenen Farben und Schriftgrößen, die ich anschließend direkt in der VR-Brille begutachtete. Dabei fiel auf, dass besonders die Abbildung von klar lesbarer Schrift ein Problem darstellte. Die relativ geringe Auflösung der VR-Brille erlaubte somit nicht die Verwendung von schlanken oder kleinen Schriften, weshalb die AR-Elemente relativ groß sein mussten. Farblich konnte mit schwarzen Hintergrundflächen ein Kontrast zur hellen Maschinenhalle gebildet werden, um eine klare Erkennbarkeit der AR-Elemente sicherzustellen.

Als nächstes musste ich herausfinden, wie ich die AR-Elemente am besten in der Maschinenhalle positionieren konnte. Wenn der Nutzer seinen Blick auf eine Maschine richtet, sollte stets ein AR-Element geöffnet werden, das die Daten zu dieser Maschine beinhaltet. Somit sollte das AR-Element als Overlay direkt in der Maschinehalle zu sehen sein und eine klare Verbindung zu der entsprechenden Maschine haben. Zunächst positionierte ich das Overlay daher wie ein Schild direkt oberhalb der jeweils betrachteten Maschine. Ich ließ die Anwendung erneut von einigen Kollegen testen. Dabei stellten wir fest, dass das AR-Element zwar gut erkennbar war, die Tester jedoch den Blick heben mussten, um seinen Inhalt lesen zu können. Den Blick von der Maschine abzuwenden widerstrebte jedoch allen Testern, da sie befürchteten, ihre Selektion zu verlieren und die Notwendigkeit, den Kopf zu bewegen, als unangenehm empfanden. Auch beschwerten sich einige Kollegen darüber, dass die Overlays stets senkrecht auf den Maschinen standen. Gerade bei den Maschinen, die sich nah beim Nutzer befinden, waren die AR-Elemente dabei schlecht lesbar.

Durch iteratives Anpassen und Testen konnte ich somit schließlich feststellen, dass die Overlays für eine ergonomische Körperhaltung beim Lesen am besten leicht schräg ausgerichtet sein sollten, sodass sie immer dem Nutzer zugewandt sind. Auch sollte die Kopfbewegung, die der Nutzer nach dem Erscheinen des AR-Elements machen muss, um seinen Inhalt lesen zu können, möglichst klein sein. Indem ich die Overlays seitlich zu den Maschinen zum Gang hin positionierte und ihre Ausrichtung stets anhand der Kopfrotation des Nutzers beim Einblenden berechnete, konnte ich eine Darstellungsweise finden, die alle Tester als angenehm empfanden.

DeepSight - Overlays Vorher Nachher - Rechte Seite

Positionierung und Ausrichtung der AR-Overlays in der Maschinenhalle – links vor den Tests, rechts danach

Nun konnte ich mich dem Interaktionskonzept widmen. Ein Nutzer der DeepSight-Anwendung sollte durch das Anblicken einer Maschine das zugehörige Overlay öffnen können. Wo der Träger der VR-Brille gerade hinschaut, wurde dabei anhand der Kopfbewegungen bestimmt. Um den Nutzern die Steuerung zu erleichtern, erstellte ich einen dezenten Cursor, der sich ähnlich wie ein Mauszeiger mit den Kopfbewegungen des Nutzers mit bewegt. Nachdem er ein AR-Element aktiviert hat, sollte der Nutzer auf Wunsch weitere Details zu der ausgewählten Maschine aufrufen können. Um diese Interaktion zu ermöglichen, wurde der zu der VR-Brille gehörige Controller verwendet. Durch das Drücken eines bestimmten Knopfes kann der Nutzer so in die Detailansicht zu einer Maschine wechseln. Dort hat er dann die Möglichkeit, verschiedene Menüelemente durch seine Kopfbewegung auszuwählen und durch erneuten Knopfdruck weitere Interaktionen vorzunehmen. So kann er die Maschine ausschalten oder ein Werkzeug aussortieren. Die Detailansicht kann er ebenfalls über ein Menüelement verlassen, oder durch das Drücken eines Zurück-Buttons auf dem Controller.

DeepSight - Detailansicht zu einer Maschine

Detailansicht zu einer Maschine

Um das Szenario vollständig umzusetzen musste ich auch das Auftreten eines Fehlers an einem Werkzeug einer Maschine simulieren. Dazu erstellte ich ein einfaches Warndreieck als Symbol, das beim Auslösen eines Fehlers über der entsprechenden Maschine erscheinen sollte. Gleichzeitig wird ein Warnton abgespielt, um den Nutzer, unabhängig von seiner aktuellen Blickrichtung, auf den Fehler aufmerksam zu machen. Durch das Ausschalten der betroffenen Maschine oder das Aussortieren des fehlerhaften Werkzeugs kann der Nutzer den Fehler anschließend beheben. Alle Veränderungen, die der Nutzer auf diese Weise an den Maschinen vornimmt, spiegeln sich anschließend in den angezeigten Daten wieder, sodass dieser direkt die Wirksamkeit seines Eingreifens überprüfen kann.

So konnte das gesamte Szenario des durch Augmented Reality unterstützten Schichtführers im Rahmen der Anwendung umgesetzt werden. Doch wie intuitiv ist diese Umsetzung? Verstehen Nutzer auch ohne vorherige Einweisung, wie sie in der Maschinenhalle interagieren können? Wird die Kombination aus Blickselektion und Knopfdruck als angenehm und selbsterklärend empfunden, oder eher als umständlich und kompliziert? Um Festzustellen, ob es mir gelungen war, eine benutzerfreundliche AR-Interaktion sowie ein verständliches, ansprechendes User Interface zu entwickeln, führte ich eine Nutzerstudie durch.

 

Die Nutzerstudie

Nach monatelanger Arbeit war nun also die Stunde der Wahrheit gekommen. Wie würden Personen, die noch keinerlei Informationen über das Projekt DeepSight hatten, mit der Anwendung zurechtkommen? Ich lud nacheinander 33 Testpersonen ein, um an meiner Studie teilzunehmen. Dabei stammte keiner der Teilnehmer aus dem industriellen Umfeld. Da ich lediglich das Interaktionskonzept testen wollte, das in dieser Art genauso gut in einem anderen Kontext wiederverwendet werden könnte, sollte jeder an der Studie teilnehmen können.

Um herauszufinden, ob meine Probanden intuitiv mit der Anwendung umgehen konnten, gab ich ihnen keine Hinweise dazu, wie sie in der Maschinenhalle interagieren sollten. Jeder Teilnehmer bekam zu Beginn eine kurze Einführung, in der ich ihm erzählte, dass er gleich in die Rolle eines Schichtführers schlüpfen würde. Ich erklärte der Testperson, dass ihre Aufgabe in dieser Rolle darin besteht, die Maschinen in einer Halle zu überwachen. Auch sollte sie beim Auftreten eines Fehlers versuchen, diesen zu beheben. Nach dem Start der Anwendung fand keine Kommunikation mehr zwischen der Testleitung und dem Teilnehmer statt. Der Proband war in seiner neuen Rolle als Schichtführer auf sich alleine gestellt.

Ein Testdurchlauf dauerte ca. 3 Minuten. Ich gab jeder Testperson zunächst ein wenig Zeit, um sich in der Halle umzuschauen und zu verstehen, dass sie durch das Anblicken von Maschinen AR-Overlays aktivieren konnte. Dann triggerte ich den ersten Fehler. Das Bild der VR-Brille wurde auf meinen Bildschirm übertragen und so konnte ich gespannt beobachten, wie der Teilnehmer reagierte. Manche gingen sehr systematisch vor, um herauszufinden, was sie tun konnten. Andere waren sichtlich nervös, bis sie die Lösung gefunden hatten. Ich fieberte mit jeder Testperson mit und freute mich, zu sehen, dass sie nach dem erfolgreichen Beheben des ersten Fehlers beim zweiten und dritten Fehler bereits bei weitem sicherer und schneller wurden.

Tatsächlich zeigten auch die Testergebnisse, dass die Teilnehmer schnell lernten, mit dem System zu interagieren.

DeepSight- Lernkurve Fehler Beheben

Lernkurve beim Beheben der drei Fehler

 

Die Testergebnisse

29 der 33 Teilnehmer schafften es, alle 3 Fehler zu beheben. 2 Testpersonen konnten nur zwei Fehler beheben, wobei ein Proband bereits vor dem Auftreten des Fehlers eine Maschine ausgeschaltet hatte. Die übrigen 2 Teilnehmer lösten keinen der auftretenden Fehler. Dabei hatte ein Proband große Schwierigkeiten, die Inhalte der AR-Overlays zu lesen. Er erklärte, dass er sehr unterschiedliche Sehstärken auf beiden Augen hat, weshalb die stereoskopische Darstellung in der VR-Brille bei ihm vermutlich nicht richtig funktionierte. Die andere Testperson, die keinen Fehler lösen konnte, sagte, dass sie sich allgemein sehr unsicher im Umgang mit Technologie fühle. Der Eindruck der Maschinenhalle hatte ihr dennoch gut gefallen.

Im Anschluss an den Test führte ich mit jedem Teilnehmer ein kurzes Interview und ließ ihn einen Fragebogen ausfüllen. So untersuchte ich das Präsenz-Gefühl mit dem standardisierten IPQ-Fragebogen, sowie die Benutzerfreundlichkeit der Anwendung mit dem standardisierten SUS-Fragebogen. Bereits im Interview wurde deutlich, dass die meisten Teilnehmer ihren Ausflug in die Maschinenhalle sehr positiv empfunden hatten. Vor allem die Anwesenheit von Mitarbeitern in der Halle wurde mehrfach angesprochen. Zudem sprachen viele Probanden die Kombination aus visuellen und auditiven Eindrücken an. Auch das Interaktionskonzept wurde von den Teilnehmern sehr positiv angenommen und als einfach empfunden. Hier ein kleiner Einblick in die Eindrücke der Testpersonen:

„Es hat viel ausgemacht, dass dort wirklich Menschen gearbeitet haben. Das hat sich richtig lebendig angefühlt.“

„Ich fand das Gesamtbild war sehr stimmig. Du hast das Gefühl du bist da drin, dadurch dass du es visuell hast und auch akustisch.“

„Die Bedienung durch Anschauen fand ich wirklich überraschend komfortabel und einfach. Wenn man mir das vorher beschrieben hätte, hätte ich gedacht es wäre wesentlich umständlicher und unangenehmer. Aber man konnte einfach hinschauen und dann ist etwas aufgepoppt. Das fand ich überraschend gut.“

„Ich fand es faszinierend, dass es auf meinen Blick reagiert. Dass ich da hingucke, und dass sehe ich was. Das hat mir Spaß gemacht.“

„Man hat wirklich so ein bisschen das Gefühl, als wäre man der Chef des Ganzen, als könnte man es tatsächlich kontrollieren.“

„Ich fand es super spannend, dass man auch relativ schnell und intuitiv in dieses Bedienkonzept reinkommt und das auch so ein bisschen explorativ sich anschauen kann und verschiedene Sachen ausprobiert. Wenn dann ein Fehlerfall da war, konnte man ihn sehr einfach lösen.“

Als problematisch wurde vor allem die Verwendung des Controllers empfunden. Da dieser relativ groß war, gingen viele Teilnehmer davon aus, dass er mehr Funktionalitäten bot, als lediglich das Drücken zweier Knöpfe. Daher versuchten einige Testpersonen, innerhalb des Menüs mit dem Controller zu zeigen, um die Menü-Elemente zu selektieren. Da die meisten von ihnen jedoch ihren Kopf beim Zeigen mit bewegten, gelang es ihnen auch auf diese Weise, mit dem Menü zu interagieren.

Interessant war auch, dass sehr viele Teilnehmer, trotz eines Hinweises vor dem Beginn des Tests, den Controller nicht anschauten. Dieser war in der virtuellen Welt zu sehen und auch die beiden Knöpfe waren dort markiert. Die meisten Probanden hielten ihren Blick jedoch stets auf die Halle gerichtet und drückten auf den Knopf, der sich gerade unter ihrem Finger befand. So bemerkten viele den Zurück-Knopf gar nicht, weshalb sie die AR-Overlays nur über die entsprechende Schaltfläche im Menü schließen konnten. Anstelle des Controllers wäre es daher besser, einen kleineren, einfacheren Gegenstand, wie beispielsweise einen Smart-Ring zu verwenden, auf dem die beiden notwendigen Knöpfe angebracht sind.

Insgesamt gelang es jedoch erstaunlich vielen Teilnehmern, ohne jegliche Einführung mit der Anwendung zu arbeiten und alle Fehler zu beheben. Auch im Fragebogen wurde das Interaktionskonzept sehr gut bewertet. So ergab sich ein SUS-Score von 86,4 für die entwickelte Anwendung.

SUS-Grafik

Der erreichte SUS-Score des Interaktionskonzepts, dieser entspricht einer Bewertung mit Bestnote A

Auch das Gefühl der Präsenz wurde insgesamt sehr hoch bewertet. Zudem konnte ein signifikanter Zusammenhang zwischen Präsenz und SUS-Score ermittelt werden. Probanden, die sich in der Halle präsenter fühlten, bewerteten das Interaktionskonzept somit besser. Daher kann davon ausgegangen werden, dass das hier entwickelte Bedienkonzept in einer tatsächlichen AR-Anwendung sehr gut angenommen werden würde. Zudem wird dadurch deutlich, wie wichtig es ist, dass eine VR-Simulation realistisch ist, wenn damit ein AR-Interaktionskonzept getestet werden soll.

 

Ein vielversprechender Ausblick

Mit dem Projekt DeepSight konnte ich sehr viele Erfahrungen im Bereich Virtual Reality und Augmented Reality sammeln. Innerhalb eines halben Jahres beschäftigte ich mich mit VR-Simulationen, mit stereoskopischen Filmen und den damit verbundenen Stolpersteinen, mit der Erschaffung eines Präsenzgefühls durch das Einbeziehen möglichst vieler Sinne und natürlich mit der spannenden Entwicklung eines neuartigen Interaktionskonzeptes und User Interface Designs für eine dreidimensionale Welt. Mithilfe meiner Kollegen, die immer für Tests zur Verfügung standen und natürlich mithilfe aller, die an meiner abschließenden Studie teilnahmen, ist es mir gelungen, ein nachweislich intuitives und benutzerfreundliches Interaktionskonzept für Augmented Reality Anwendungen zu entwickeln.

Natürlich habe ich hierbei nur ein einzelnes, kurzes Szenario betrachtet. Das hier entwickelte Konzept eignet sich für die Unterstützung bei der Überwachung von großen Maschinenhallen oder ähnlichen Anlagen. Hier hat der Nutzer den Vorteil, dass er schnell und intuitiv Zugang zu den wichtigsten Informationen erhält und gleichzeitig die Hände für andere Aufgaben frei hat. Augmented Reality ist jedoch auch in vielfältigen anderen Bereichen einsetzbar.

Mit DeepSight konnte ich anhand eines Beispiels zeigen, dass es mithilfe von Virtual Reality schon jetzt möglich ist, die Chancen und Schwierigkeiten von Augmented Reality Interaktionen zu betrachten. Ich konnte feststellen, dass AR-Anwendungen mit einem geeigneten Interaktionskonzept überraschend intuitiv und schnell erlernbar sein können. Die virtuellen Overlays können fließend in die reale Umgebung integriert werden und so die Arbeit erleichtern und beschleunigen. Somit ist es mit Sicherheit lohnenswert, schon heute mithilfe von Virtual Reality unsere Zukunftsvisionen zum Leben zu erwecken und passende Interaktionskonzepte und Benutzeroberflächen zu entwickeln. So können wir bereits jetzt einen Blick in die Zukunft werfen, um die AR-Brillen direkt sinnvoll einsetzen zu können, sobald sie gewisse technische Restriktionen überwinden.

Merken

Merken

Merken

Merken

Merken

Merken

Merken

Merken

Merken

Merken

Merken

Merken

Merken

Merken

Merken

Merken

Merken

Möchten Sie mehr zu unseren Leistungen, Produkten oder zu unserem UX-Prozess erfahren?
Wir sind gespannt auf Ihre Anfrage.

Senior UX Manager
+49 681 959 3110

Bitte bestätigen Sie vor dem Versand Ihrer Anfrage über die obige Checkbox, dass wir Sie kontaktieren dürfen.