Blog

DeepGrip – Virtual Reality zum Anfassen

Ronja Scherz
Ronja Scherz
27. August 2015

Seit einiger Zeit ist das Thema „Virtual Reality“ wieder in aller Munde. Die Möglichkeit mithilfe neuer Technologien, wie beispielsweise der VR-Brille Oculus Rift, in eine virtuelle Welt einzutauchen fasziniert Gamer, Entwickler und UX-Designer gleichermaßen. Das Umsehen in einer virtuellen Umgebung mit den eigenen Kopfbewegungen und auch das Bewegen virtueller Gegenstände mit den eigenen Händen ermöglicht Nutzern eine vollkommen neue und extrem direkte Art der Interaktion. VR-Anwendungen lösen so bei vielen Anwendern das Gefühl aus, sich tatsächlich innerhalb der virtuellen Umgebung zu befinden. Gerade dieses Gefühl, das auch als „Immersion“ bezeichnet wird, erweckt die Erwartung, mit den virtuellen Gegenständen ebenso natürlich interagieren zu können, wie mit realen. Leider ist dies bei den heute üblichen Setups jedoch noch nicht möglich – VR-Brillen alleine ermöglichen lediglich einen visuellen Zugang zur virtuellen Welt. Berührt ein Anwender einen virtuellen Gegenstand, so spürt er daher keinerlei haptisches Feedback.

Um herauszufinden, inwiefern eine Integration des Tastsinnes in eine Virtual Reality Anwendung sich auf die Immersion ihrer Nutzer auswirkt, entwickelten wir bei Centigrade den Prototyp „DeepGrip“ – eine Anwendung, die visuelles und haptisches Feedback in einer virtuellen Realität verbindet.

Modellieren, testen und tricksen –Force Feedback und Virtual Reality

Mit DeepGrip sollte ein Prototyp entstehen, der es Nutzern erlaubt, in einer virtuellen Realität mit Gegenständen zu interagieren und dabei haptische Rückmeldungen von ihnen zu erhalten. Zu Beginn des Projektes stand daher die Frage, welche virtuellen Gegenstände simuliert werden sollten. Sowohl die Simulation von festen Widerständen, als auch von Gewicht und anderen physikalischen Kräften erschien uns interessant. Um möglichst viele dieser Aspekte miteinander zu verbinden, entschieden wir uns schließlich dafür, dass Nutzer von DeepGrip mit virtuellen Magneten interagieren sollten.

Verschiedene, im virtuellen Raum platzierte Magnete könnten sowohl abstoßende, als auch anziehende Kräfte simulieren, wenn ein Nutzer sich ihnen nähert. Auch könnte ein Anwender, der selbst einen Magneten in seiner virtuellen Hand hält, einen magnetischen Gegenstand aufheben und so sowohl die Berührung dieses Gegenstandes als auch sein Gewicht spüren. Die Herausforderung bei der Entwicklung des Prototyps lag somit darin, eine möglichst realistische Simulation der verschiedenen magnetischen Kräfte zu erzeugen. Ziel des Projektes war dabei, einen realen Magnet durch die Kombination aus Fühlen und Sehen so realistisch zu imitieren, dass Nutzer nicht mehr in der Lage sein sollten, zwischen virtuellen und realen magnetischen Kräften zu unterscheiden.

Für die Umsetzung des Prototyps wurde die VR-Brille Oculus Rift, DK2 mit dem Force Feedback Device Novint Falcon kombiniert. Beide Geräte stammen aus der Spieleindustrie und wurden ursprünglich entwickelt, um Gamern ein möglichst intensives Spielerlebnis zu ermöglichen.

Oculus Rift und Novint Falcon

Oculus Rift und Novint Falcon – Bildquellen: Novint / Oculus VR

 

Da die Oculus Rift zurzeit noch nicht als Endprodukt auf dem Markt erhältlich ist, verwendeten wir das für Entwickler zur Verfügung stehende Development Kit 2. Auf den Novint Falcon, der eine lange Reise von Amerika nach Deutschland antreten musste, waren wir besonders gespannt. Würde er unsere Erwartungen an eine realistische Kräfte-Simulation erfüllen? Wie würde es sich anfühlen, sich mit seinem Bedienelement in der virtuellen Welt zu bewegen?

Als der Falcon eintraf, waren wir zunächst ein wenig enttäuscht. Das mitgelieferte Tutorial war veraltet, sodass wir das Device nicht richtig austesten konnten. Lediglich die Testumgebung bot einen kleinen Vorgeschmack auf die Möglichkeiten, die der Falcon uns eröffnete. Zumindest konnten wir uns damit bereits davon überzeugen, dass der Falcon in der Lage war, starke physikalische Kräfte in einem Spielraum von 10 x 10 x 10cm zu erzeugen, sodass ein Nutzer, der die Hand an sein Bedienelement gelegt hat, Schwierigkeiten hat, gegen die Kräfte anzukommen. Damit waren die wichtigsten Voraussetzungen erfüllt und wir konnten mit der Entwicklung von DeepGrip beginnen.

Für die Entwicklung der Anwendung verwendeten wir die Game Engine Unity3D. Da diese Engine darauf ausgelegt ist, möglichst viele Ein- und Ausgabemethoden miteinander zu verbinden und ihren Entwicklern so möglichst viel Spielraum zu lassen, standen bereits Integrationen für die Gaming-Devices Oculus Rift und Novint Falcon zur Verfügung. Die Verbindung der beiden Geräte konnte daher mit erstaunlich geringem Aufwand erfolgen.

Die Erstellung der 3D-Szene konnte in Unity3D ebenfalls leicht umgesetzt werden, da die erstellten Modelle, Animationen und Texturen einfach importiert werden konnten. Für das Szenario wurde eine Lagerhalle ausgewählt, sodass Anwender in die Rolle eines virtuellen Lagerarbeiters schlüpfen sollten. Aus Sicht dieses Lagerarbeiters sollte der Nutzer dann in der Halle vor einem virtuellen Tisch stehen, auf dem sich verschiedene magnetische Gegenstände befinden. Er selbst sollte zudem einen Magneten in seiner virtuellen Hand halten.

Durch die vorhandene Integration für die Oculus Rift konnte die visuelle Komponente des Projektes sehr schnell realisiert werden. Nach dem Erstellen der Halle und dem Platzieren der Figur eines männlichen Werkers musste lediglich die Kamera auf dem Hals dieses Arbeiters positioniert werden. Der Kopf des Modells wurde zu diesem Zweck entfernt, sodass ein Nutzer nach dem Aufsetzen der VR-Brille die Möglichkeit hat, aus der Perspektive des Werkers an seinem virtuellen Körper hinabzuschauen.

Screenshot der Szene in Unity 3D

Screenshot der Szene in Unity, das Kamerasymbol zeigt die Position der Oculus Rift an

Um einen Anwender nun auch die Bewegungen des Arbeiters steuern zu lassen, kam der Novint Falcon ins Spiel. Nutzer sollten den virtuellen Arm des Werkers durch ihre eigenen Armbewegungen so steuern können, als wäre es ihr eigener. Die Bewegungen des Nutzers sollten über das Bedienelement am Novint Falcon an Unity übertragen werden. Damit diese Verbindung zwischen Realität und virtueller Welt überzeugend funktionierte, sollte der virtuelle Lagerarbeiter den Magneten nicht direkt umschließen, sondern stattdessen einen an ihm befestigten Griff in der Hand halten. Am Falcon selbst brachten wir ebenfalls einen Griff an, sodass jeder Anwender in seiner realen Hand das gleiche spüren sollte, das er auch visuell in seiner virtuellen Hand sähe.

Novint Falcon mit montiertem Griff und dazugehöriger Halterung

Novint Falcon mit montiertem Griff und dazugehöriger Halterung

Um nun die magnetischen Kräfte zu simulieren, definierten wir in Unity die Wirkungskreise der magnetischen Felder und legten ihre Stärke fest.

Wirkungsbereiche der einzelnen Magnete

Wirkungsbereiche der einzelnen Magnete

Schnell wurde klar, dass der Novint Falcon eine sehr hohe Framerate benötigt, um eine realistische Kräftesimulation zu gewährleisten. Sobald die Oculus Rift verbunden wurde, wurde automatisch eine Framerate von 75FPS erzwungen. Auf den ersten Blick mag diese Zahl hoch erscheinen, der Falcon erwartet jedoch eine Framerate von bis zu 1000FPS, um den Tastsinn des Menschen realistisch abzubilden. Bei 75FPS war somit keine realistische Kräftesimulation möglich – beim Testen war lediglich ein starkes Ruckeln zu spüren, sobald man sich einem Magneten näherte.

Aus diesem Grund mussten wir die entsprechenden Skripte der Hersteller anpassen und die vertikale Bildsynchronisation vollständig deaktivieren. Dadurch gelang es uns, die Framerate auf 130 FPS zu steigern. Durch den Verzicht auf dynamisch generierte Schatten konnten wir weitere 20 FPS dazugewinnen. Natürlich sind 150 FPS noch immer weit von den vom Falcon geforderten 1000 FPS entfernt. Überraschenderweise war es mit diesem Stand jedoch tatsächlich möglich, das Verhalten der Magnete realistisch nachzubilden. Abstoßung, Anziehung und auch die Simulation eines Gewichtes waren bei dieser Framerate umsetzbar.

Leider konnten wir jedoch noch immer keine festen Widerstände, wie beispielsweise den Tisch, simulieren. Da eine weitere Steigerung der Framerate nicht erzielt werden konnte, musste an dieser Stelle ein wenig „getrickst“ werden. Um das Aufkommen des Nutzers auf dem Tisch zu simulieren, wurde ein fester Untergrund aus Legosteinen aufgebaut und direkt unterhalb des Novint Falcon positioniert. Da der Nutzer während er mit der Anwendung arbeitet, durch die Oculus von seiner realen Umgebung abgeschirmt ist, nimmt er diesen „Trick“ visuell nicht wahr, sondern spürt lediglich den realen Widerstand beim Berühren des virtuellen Tisches.

Untergrund, der den Widerstand des virtuellen Tisches simuliert

Untergrund, der den Widerstand des virtuellen Tisches simuliert

Echt oder simuliert?

Um nun festzustellen, wie realistisch die Simulation der magnetischen Kräfte tatsächlich gelungen war, führten wir eine Studie mit 38 Probanden durch. Da wir herausfinden wollten, ob die Testpersonen in der Lage waren, eine Aussage über die Echtheit der magnetischen Kräfte zu treffen, teilten wir sie in zwei Gruppen auf. Die Teilnehmer der ersten Gruppe sollten mit unserem VR-Prototyp arbeiten und somit nur simulierte magnetische Kräfte spüren. Für die zweite Gruppe hingegen erstellten wir einen Testaufbau mit echten Magneten. Natürlich informierten wir die Testpersonen nicht darüber, in welcher der beiden Gruppen sie sich befanden. Nach dem Test wollten wir den Teilnehmern beider Gruppen die Frage stellen, ob sie glaubten, dass sie während des Tests mit echten, oder simulierten Magneten gearbeitet hatten.

Damit die Aussagen beider Gruppen vergleichbar waren, mussten wir dafür sorgen, dass alle Teilnehmer mit dem gleichen Szenario arbeiteten. Die Probanden in beiden Gruppen sollten während des Tests die Oculus tragen und sich somit visuell in der gleichen Szene befinden. Auch wurde in beiden Gruppen der Arm des Lagerarbeiters über den Novint Falcon bewegt, wobei der Falcon bei der Gruppe, die mit den echten Magneten arbeitete, lediglich für das Tracking der Position verwendet wurde und keinerlei Kräftesimulation vornahm.

Der einzige Unterschied zwischen dem Testaufbau der beiden Gruppen bestand somit in dem Untergrund unterhalb des Novint Falcon. Dort positionierten wir bei der zweiten Gruppe echte Magnete, während wir bei der Gruppe, die mit der Simulation arbeitete, nur den Legountergrund verwendeten.

Untergrund mit echten Magneten

Untergrund mit echten Magneten

An dem Test nahmen Personen unterschiedlicher Alters- und Berufsgruppen teil. Während etwa die Hälfte der Teilnehmer viel Erfahrung im Bereich Informatik und Computerspiele hatte, hatte die andere Hälfte nur sehr geringe Computerkenntnisse. Dennoch konnte der Test von allen Personen problemlos absolviert werden.

Zu Beginn des Tests gaben wir jedem Teilnehmer einige Sekunden Zeit, um sich in dem virtuellen Raum umzuschauen und auch den eigenen virtuellen Körper zu begutachten. Besonders die Schuhe des Lagerarbeiters sorgten an dieser Stelle häufig für Erheiterung – der Satz „ich hab‘ ja orangene Schuhe an!“ entfuhr beinahe jedem Teilnehmer, sobald er an sich hinunterblickte. Wenn die Testperson sich in ihrer virtuellen Umgebung orientiert hatte, führte der Testleiter ihre Hand an den Novint Falcon und gab ihr die Anweisung, den Arm zunächst leicht nach oben zu bewegen. Auch wenn in den ersten Sekunden dieser Aufwärtsbewegung teilweise noch Unsicherheit herrschte, wurde die Bedienung des Systems von allen Probanden intuitiv erkannt, sobald sie bemerkten, dass der virtuelle Arm des Werkers ihren eigenen Armbewegungen folgte. Im nächsten Schritt hatten die Teilnehmer die Gelegenheit, einen magnetischen Gegenstand vor ihnen auf dem Tisch mit dem Magnet in ihrer virtuellen Hand aufzunehmen und anschließend zu einer abstoßenden, und einer anziehenden magnetischen Fläche zu bewegen. In einem zweiten Testdurchlauf wurden alle Tester noch einmal darum gebeten, sich darauf zu konzentrieren, ob sie die Kräfte, die sie spürten, für echt oder simuliert hielten.

Im Anschluss an den Test führten wir mit jedem Teilnehmer zunächst ein kurzes Interview, das wir mit eben dieser zentralen Frage eröffneten – ist der Magnet echt oder simuliert? Es folgten einige Fragen zum allgemeinen Eindruck und zur Bedienung des Systems. Danach wurde von allen Probanden ein Fragebogen ausgefüllt, der ihnen die Gelegenheit gab, den empfundenen Realitätsgrad und auch die Steuerung detailliert zu beurteilen.

Besonders ältere, im Umgang mit Computern unerfahrenere Teilnehmer, beschrieben die Steuerung als „einfach“ und waren zum Teil davon überrascht, wie leicht sie sich in der virtuellen Umgebung orientieren konnten. Viele Tester sagten, sie hätten das Gefühl gehabt, tatsächlich „in diesem Raum“ zu stehen. Mehr als die Hälfte der Teilnehmer war zudem der Meinung, dass gerade die Identifikation mit der virtuellen Figur und die Möglichkeit, direkt mit den virtuellen Objekten zu interagieren, diesen Eindruck verstärkt hätten. Gerade der Griff, als verbindendes Element zwischen Realität und virtueller Welt wurde ebenfalls von einigen Probanden positiv hervorgehoben. Einer der Teilnehmer formulierte: „Als ich den Griff in der Hand hatte, bin ich voll eingetaucht in diese Welt.“ Die Steuerung, sowie die Immersion in der Szene wurden somit von beiden Gruppen positiv hervorgehoben, was sich auch in der Auswertung des Fragebogens widerspiegelt.

Bewertung von Steuerung und Immersion auf einer Skala von 1(gar nicht) bis 5(sehr hoch)

Bewertung von Steuerung und Immersion auf einer Skala von 1(gar nicht) bis 5(sehr hoch)

Um die Frage nach der Echtheit des getesteten Magneten zu beantworten benötigten die meisten Teilnehmer beider Gruppen zunächst ein wenig Bedenkzeit. Zwar trafen viele schnell eine Aussage, waren sich jedoch unsicher, ob diese auch zutraf. In beiden Gruppen gab es Personen, die sich erst im Verlauf des Interviews entscheiden konnten, oder ihre Entscheidung noch einmal änderten. Allein diese Unsicherheit in beiden Gruppen zeigt, dass das Wegfallen der direkten visuellen Verbindung zu einem Gegenstand in der eigenen Hand die Beurteilung seiner Echtheit erschwert. Wertet man die endgültigen Antworten aller Testpersonen aus, so ergibt sich ein Kopf an Kopf Rennen zwischen echt und simuliert in beiden Gruppen.

So glaubten in der Gruppe, die mit den echten Magneten arbeitete, 9 Personen die magnetischen Kräfte seien simuliert, während 10 sie als echt einstuften. In der Gruppe, die mit der Simulation arbeitete, hielten 9 Probanden die Magnete für echt, während 10 meinten, sie seien simuliert. Was für ein Ergebnis! Wir waren beinahe selbst überrascht davon, wie ähnlich die Teilnehmer der beiden Gruppen die magnetischen Kräfte empfunden hatten. Damit konnte eindeutig belegt werden, dass durch die Kombination aus visuellem und haptischem Feedback in einer virtuellen Realität magnetische Kräfte so realistisch simuliert werden können, dass Testpersonen nicht mehr in der Lage sind, die Simulation als solche zu identifizieren.

Auswertung und Gegenüberstellung der Testergebnisse

Auswertung und Gegenüberstellung der Testergebnisse

Fazit

Mit dem Prototyp DeepGrip können magnetische Kräfte in einer virtuellen Umgebung realistisch simuliert werden. Zudem erlaubt er es Anwendern, mit den Gegenständen in der virtuellen Umgebung auf intuitive Art und Weise zu interagieren. Durch die Kombination aus visuellem und haptischem Feedback gelingt es DeepGrip, die Immersion seiner Nutzer zu verstärken.

Das Ergebnis der Studie zur hier getesteten Kombination aus Sehen und Fühlen in einer virtuellen Realität macht deutlich, dass virtuelle Umgebungen stark davon profitieren, wenn man sie um eine überzeugende haptische Komponente ergänzt. Viele Probanden sprachen nach dem Test davon, sich mehr Anwendungen auf diesem Gebiet zu wünschen. VR-Anwendungen, die die beiden Komponenten Sehen und Fühlen kombinieren, könnten in vielen verschiedenen Bereichen gewinnbringend eingesetzt werden. So könnten Schulungen und Simulationen für Lernende sowohl im medizinischen, als auch im industriellen Bereich verbessert werden. Beispielsweise könnten angehende Ärzte bereits während ihrer Ausbildung Operationen auf realistische Art und Weise trainieren, ohne dabei realen Schaden zu verursachen. Arbeiter im industriellen Umfeld könnten mit visuell-haptischen VR-Anwendungen den Umgang mit speziellen Maschinen erlernen, da dort ihre Bewegungen geführt und so trainiert werden könnten. Zudem könnte die Remote Control von Maschinen erleichtert und verbessert werden, da Anwender durch visuell-haptische VR die Möglichkeit hätten, Maschinen überall auf der Welt so zu bedienen, als wären sie direkt vor Ort.

Anhand der vielen Anwendungsmöglichkeiten für die hier getestete Kombination wird deutlich, welche wichtige Rolle dieses bisher außerhalb der Spielebranche noch kaum behandelte Thema in den nächsten Jahren für Industrie und Medizin spielen könnte. Das Projekt DeepGrip zeigt, dass bereits mit relativ geringem Budget und Zeitaufwand eine VR-Anwendung entwickelt werden kann, die dazu in der Lage ist ihre Nutzer davon zu überzeugen, dass die dabei simulierten physikalischen Kräfte tatsächlich echt sind.

Wir bei Centigrade sind daher sehr gespannt auf die Projekte, in denen die Kombination aus Sehen und Fühlen in einer virtuellen Realität in Zukunft Einsatz finden wird.

 

Mehr zu DeepGrip und Innovationsprojekten:

  • Betriebskosten reduzieren dank Oculus Rift? Centigrade überrascht beim Automatisierungstreff mit VR Demonstration
  • Komplexe Produktionsprozesse mit modernen HMIs und VR beherrschen – der Industrial Usability Day 2015
  • Augmented Reality, Virtual Reality, HoloLens, HMI Live Styleguides – auf unterschiedlichen Wegen zur Industrial Usability
  • Smartwatches in der Industrie 4.0 – Centigrade präsentiert WatchOut-Projekt auf ITQ Kompetenztag Engineering 2015
  • Oculus Rift DK2

Möchten Sie mehr zu unseren Leistungen, Produkten oder zu unserem UX-Prozess erfahren?
Wir sind gespannt auf Ihre Anfrage.

Senior UX Manager
+49 681 959 3110

Bitte bestätigen Sie vor dem Versand Ihrer Anfrage über die obige Checkbox, dass wir Sie kontaktieren dürfen.