Blog

Leap Motion – Nur eine nette Geste?

Frederic Frieß

Die ersten Ankündigungen des Leap Motion Controllers riefen sicherlich bei vielen Personen die allzu oft zitierten Bilder aus dem Film Minority Report zurück ins Gedächtnis. Schnell kam die Frage auf, ob der Leap Motion Controller tatsächlich das Potential besitzt, berührungslose Interaktion bereits in naher Zukunft beim täglichen Umgang mit Computern zu realisieren. Ähnliche Hoffnungen und Erwartungen sind bereits 2011 mit der Veröffentlichung der Kinect geweckt worden, die sich allerdings bei genauer Betrachtung nur für ein eingeschränktes Anwendungsfeld eignet.

Der Leap Motion Sensor ist ein Eingabegerät, das ohne jegliche Berührung auskommt und auf Infrarot-Technologie basiert. Er erlaubt die Bedienung eines Computers bzw. einer Anwendung durch Bewegung der Hände und Finger im freien Raum. Im Gegensatz zur Kinect ist dieser Sensor für kurze Distanz ausgelegt und dadurch für den PC geeignet. Er besteht aus einem unscheinbaren Aluminiumgehäuse in der Größe eines Textmarkers mit einem eingelassenen dunklen Plexiglas-Fenster. Er wird flach auf dem Schreibtisch platziert, sodass das Plexiglas Fenster nach oben zeigt und somit die Hände des Nutzers von unten erfasst werden können. Der Sensor spannt einen sensitiven dreidimensionalen Bereich auf, in dem die Position der Hände und Finger getrackt werden kann.


Die Leap Motion

Leap Motion-Apps werden über einen zentralen Markplatz (den Airspace Store) zur Verfügung gestellt und können dort bezogen werden. Hier standen schon direkt nach der Veröffentlichung der Hardware ca. 80 Anwendungen zum Download zur Verfügung, welche die Möglichkeiten des Sensors veranschaulichen. Mit dieser Sammlung konnten wir uns bei Centigrade ein genaueres Bild von der Leap Motion machen und den beeindruckenden Ankündigungen auf den Grund gehen.

Untersuchung

Der Leap-Visualizer ist eine einfache App, welche sich hervorragend für den Einstieg dieser Untersuchung eignet. Die Anwendung visualisiert in einer ansprechenden Form die Rohdaten des Leap Motion Sensors. Platziert der Nutzer seine Hände mit den Handflächen nach unten über den Sensor, werden digitale Repräsentationen in Form eines stilisierten 3D-Modells angezeigt. Die Bewegungen der Hände und Finger werden präzise in Echtzeit auf die Repräsentationen übertragen. Durch deren Bewegungen können Partikelsysteme beeinflusst werden, was bei der erstmaligen Bedienung ein interessantes Erlebnis darstellt.


Die Leap-Visualizer

Allerdings können bereits in dieser Anwendung einige Einschränkungen in Bezug auf die Trackingeigenschaften des Sensors beobachtet werden. Das Tracking funktioniert nur reibungslos, wenn der Nutzer die Finger gespreizt hält und die Handflächen frontal zum Sensor hält. Berühren sich während des Trackings einzelne Finger, werden diese schnell als ein einziger interpretiert (linkes Bild). Werden alle Finger geschlossen und der Daumen eingezogen, erkennt die Leap Motion nur die Handfläche (mittleres Bild).


Einschränkungen der Leap Motion

Ein weiteres Problem zeichnet sich ab, wenn die Handfläche senkrecht zum Sensor gedreht wird. In diesem Fall können die Stellungen der einzelnen Finger und die Orientierung der Hände nur schwer berechnet werden, was in einem instabilen Tracking resultiert (rechtes Bild). Grund hierfür ist, dass der Sensor nur von seiner liegenden Position aus nach oben schaut und die Finger sich gegenseitig verdecken. Damit der Sensor die Ausrichtung der Hand berechnen kann, ist der Nutzer also gezwungen die Finger leicht gespreizt zu halten und die Handfläche zur Tischplatte zu orientieren.

Jedoch benötigen die wenigsten Anwendungen die Orientierung der ganzen Hand. Zumeist reicht ein einzelner Finger als Zeiger. Über diese Zeige-Geste kann der Nutzer einen Cursor auf dem Bildschirm steuern. Dies funktioniert beispielsweise sehr gut bei den Spielen Fruit Ninja und Cut the Rope. Bei diesen Apps werden mit einem gezielten Fingerwisch virtuelle Objekte auf dem Bildschirm durchschnitten. Hierbei wird lediglich die Orientierung eines Fingers benötigt, um diese auf den Cursor zu projizieren. Da die Präzision des Cursors bei diesen Spielen eher in den Hintergrund rückt und sich die Spielmechaniken um schnelle Bewegungen in einem bestimmten Bereich drehen, funktioniert die Zeige-Geste bei diesem Szenario sehr gut.


Fruit Ninja (Quelle)

Anders sieht es bei vielen anderen Anwendungen aus, welche die Zeige-Geste nutzen. Die Anwendung Touchless soll es ermöglichen, Windows und Mac OS X per Leap Motion zu steuern. Hierbei wird der Raum über dem Sensor in zwei Bereiche eingeteilt, der durch eine gedachte Trennwand aufgeteilt wird. Alle Bewegungen vor der Trennung werden als Mausbewegung interpretiert. Durchbricht der Finger die Trennung, wird dies als Berühren des Desktops interpretiert, wodurch Aktionen wie Klicken und Draggen ermöglich werden. Diese Metapher benötigt eine hohe Präzision, welche der Sensor zwar liefert, die Hand des Nutzers aber nicht leisten kann. Die menschlichen Hände und Finger sind auf Dauer nicht präzise genug für pixelgenaues Zeigen im Raum. So kann alleine das Öffnen eines Ordners zu einer Herausforderung werden, wodurch sich zwangsweise die Frage stellt, ob ein Nutzer nicht doch mit der Maus deutlich schneller zum Ziel kommt. Ähnliche Probleme wurden auch in unserem Blog-Artikel zum Kinect-Sensor diskutiert.


Touchebene der Touchless-App (Quelle)

Eine Eigenschaft, die den Sensor von herkömmlichen Geräten wie Maus und Tastatur unterscheidet, ist allerdings das 3D Tracking im Raum. Da der sensitive Bereich ein Volumen beschreibt, können aus diesem 3D-Positionen ermittelt werden. So können Translations-, Rotations- und Skalierungsoperationen an virtuellen Objekten durchgeführt werden. Auch für dieses Anwendungsszenario bietet der Airspace Store Apps (z.B. Cyber Science – Motion) an, die aber allesamt eine gemeinsame Problematik bergen: Der Sensor ist so empfindlich, dass es schwierig ist, relevante Bewegungen von unwichtigen Bewegungen zu unterscheiden. Befindet sich eine Hand im sensitiven Bereich, wird sie getrackt und das System kann nur schwerlich unterscheiden, ob die Bewegung nun einen Einfluss auf die Anwendung haben soll oder nicht. Viele Apps behelfen sich durch zusätzliche Finger-Gesten aus dieser Problematik, was im Praxistest aber zu unnatürlichen und anstrengenden Interaktionen führt.


Cyber Science – Motion

Fazit

Zusammenfassend kann gesagt werden, dass die Genauigkeit des Sensors grundsätzlich sehr hoch ist, was jedoch gleichzeitig auch von Nachteil ist. Die getesteten Apps haben größtenteils Probleme interaktionsrelevante Bewegungen von unwichtigen Bewegungen zu unterscheiden. Vielmehr reagieren sie auf jede noch so kleine Bewegung innerhalb des sensitiven Bereiches.
Genau dieses Verhalten ist allerdings bei der Zeige-Geste erwünscht und stellt hier kein Problem dar, weil die Fingerbewegung kontinuierlich auf den Cursor übertragen wird. Solange diese Geste in einer Bewegung stattfindet, können die Anwendungen in einer angenehmen Weise gesteuert werden. Kommt es jedoch zu feinmotorischen Aufgaben, fehlt das haptische Feedback und macht die Interaktion dadurch anormal und auf Dauer schwierig.

THE VERGE trifft mit folgendem Zitat recht genau die Problematik, mit der berührungslose Interaktionskonzepte wie die Leap Motion konfrontiert sind:

“It’s important that we not lose track of the goal of technology: to make our lives easier. Human beings are meant to touch, manipulate, peel, push, click, tap, brush, rub, knock, squeeze, and feel. Creating a user interface that ignores human behavior does not improve how we interact. (…) The Leap Motion Controller, while cool, doesn’t improve anything.”

Allerdings könnten in Zukunft zusätzliche Devices, wie das Forschungsprojekt Aireal von Disneyresearch, beim haptischen Feedback für berührungslose Mensch-Maschine-Interaktion Abhilfe schaffen.

Möchten Sie mehr zu unseren Leistungen, Produkten oder zu unserem UX-Prozess erfahren?
Wir sind gespannt auf Ihre Anfrage.

Senior UX Manager
+49 681 959 3110

Bitte bestätigen Sie vor dem Versand Ihrer Anfrage über die obige Checkbox, dass wir Sie kontaktieren dürfen.