Blickbasierte Interaktion auf HoloLens 2
Eine unserer aufregenden neuen Funktionen auf HoloLens 2 ist Eyetracking. Auf unserer Seite Eye tracking on HoloLens 2 haben wir die Notwendigkeit erwähnt, dass jeder Benutzer eine Kalibrierung durchlaufen muss, einige Entwickleranleitungen bereitgestellt und Anwendungsfälle für Eyetracking hervorgehoben. Die Eingabe des Anvisierens ist immer noch eine neue Art von Benutzereingabe, und es gibt viel zu lernen.
Während die Eingabe des Anvisierens nur subtil in unserer Holographic Shell-Erfahrung verwendet wird (die Benutzeroberfläche, die Sie sehen, wenn Sie Ihre HoloLens 2 starten), zeigen mehrere Apps, wie z. B. der "HoloLens Playground", großartige Beispiele dafür, wie Eingaben mit Blick auf die Magie Ihrer holografischen Erfahrung hinzufügen können. Auf dieser Seite werden Entwurfsüberlegungen für die Integration von Eingaben zum Anvisieren des Auges für die Interaktion mit Ihren holografischen Anwendungen erläutert.
Sie lernen die wichtigsten Vorteile und auch die einzigartigen Herausforderungen kennen, die mit der Eingabe des Anvisierens verbunden sind. Basierend auf diesen stellen wir mehrere Designempfehlungen bereit, die Ihnen helfen sollen, benutzerfreundliche Benutzeroberflächen zu erstellen, die das Anvisieren unterstützen.
Geräteunterstützung
| Feature | HoloLens (1. Generation) | HoloLens 2 | Immersive Headsets |
| Anvisieren mit den Augen | ❌ | ✔️ | ❌ |
Demo zu Den Designkonzepten für Kopf- und Eyetracking
Wenn Sie die Designkonzepte von Head and Eye Tracking in Aktion sehen möchten, sehen Sie sich unten unsere Videodemo Designing Holograms - Head Tracking and Eye Tracking an. Wenn Sie fertig sind, fahren Sie mit fort, um einen ausführlicheren Einblick in bestimmte Themen zu finden.
Dieses Video stammt aus der App "Designing Holograms" HoloLens 2. Laden Sie hier herunter, und genießen Sie die gesamte Erfahrung.
Entwurfsrichtlinien für Eingaben mit blicken
Es kann schwierig sein, eine Interaktion zu entwickeln, die sich schnell bewegende Augenadressierung ausnutzt. In diesem Abschnitt werden die wichtigsten Vorteile und Herausforderungen zusammengefasst, die beim Entwerfen Ihrer Anwendung zu berücksichtigen sind.
Vorteile der Eingabe mit anvisierenden Augen
Hochgeschwindigkeitszeigen. Der Augenmuskel ist der am schnellsten reagierende Muskel im menschlichen Körper.
Geringer Aufwand. Es sind kaum körperliche Bewegungen notwendig.
Selbstverständlichkeit. Informationen über die Augenbewegungen eines Benutzers werden von Benutzern häufig als "Mind Reading" bezeichnet und lassen das System wissen, welches Ziel der Benutzer einbeziehen möchte.
Alternativer Eingabekanal. Das Anvisieren von Augen kann eine leistungsstarke unterstützende Eingabe für Hand- und Spracheingaben bieten, die auf jahrelanger Erfahrung von Benutzern basierend auf ihrer Hand-Augen-Koordination aufbauen.
Visuelle Aufmerksamkeit. Ein weiterer wichtiger Vorteil ist die Möglichkeit, ableiten zu können, worauf ein Benutzer achtet. Dies kann in verschiedenen Anwendungsbereichen helfen, von der effektiveren Bewertung verschiedener Designs bis hin zur Unterstützung intelligenterer Benutzeroberflächen und verbesserter sozialer Hinweise für die Remotekommunikation.
Kurz gesagt bietet die Verwendung des Blicks als Eingabe ein schnelles und müheloses kontextbezogenes Eingabesignal. Dies ist in Kombination mit anderen Eingaben wie Spracheingaben und manuellen Eingaben leistungsstark, um die Absicht des Benutzers zu bestätigen.
Herausforderungen des Anvisierens als Eingabe
Während das Anvisieren von Augen verwendet werden kann, um zufriedenstellende Benutzererfahrungen zu schaffen, die Ihnen das Gefühl geben, ein Superheld zu sein, ist es auch wichtig zu wissen, wozu es nicht gut ist, um dies angemessen zu berücksichtigen. In der folgenden Liste werden einige Herausforderungen erläutert, die bei der Arbeit mit Eingaben mit anvisierenden Augen zu berücksichtigen sind:
Ihr Blick ist "immer eingeschaltet" In dem Moment, in dem Sie Ihre Augen öffnen, beginnen Ihre Augen, sich auf Dinge in der Umgebung zu fixieren. Wenn Sie auf jedes Aussehen reagieren und versehentlich Aktionen ausgeben, weil Sie sich etwas zu lange angesehen haben, würde dies zu einer unbefriedigenden Erfahrung führen. Es wird empfohlen, das Anvisieren mit einem Sprachbefehl, einer Handgeste, einem Klick auf eine Schaltfläche oder einem erweiterten Verweilen zu kombinieren, um die Auswahl eines Ziels auszulösen (weitere Informationen finden Sie unter Anvisieren mit dem Auge und Commit). Diese Lösung ermöglicht auch einen Modus, in dem sich der Benutzer frei umschauen kann, ohne von unfreiwilligen Auslösen überfordert zu werden. Dieses Problem sollte auch beim Entwerfen von visuellem und auditivem Feedback beim Betrachten eines Ziels berücksichtigt werden. Versuchen Sie, den Benutzer nicht mit sofortigen Popupeffekten oder Hoversounds zu überfordern. Subtilität ist der Schlüssel. Wir werden einige bewährte Methoden für dies weiter unten besprechen, wenn wir über Entwurfsempfehlungen sprechen.
Beobachtung im Vergleich zu Steuerelementen Stellen Sie sich vor, Sie möchten ein Foto an der Wand genau geraden. Sie sehen sich die Grenzen und die Umgebung an, um zu sehen, ob sie gut ausgerichtet ist. Stellen Sie sich nun vor, wie Sie dies tun würden, wenn Sie Ihr Anvisieren mit den Augen als Eingabe verwenden möchten, um das Bild zu verschieben. Schwierig, oder? Dies beschreibt die Doppelrolle des Anvisierens, wenn dies sowohl für die Eingabe als auch für die Steuerung erforderlich ist.
Verlassen Sie, bevor Sie auf klicken: Für eine schnelle Zielauswahl haben Untersuchungen ergeben, dass das Anvisieren eines Benutzers weitergehen kann, bevor ein manueller Klick abgeschlossen wird (z. B. ein Tippen in die Luft). Achten Sie besonders auf die Synchronisierung des schnellen Blicksignals mit langsameren Steuereingaben (z. B. Stimme, Hände, Controller).
Kleine Ziele: Kennen Sie das Gefühl, wenn Sie versuchen, Text zu lesen, der einfach etwas zu klein ist, um bequem zu lesen? Dieses belastende Gefühl auf Ihren Augen kann dazu führen, dass Sie sich müde und abgenutzt fühlen, weil Sie versuchen, Ihre Augen so zu justieren, dass sie sich besser konzentrieren. Dies ist ein Gefühl, das Sie in Ihren Benutzern aufrufen können, wenn sie gezwungen werden, Ziele auszuwählen, die in Ihrer Anwendung zu klein sind, indem Sie die Eye-Targeting verwenden. Für Ihr Design, um eine angenehme und komfortable Erfahrung für Ihre Benutzer zu schaffen, empfehlen wir, dass Ziele mindestens 2° im Sichtwinkel, vorzugsweise größer, sein sollten.
Unregelmäßige Blickbewegungen Unsere Augen führen schnelle Bewegungen von fixation bis fixation aus. Wenn Sie sich Scanpfade aufgezeichneter Augenbewegungen ansehen, sehen Sie, dass sie unzerklückt aussehen. Ihre Augen bewegen sich schnell und in spontanen Sprüngen im Vergleich zu Kopf-Anvisieren oder Handbewegungen.
Nachverfolgungssicherheit: Die Genauigkeit der Augenverfolgung kann sich bei wechselndem Licht etwas verschlechtern, wenn sich Ihre Augen an die neuen Bedingungen anpassen. Dies sollte sich zwar nicht unbedingt auf ihren Anwendungsentwurf auswirken, da die Genauigkeit innerhalb der 2°-Beschränkung sein sollte, es kann jedoch erforderlich sein, dass der Benutzer erneut kalibriert wird.
Entwurfsempfehlungen
Im Folgenden finden Sie eine Liste mit spezifischen Entwurfsempfehlungen, die auf den beschriebenen Vorteilen und Herausforderungen für die Eingabe mit blickenden Augen basieren:
Das Anvisieren mit dem Anvisieren mit dem Kopf ist nicht identisch:
Überlegen Sie, ob schnelle, aber unregelmäßige Augenbewegungen zu Ihrer Eingabeaufgabe passen: Unsere schnellen und unregelmäßigen Augenbewegungen eignen sich zwar hervorragend für die schnelle Auswahl von Zielen in unserem Sichtfeld, aber sie sind weniger für Aufgaben geeignet, die reibungslose Eingabepfade erfordern (z. B. Zeichnen oder Umschließen von Anmerkungen). In diesem Fall sollte der Zeiger mit der Hand oder dem Kopf bevorzugt werden.
Vermeiden Sie es, etwas direkt an den Blick des Benutzers anzufügen (z. B. einen Schieberegler oder Cursor). Bei Cursorn kann dies aufgrund geringfügiger Verschiebungen im projizierten Anvisierensignal zu einem "flüchtenden Cursor"-Effekt führen. Bei einem Schieberegler kann es mit der Doppelrolle in Konflikt stehen, den Schieberegler mit ihren Augen zu steuern, während gleichzeitig überprüft werden soll, ob sich das Objekt an der richtigen Position befindet. Für das Beispiel des Schiebereglers ist es sinnvoller, das Anvisieren mit den Augen in Kombination mit Handbewegungen zu verwenden. Dies bedeutet, dass der Benutzer schnell und mühelos zwischen vielen Schiebereglern wechseln kann, seine Hand hochhebt und seinen Daumen und Zeigefinger zusammendrückt, um ihn zu greifen und zu bewegen. Wenn das Zusammendrücken losgelassen wird, bewegt sich der Schieberegler nicht mehr. Benutzer können überfordert und abgelenkt werden, insbesondere wenn das Signal für diesen Benutzer ungenau ist.
Kombinieren Sie das Anvisieren mit anderen Eingaben: Die Integration von Eyetracking mit anderen Eingaben wie Handgesten, Sprachbefehlen oder Tastendrücken bietet mehrere Vorteile:
Kostenlose Beobachtung zulassen: Da die Standard Rolle unserer Augen darin besteht, unsere Umgebung zu beobachten, ist es wichtig, dass Benutzer sich umsehen dürfen, ohne Feedback oder Aktionen (visuell, auditiv usw.) auszulösen. Die Kombination von Eyetracking mit einem anderen Eingabesteuerelement ermöglicht einen reibungslosen Übergang zwischen eyetracking-Beobachtungs- und Eingabesteuerungsmodi.
Leistungsstarker Kontextanbieter: Die Verwendung von Informationen darüber, wo und was der Benutzer beim Sprechen eines Sprachbefehls oder einer Handgeste betrachtet, ermöglicht das nahtlose Kanalieren der Eingabe über das Sichtfeld. Beispiel: Sagen Sie "platzieren Sie das dort" , um schnell und flüssig ein Hologramm in der Szene auszuwählen und zu positionieren, indem Sie ein Ziel und sein beabsichtigtes Ziel betrachten.
Notwendigkeit der Synchronisierung multimodaler Eingaben: Die Kombination schneller Augenbewegungen mit komplexeren Eingaben, z. B. lange Sprachbefehle oder Handgesten, birgt das Risiko, dass der Benutzer sich bereits weiter umschaut, bevor der zusätzliche Eingabebefehl abgeschlossen und erkannt wird. Wenn Sie eigene Eingabesteuerelemente erstellen (z. B. benutzerdefinierte Handgesten), müssen Sie den Beginn dieser Eingabe oder die ungefähre Dauer protokollieren, um sie mit dem zu korrelieren, was ein Benutzer in der Vergangenheit betrachtet hatte.
Subtiles Feedback für Eyetracking-Eingaben: Es ist nützlich, Feedback zu geben, wenn ein Ziel betrachtet wird, um anzugeben, dass das System wie beabsichtigt funktioniert, aber subtil gehalten werden sollte. Dies kann das langsame Ein- und Ausblenden, visuelle Hervorhebungen oder andere subtile Zielverhalten wie Zeitlupen umfassen, z. B. eine geringfügige Erhöhung der Zielgröße. Dies gibt an, dass das System ordnungsgemäß erkannt hat, dass der Benutzer ein Ziel betrachtet, ohne den aktuellen Workflow des Benutzers unnötig zu unterbrechen.
Vermeiden Sie es, unnatürliche Augenbewegungen als Eingabe zu erzwingen: Erzwingen Sie nicht, dass Benutzer bestimmte Augenbewegungen (Anvisieren von Gesten) verwenden, um Aktionen in Ihrer Anwendung auszulösen.
Ungenauigkeiten berücksichtigen: Wir unterscheiden zwei Arten von Ungenauigkeiten, die für Benutzer wahrnehmbar sind: Offset und Jitter. Die einfachste Möglichkeit, einen Offset zu beheben, besteht darin, ausreichend große Ziele für die Interaktion bereitzustellen. Es wird empfohlen, einen visuellen Winkel von mehr als 2° als Referenz zu verwenden. Für instance ist Ihre Miniaturansicht etwa 2° im Sichtwinkel, wenn Sie Den Arm ausstrecken. Dies führt zu der folgenden Anleitung:
- Erzwingen Sie nicht, dass Benutzer kleine Ziele auswählen. Untersuchungen haben gezeigt, dass Benutzer ihre Interaktionen als mühelos und magisch beschreiben, wenn die Ziele ausreichend groß und das System gut gestaltet sind. Wenn Ziele zu klein werden, beschreiben Benutzer die Erfahrung als ernügend und frustrierend.
Auf dieser Seite haben Sie einen guten Überblick erhalten, damit Sie das Anvisieren von Augen als Eingabe in Mixed Reality verstehen können. Um mit der Entwicklung zu beginnen, lesen Sie unsere Informationen zum Anvisieren mit dem Auge in Unity und zum Anvisieren mit den Augen in DirectX.