-
Technisches Gebiet
-
Ausführungsbeispiele befassen sich mit Verfahren, einer Vorrichtung sowie einem Computerprogramm zum Steuern einer Benutzeroberfläche, genauer, aber nicht ausschließlich, mit Konzepten zum Steuern einer Benutzeroberfläche, bei denen die Benutzeroberfläche auf eine Hand projiziert wird.
-
Hintergrund
-
Zur Steuerung von Benutzeroberflächen existieren einer Vielzahl von Ansätzen: So werden seit dem Beginn von elektrischen Systemen haptische Knöpfe oder Hebel benutzt, um Maschinen zu bedienen, etwa einfache Druckknöpfe. Um auch komplexere Systeme bedienen zu können wurden diese Knöpfe nach und nach in sog. Tastaturen zusammengefasst, wie sie auch heute genutzt werden, um Computer zu bedienen. Doch auch andere Eingabegeräte, wie etwa Mäuse, werden genutzt, um Benutzeroberflächen zu bedienen.
-
Eine weitere, seit den frühen 2000er Jahren häufig genutzte Möglichkeit, um Benutzeroberflächen zu bedienen, sind Touchscreens (berührungsempfindliche Anzeigegeräte), bei denen der Nutzer mit einem Finger oder einem sog. Stylus (Stift zur Bedienung von Touchscreens) die Benutzeroberfläche direkt manipulieren kann. Diese Eingabemöglichkeiten haben jedoch alle den Nachteil, dass ihre Implementierungen einen gewissen Platz benötigen oder eine ungünstige Ergonomie aufweisen: So benötigen Tastaturen und Mäuse eine große Fläche, auf der sie untergebracht werden können während Touchscreens in vielen Fällen ergonomisch fragwürdig sind, etwa in Bildschirmen, die annähernd Senkrecht vor dem Nutzer angeordnet sind.
-
Es besteht der Bedarf nach einem verbesserten Eingabekonzept zum Steuern einer Benutzeroberfläche.
-
Zusammenfassung
-
Diesem Bedarf wird durch die Verfahren, die Vorrichtung sowie das Computerprogramm gemäß den unabhängigen Ansprüchen Rechnung getragen.
-
Ausführungsbeispiele basieren auf der Einsicht, dass eine Hand genutzt werden kann, um die Benutzeroberfläche sowohl darzustellen als auch, über die Erfassung einer Bewegung der Hand, die Benutzeroberfläche zu steuern. Dazu wird erfindungsgemäß die Benutzeroberfläche auf die Hand eines Benutzers projiziert. Über einen Distanzsensor wird die Bewegung der Hand entlang einer Tiefenachse erfasst, d.h. die Bewegung der Hand wird beispielsweise nicht nur als laterale Bewegung erfasst, sondern auch in der Tiefenachse, was die Nutzung von intuitiveren Gesten in der Steuerung der Benutzeroberfläche ermöglicht. So kann z.B. eine Drehung der Hand erkannt werden, die dazu führt, dass die Benutzeroberfläche aktiviert oder deaktiviert wird, oder eine Krümmung der Hand kann erkannt werden und genutzt werden, um Auswahlmöglichkeiten der Benutzeroberfläche auszuwählen.
-
Ausführungsbeispiele schaffen ein Verfahren zum Steuern einer Benutzeroberfläche. Das Verfahren umfasst ein Projizieren der Benutzeroberfläche auf eine Hand eines Benutzers. Das Verfahren umfasst ferner ein Bestimmen von drei-dimensionaler Distanzinformation einer Distanz zwischen der Hand und einem Distanzsensor. Das Verfahren umfasst ferner ein Bestimmen einer Bewegung von zumindest Teilen der Hand entlang einer Tiefenachse zwischen der Hand und dem Distanzsensor basierend auf der dreidimensionalen Distanzinformation. Das Verfahren umfasst ferner ein Steuern der Benutzeroberfläche basierend auf der Bewegung von zumindest Teilen der Hand entlang der Tiefenachse zwischen der Hand und dem Distanzsensor. Durch die Projektion der Benutzeroberfläche auf die Hand, das Erfassen der Bewegung der Hand in der Tiefenachse und die Steuerung der Benutzeroberfläche basierend auf der erkannten Bewegung wird die Benutzeroberfläche bedienbar, ohne dass dabei eine Fläche für die Bedienung der Benutzeroberfläche vorgesehen sein muss, so dass zumindest manche Ausführungsbeispiele die erfindungsgemäße Aufgabe lösen.
-
In zumindest manchen Ausführungsbeispielen umfasst das Bestimmen der Bewegung von zumindest Teilen der Hand ein Bestimmen einer Rotationsbewegung der Hand. Die Benutzeroberfläche kann basierend auf der Rotationsbewegung gesteuert werden. Das Erkennen der Rotationsbewegung wird durch das Bestimmung der Bewegung in der Tiefenachse ermöglicht oder verbessert, so dass entsprechende Bewegungen für die Bedienung der Benutzeroberfläche genutzt werden können.
-
Beispielsweise kann das Verfahren ein Erkennen, ob eine Handinnenseite oder eine Handaußenseite dem Distanzsensor zugewandt ist, und ein Aktivieren der Benutzeroberfläche, falls die Handinnenseite durch eine Rotationsbewegung dem Distanzsensor zugewandt wird, umfassen. So kann die Rotation der Hand genutzt werden, um die Benutzeroberfläche zu aktivieren, indem intuitiv zwischen einer lediglich passiv genutzten Seite der Hand auf eine aktiv genutzte Seite der Hand gewechselt wird.
-
Zusätzlich oder alternativ kann das Bestimmen der Bewegung von zumindest Teilen der Hand ein Bestimmen einer Rotations- oder Krümmungsbewegung von zumindest Teilen der Hand umfassen. Die Benutzeroberfläche kann basierend auf der Rotations- oder Krümmungsbewegung gesteuert werden. Auch das Erkennen der Rotations- oder Krümmungsbewegung wird durch das Bestimmung der Bewegung in der Tiefenachse ermöglicht oder verbessert, so dass entsprechende Bewegungen für die Bedienung der Benutzeroberfläche genutzt werden können.
-
Dabei kann durch eine Krümmung oder Rotation der Hand eine Auswahlmöglichkeit aus einer Mehrzahl von Auswahlmöglichkeiten ausgewählt werden. Durch die Krümmung oder Rotation wird die Auswahl ermöglicht, da sowohl ein Rotationsgrad der Rotation als auch ein Krümmungswinkel oder Krümmungsschwerpunkt eine feingranulare Auswahl von Auswahlmöglichkeiten ermöglichen.
-
Beispielsweise kann die Auswahl der Auswahlmöglichkeit durch ein Auswahlfeld in der Benutzeroberfläche visualisiert werden. Das Auswahlfeld kann durch die Krümmung oder Rotation der Hand so gesteuert werden, dass sich das Auswahlfeld basierend auf einer Lage der Hand schwerkraftgemäß zwischen den Auswahlmöglichkeiten bewegt. Durch eine schwerkraftgemäße Auswahl kann dem Benutzer eine intuitive Möglichkeit gegeben werden, um die Auswahlmöglichkeiten auszuwählen.
-
Alternativ oder zusätzlich kann die Benutzeroberfläche auch über die Krümmung der Finger bedient werden. Beispielsweise können zumindest zwei Auswahlmöglichkeiten der Benutzeroberfläche auf zumindest zwei Finger projiziert werden. Eine der zumindest zwei Auswahlmöglichkeiten kann ausgewählt werden, falls der entsprechende Finger gekrümmt wird. Dies ermöglicht einen direkten Zusammenhang zwischen der Auswahlmöglichkeit und dem Teil der Hand, der betätigt werden soll, um die Auswahlmöglichkeit auszuwählen.
-
Beispielsweise kann eine der zumindest zwei Auswahlmöglichkeiten ausgewählt werden, falls der entsprechende Finger durch die Krümmung des Fingers einen weiteren Finger berührt, auf den keine Auswahlmöglichkeit projiziert wird. So kann etwa durch Zusammenführen eines Fingers mit Projektion und Daumen die Auswahl bestätigt werden.
-
In manchen Ausführungsbeispielen kann das Bestimmen der Bewegung von zumindest Teilen der Hand ein Bestimmen einer Bewegung der gesamten Hand entlang der Tiefenachse umfassen. Die Benutzeroberfläche kann basierend auf der Bewegung der gesamten Hand entlang der Tiefenachse gesteuert werden. Dies kann etwa genutzt werden, um eine Auswahl zu bestätigen oder um Werte graduell zu verändern.
-
Beispielsweise kann durch eine Bewegung der gesamten Hand entlang der Tiefenachse in Richtung des Distanzsensors ein Element der Benutzeroberfläche geändert oder aktiviert werden. Im Falle des Aktivierens kann dies dem „Klicken“ einer Maus entsprechen.
-
In zumindest einigen Ausführungsbeispielen umfasst die drei-dimensionale Distanzinformation der Distanz zwischen der Hand und einem Distanzsensor eine Mehrzahl von Distanzwerten für unterschiedliche Abschnitte der Hand. Die Bewegung von zumindest Teilen der Hand kann basierend auf der Mehrzahl von Distanzwerten bestimmt werden. Dies ermöglicht oder verbessert eine Erkennung der Rotation und/oder der Krümmung der Hand.
-
Das Verfahren kann ferner ein Bereitstellen einer akustischen Rückmeldung basierend auf der Steuerung der Benutzeroberfläche umfassen. Dies ermöglicht dem Benutzer eine verbesserte Rückmeldung auf die abstrakte Bedienung der Benutzeroberfläche mit der Hand.
-
In zumindest manchen Ausführungsbeispielen ist die Steuerung der Benutzeroberfläche unabhängig von einer Bewegung der Hand orthogonal zu der Tiefenachse. Dies vermeidet Situationen, in denen der Benutzer eine unangenehme Handposition einhalten muss, während er die Benutzeroberfläche bedient.
-
Das Verfahren kann ein Bereitstellen eines Steuersignals für die Benutzeroberfläche umfassen, um das Steuern der Benutzeroberfläche zu bewirken. Das Steuern der Benutzeroberfläche kann durch die Benutzeroberfläche visualisiert werden. Das Steuersignal wird generiert, um nach der Verarbeitung der Bewegung der Hand die Benutzeroberfläche entsprechend steuern zu können. Dadurch, dass das Steuersignal entsprechende Instruktionen zum Steuern der Benutzeroberfläche enthält können diese ferner genutzt werden, um die Steuerung zu visualisieren.
-
In einigen Ausführungsbeispielen umfasst das Verfahren ein Erkennen, ob die Hand geöffnet oder geschlossen wird, basierend auf der Bewegung von zumindest Teilen der Hand entlang der Tiefenachse. Das Verfahren kann ein Aktivieren der Benutzeroberfläche, falls erkannt wird, dass die Hand geöffnet wird, und ein Deaktivieren der Benutzeroberfläche, falls erkannt wird, dass die Hand geschlossen wird, umfassen. Durch „Öffnen“ und „Schließen“ der Hand kann der Benutzer intuitiv signalisieren, dass er wünscht, die Benutzeroberfläche zu nutzen, oder dass er wünscht, die Nutzung zu beendigen.
-
Ausführungsbeispiele schaffen ferner ein weiteres Verfahren zum Steuern der Benutzeroberfläche. Wo das vorherige Verfahren sich auf das Gesamtsystem aus Distanzsensor, Projektionseinrichtung, Verarbeitung und Benutzeroberfläche bezieht, bezieht sich das weitere Verfahren auf die entsprechenden Merkmale in Bezug auf ein Verarbeitungsmodul, etwa einen Prozessor, das ausgebildet ist, um die Verarbeitungsschritte des o.g. Verfahrens auszuführen. Folglich entspricht das weitere Verfahren dem zuvor vorgestellten Verfahren in weiten Teilen. Das weitere Verfahren erfasst ein Bereitstellen eines Anzeigesignals für eine Projektionseinrichtung, um zu bewirken, dass die Benutzeroberfläche auf eine Hand eines Benutzers projiziert wird. Das weitere Verfahren umfasst ferner ein Erhalten eines Distanzmesssignals von einem Distanzsensor. Das weitere Verfahren umfasst ferner ein Bestimmen von drei-dimensionaler Distanzinformation einer Distanz zwischen der Hand und dem Distanzsensor basierend auf dem Distanzmesssignal. Das weitere Verfahren umfasst ferner ein Bestimmen einer Bewegung von zumindest Teilen der Hand entlang einer Tiefenachse zwischen der Hand und dem Distanzsensor basierend auf der dreidimensionalen Distanzinformation. Das weitere Verfahren umfasst ferner ein Bereitstellen eines Steuersignals für die Benutzeroberfläche, um ein Steuern der Benutzeroberfläche basierend auf der Bewegung von zumindest Teilen der Hand entlang der Tiefenachse zwischen der Hand und dem Distanzsensor zu bewirken
-
Ausführungsbeispiele schaffen ferner ein Programm mit einem Programmcode zum Durchführen des weiteren Verfahrens, wenn der Programmcode auf einem Computer, einem Prozessor, einem Kontrollmodul oder einer programmierbaren Hardwarekomponente ausgeführt wird.
-
Ausführungsbeispiele schaffen ferner eine Vorrichtung zum Steuern einer Benutzeroberfläche. Die Vorrichtung umfasst zumindest eine Schnittstelle ausgebildet zur Kommunikation mit einer Projektionseinrichtung und mit einem Distanzsensor. Die Vorrichtung umfasst ferner ein Verarbeitungsmodul ausgebildet zum Bereitstellen eines Anzeigesignals für die Projektionseinrichtung, um die Benutzeroberfläche auf eine Hand eines Benutzers zu projizieren. Das Verarbeitungsmodul ist ferner ausgebildet zum Erhalten eines Distanzmesssignals von dem Distanzsensor. Das Verarbeitungsmodul ist ausgebildet zum Bestimmen von drei-dimensionaler Distanzinformation einer Distanz zwischen der Hand und dem Distanzsensor basierend auf dem Distanzmesssignal. Das Verarbeitungsmodul ist ausgebildet zum Bestimmen einer Bewegung von zumindest Teilen der Hand entlang einer Tiefenachse zwischen der Hand und dem Distanzsensor basierend auf der dreidimensionalen Distanzinformation. Das Verarbeitungsmodul ist ferner ausgebildet zum Bereitstellen eines Steuersignals für die Benutzeroberfläche, um ein Steuern der Benutzeroberfläche basierend auf der Bewegung von zumindest Teilen der Hand entlang der Tiefenachse zwischen der Hand und dem Distanzsensor zu bewirken.
-
Figurenliste
-
Einige Beispiele von Vorrichtungen und/oder Verfahren werden nachfolgend bezugnehmend auf die beiliegenden Figuren lediglich beispielhaft näher erläutert. Es zeigen:
- 1a bis 1c zeigen Flussdiagramme von Ausführungsbeispielen von Verfahren zum Steuern einer Benutzeroberfläche;
- 1d zeigt ein Blockdiagramm eines Ausführungsbeispiels einer Vorrichtung zum Steuern einer Benutzeroberfläche.
- 2a bis 2d zeigen schematische Zeichnungen eines Ausführungsbeispiels, in dem ein Telefonanruf angenommen wird;
- 3a und 3b zeigen schematische Zeichnungen eines weiteren Ausführungsbeispiels, in dem ein Auswahlmenü in 3 Dimensionen bedient wird; und
- 4a und 4b zeigen schematische Zeichnungen eines weiteren Ausführungsbeispiels, in dem eine Kategorie durch das Antippen von Fingerspitzen ausgewählt wird.
-
Beschreibung
-
Verschiedene Beispiele werden nun ausführlicher Bezug nehmend auf die beiliegenden Figuren beschrieben, in denen einige Beispiele dargestellt sind. In den Figuren können die Stärken von Linien, Schichten und/oder Bereichen zur Verdeutlichung übertrieben sein.
-
Während sich weitere Beispiele für verschiedene Modifikationen und alternative Formen eignen, sind dementsprechend einige bestimmte Beispiele derselben in den Figuren gezeigt und werden nachfolgend ausführlich beschrieben. Allerdings beschränkt diese detaillierte Beschreibung weitere Beispiele nicht auf die beschriebenen bestimmten Formen. Weitere Beispiele können alle Modifikationen, Entsprechungen und Alternativen abdecken, die in den Rahmen der Offenbarung fallen. Gleiche oder ähnliche Bezugszeichen beziehen sich in der gesamten Beschreibung der Figuren auf gleiche oder ähnliche Elemente, die bei einem Vergleich miteinander identisch oder in modifizierter Form implementiert sein können, während sie die gleiche oder eine ähnliche Funktion bereitstellen.
-
Es versteht sich, dass, wenn ein Element als mit einem anderen Element „verbunden“ oder „gekoppelt“ bezeichnet wird, die Elemente direkt, oder über ein oder mehrere Zwischenelemente, verbunden oder gekoppelt sein können. Wenn zwei Elemente A und B unter Verwendung eines „oder“ kombiniert werden, ist dies so zu verstehen, dass alle möglichen Kombinationen offenbart sind, d. h. nur A, nur B sowie A und B, sofern nicht explizit oder implizit anders definiert. Eine alternative Formulierung für die gleichen Kombinationen ist „zumindest eines von A und B“ oder „A und/oder B“. Das Gleiche gilt, mutatis mutandis, für Kombinationen von mehr als zwei Elementen.
-
Die Terminologie, die hier zum Beschreiben bestimmter Beispiele verwendet wird, soll nicht begrenzend für weitere Beispiele sein. Wenn eine Singularform, z. B. „ein, eine“ und „der, die, das“ verwendet wird und die Verwendung nur eines einzelnen Elements weder explizit noch implizit als verpflichtend definiert ist, können weitere Beispiele auch Pluralelemente verwenden, um die gleiche Funktion zu implementieren. Wenn eine Funktion nachfolgend als unter Verwendung mehrerer Elemente implementiert beschrieben ist, können weitere Beispiele die gleiche Funktion unter Verwendung eines einzelnen Elements oder einer einzelnen Verarbeitungsentität implementieren. Es versteht sich weiterhin, dass die Begriffe „umfasst“, „umfassend“, „aufweist“ und/oder „aufweisend“ bei Gebrauch das Vorhandensein der angegebenen Merkmale, Ganzzahlen, Schritte, Operationen, Prozesse, Elemente, Komponenten und/oder einer Gruppe derselben präzisieren, aber nicht das Vorhandensein oder das Hinzufügen eines oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Prozesse, Elemente, Komponenten und/einer Gruppe derselben ausschließen.
-
Sofern nicht anderweitig definiert, werden alle Begriffe (einschließlich technischer und wissenschaftlicher Begriffe) hier in ihrer üblichen Bedeutung auf dem Gebiet verwendet, zu dem Beispiele gehören.
-
Die 1a bis 1c zeigen Flussdiagramme von Ausführungsbeispielen von Verfahren zum Steuern einer Benutzeroberfläche. Das Verfahren der 1a und 1b ist von seinem Abdeckungsbereich auf ein Gesamtsystem bezogen, in dem eine Projektionseinrichtung, ein Distanzsensor und ein Verarbeitungsmodul kombiniert werden, um das Verfahren auszuführen. Das Verfahren umfasst ein Projizieren 110 der Benutzeroberfläche auf eine Hand eines Benutzers. Das Verfahren umfasst ferner ein Bestimmen 120 von drei-dimensionaler Distanzinformation einer Distanz zwischen der Hand und einem Distanzsensor. Das Verfahren umfasst ferner ein Bestimmen 130 einer Bewegung von zumindest Teilen der Hand entlang einer Tiefenachse zwischen der Hand und dem Distanzsensor basierend auf der dreidimensionalen Distanzinformation. Das Verfahren umfasst ferner ein Steuern 140 der Benutzeroberfläche basierend auf der Bewegung von zumindest Teilen der Hand entlang der Tiefenachse zwischen der Hand und dem Distanzsensor. Das Verfahren kann durch ein System umfassend die Projektionseinrichtung, den Distanzsensor und das Verarbeitungsmodul ausgeführt werden.
-
1c ist demgegenüber auf das entsprechende Verfahren aus Sicht des Verarbeitungsmoduls gerichtet. Das Verfahren umfasst ein Bereitstellen 110a eines Anzeigesignals für eine Projektionseinrichtung, um zu bewirken, dass die Benutzeroberfläche auf eine Hand eines Benutzers projiziert 110 wird. Das Verfahren umfasst ferner ein Erhalten 120a eines Distanzmesssignals von einem Distanzsensor und ein Bestimmen 120 von drei-dimensionaler Distanzinformation einer Distanz zwischen der Hand und dem Distanzsensor basierend auf dem Distanzmesssignal. Das Verfahren umfasst ferner ein Bestimmen 130 einer Bewegung von zumindest Teilen der Hand entlang einer Tiefenachse zwischen der Hand und dem Distanzsensor basierend auf der dreidimensionalen Distanzinformation. Das Verfahren umfasst ferner ein Bereitstellen 140a eines Steuersignals für die Benutzeroberfläche, um ein Steuern 140 der Benutzeroberfläche basierend auf der Bewegung von zumindest Teilen der Hand entlang der Tiefenachse zwischen der Hand und dem Distanzsensor zu bewirken. Wie ersichtlich ist, stellt das Verfahren der 1c eine Implementierung des Verfahrens der 1a und 1b dar, in der die Verarbeitungsschritte durch das Verarbeitungsmodul ausgeführt werden, etwa in Verbindung mit zumindest einer Schnittstelle. Entsprechend sind Merkmale und Weiterbildungen des Verfahrens der 1a und 1b ebenfalls auf das Verfahren der 1c anwendbar.
-
1d zeigt ein Blockdiagramm eines Ausführungsbeispiels einer entsprechenden Vorrichtung 10 zum Steuern einer Benutzeroberfläche. Die Vorrichtung 10 umfasst zumindest eine Schnittstelle 12 ausgebildet zur Kommunikation mit einer Projektionseinrichtung 16 und mit einem Distanzsensor 18, d.h. die zumindest eine Schnittstelle ist mit der Projektionseinrichtung 16 und mit dem Distanzsensor 18 koppelbar. Die Vorrichtung 10 umfasst ferner ein Verarbeitungsmodul 14, das mit der zumindest einen Schnittstelle 12 gekoppelt ist. Das Verarbeitungsmodul 14 ist beispielsweise ausgebildet, um das Verfahren der 1c, und damit indirekt auch der 1a und 1b, auszuführen, etwa in Verbindung mit der zumindest einen Schnittstelle 12. Beispielsweise ist das Verarbeitungsmodul 14 ausgebildet zum Bereitstellen eines Anzeigesignals für die Projektionseinrichtung 16 (über die zumindest eine Schnittstelle 12), um die Benutzeroberfläche auf eine Hand eines Benutzers zu projizieren (d.h. um das Projizieren der Benutzeroberfläche auf die Hand des Benutzers zu bewirken). Das Verarbeitungsmodul 14 ist gebildet zum Erhalten eines Distanzmesssignals von dem Distanzsensor 18 (über die zumindest eine Schnittstelle 12). Das Verarbeitungsmodul 14 ist ausgebildet zum Bestimmen von drei-dimensionaler Distanzinformation einer Distanz zwischen der Hand und dem Distanzsensor basierend auf dem Distanzmesssignal. Das Verarbeitungsmodul 14 ist ausgebildet zum Bestimmen einer Bewegung von zumindest Teilen der Hand entlang einer Tiefenachse zwischen der Hand und dem Distanzsensor basierend auf der dreidimensionalen Distanzinformation. Das Verarbeitungsmodul 14 ist ausgebildet zum Bereitstellen eines Steuersignals für die Benutzeroberfläche, um ein Steuern der Benutzeroberfläche basierend auf der Bewegung von zumindest Teilen der Hand entlang der Tiefenachse zwischen der Hand und dem Distanzsensor zu bewirken. 1d zeigt ferner ein System umfassend die Projektionseinrichtung, den Distanzsensor und die Vorrichtung 10.
-
Die folgende Beschreibung bezieht sich sowohl auf die Verfahren der 1a bis 1c als auch auf die Vorrichtung der 1d.
-
Ausführungsbeispiele befassen sich mit Verfahren, Computerprogrammen und Vorrichtung zum Steuern einer Benutzeroberfläche. Die Benutzeroberfläche ist in diesem Fall eine visuelle Benutzeroberfläche, d.h. sie wird von dem Benutzer sehend wahrgenommen, und sie ist veränderbar, d.h. die Benutzeroberfläche verändert sich, etwa basierend auf einer Eingabe des Benutzer oder basierend auf Ereignissen eines Betriebssystems. Die Benutzeroberfläche wird in Ausführungsbeispielen auf eine (einzige) Hand des Benutzers projiziert 110. Um dies zu ermöglichen wird in zumindest einigen Ausführungsbeispielen ein Anzeigesignal für eine Projektionseinrichtung bereitgestellt 110a, um zu bewirken, dass die Benutzeroberfläche auf eine Hand eines Benutzers projiziert 110 wird. Dieses Anzeigesignal kann beispielsweise Video und/oder Steuerinformationen umfassen, die dazu ausgelegt sind, eine Projektion des Anzeigesignals auf der Benutzeroberfläche zu bewirken.
-
Beispielsweise kann die Projektionseinrichtung oberhalb der Hand des Benutzers angeordnet sein, etwa in einer Standleuchte, in einer Deckenleuchte, an der Decke eines Raums oder eine Fahrzeugs oder an einer Wand oder einem elektronischen Gerät, wie etwa einem Monitor. Die Benutzeroberfläche kann durch die Projektionseinrichtung (von oben) auf eine Oberfläche der Hand des Benutzers projiziert werden. Der Distanzsensor kann nach Wahl ebenfalls oberhalb der Hand des Benutzers angeordnet sein, etwa wie die Projektionseinrichtung/parallel zur Projektionseinrichtung. Alternativ kann der Distanzsensor unterhalb der Hand des Benutzers angeordnet sein.
-
Die Projektion der Benutzeroberfläche auf die Hand des Benutzers kann von der Distanz zwischen der Hand des Benutzers und der Projektionseinrichtung abhängen. Im Allgemeinen hat die Benutzeroberfläche eine feste Zielgröße, die basierend auf der Distanz zwischen der Hand des Benutzers und der Projektionseinrichtung angepasst werden kann, etwa um eine vorgegebene absolute Größe (etwa 8x10 cm) oder eine vorgegebene Größe relativ zur Hand (etwa 50%/60%/70%/80% einer Fläche des Handrückens oder der Handinnenseite) der Benutzeroberfläche zu erreichen. Ferner kann die Projektion der Benutzeroberfläche auf die Hand des Benutzers basierend auf der Distanz angepasst werden, um zu erreichen, dass die Benutzeroberfläche „scharf“ auf der Hand dargestellt ist, etwa durch Anpassen der Fokaldistanz. In anderen Worten kann das Verfahren ein Anpassen der Projektion der Benutzeroberfläche basierend auf der drei-dimensionalen Distanzinformation umfassen, etwa um eine vorgegebene absolute Größe oder eine vorgegebene Größe relativ zur Hand zu erreichen, oder um die Projektion scharzustellen. Dabei kann das Scharfstellen der Projektion über die Änderung der Fokaldistanz basierend auf der drei-dimensionalen Distanzinformation erfolgen. Die absolute oder relative Größe der Benutzeroberfläche kann durch Ändern des Bildwinkels, basierend auf drei-dimensionalen Distanzinformation erfolgen. Ferner kann die Projektion basierend auf einer Bewegung der Hand orthogonal zu der Tiefenachse angepasst werden, d.h. eine Zielrichtung der Projektion kann abhängig von der Bewegung der Hand orthogonal zu der Tiefenachse angepasst werden, etwa basierend auf der dreidimensionalen Distanzinformation.
-
Das Verfahren umfasst das Bestimmen 120 der drei-dimensionalen Distanzinformation der Distanz zwischen der Hand und dem Distanzsensor. Das Verfahren kann ein Erhalten 120a des Distanzmesssignals von dem Distanzsensor umfassen. Die drei-dimensionale Distanzinformation kann basierend auf dem Distanzmesssignal bestimmt werden. Dabei kann der Distanzsensor beispielsweise ein sog. Laufzeit-basierter Distanzsensor sein (auch engl. Time of Flight, ToF), etwa ein Laufzeit-basierter Distanzsensor basierend auf moduliertem Licht oder ein Laufzeit-basierter Distanzsensor basierend auf Ultraschall. Der Distanzsensor kann ein optischer Distanzsensor sein, etwa ein Laufzeit-basierter Distanzsensor basierend auf moduliertem Licht ein Distanzsensor, der auf strukturiertem Licht basiert, oder ein LIDAR-basierter Distanzsensor (Light Detection and Ranging, Detektion und Entfernungsmessung basierend auf Licht). Das Distanzmesssignal kann beispielsweise Rohdaten oder vor-verarbeitete Daten der entsprechenden Distanzsensoren umfassen, und das Bestimmen der dreidimensionalen Distanzinformation kann ein Verarbeiten der Rohdaten oder der vor-verarbeiteten Daten umfassen.
-
Die Distanzinformation ist drei-dimensional ausgeprägt, d.h. die Distanzinformation unterscheidet nicht nur Abstände zwischen Distanzsensor und Hand in der Tiefenachse, sondern auch Orthogonal zur Tiefenachse. Wird etwa durch die Achse zwischen Hand und Distanzsensor die Tiefenachse (auch z-Achse) definiert, so wird orthogonal dazu eine laterale Ebene aufgespannt, die durch eine x-Achse und eine y-Achse definiert sind. Innerhalb der lateralen Ebene, die orthogonal zur Tiefenachse aufgespannt ist, umfasst die Distanzinformationen Unterscheidungen, d.h. die Bewegung der Hand wird nicht nur relativ zur Tiefenachse bestimmt, sondern auch orthogonal dazu. Dies kann genutzt werden, um die Hand nicht als Ganzes wahrzunehmen, sondern um eine Mehrzahl (etwa zumindest zwei, zumindest vier, zumindest 10) Distanzwerte für unterschiedliche Abschnitte der Hand zu Bestimmen und zu Verfolgen. In anderen Worten kann die drei-dimensionale Distanzinformation der Distanz zwischen der Hand und einem Distanzsensor eine Mehrzahl von Distanzwerten für unterschiedliche Abschnitte der Hand umfassen. Die Bewegung von zumindest Teilen der Hand (die den unterschiedlichen Abschnitten entsprechen können) kann basierend auf der Mehrzahl von Distanzwerten bestimmt 130 werden. Die Mehrzahl von Distanzwerten können genutzt werden, um nicht nur die Bewegung der Hand „als Ganzes“ relativ zur Tiefenachse zu erfassen, sondern um auch die Bewegung der Abschnitte/Teile der Hand individuell zu bestimmen.
-
Das Verfahren umfasst das Bestimmen 130 der Bewegung von zumindest Teilen der Hand entlang der Tiefenachse zwischen der Hand und dem Distanzsensor basierend auf der dreidimensionalen Distanzinformation. Dabei kann die Bewegung von zumindest Teilen der Hand durch eine Rotation der Hand, durch eine Krümmung (von Teilen) der Hand, oder durch eine Bewegung der (gesamten) Hand entlang der Tiefenachse verursacht sein. In anderen Worten umfasst die Bewegung von zumindest Teilen der Hand entlang der Tiefenachse nicht lediglich eine Bewegung, die parallel zu der Tiefenachse ausgeführt wird, sondern (jegliche) Bewegungen der Hand, die zumindest eine Komponente entlang der Tiefenachse umfassen. So werden etwa bei einer Krümmung der Hand Teile der Hand entlang der Tiefenachse (wie auch orthogonal dazu) bewegt, während andere Teile starr bleiben. Bei einer Rotation wird die gesamte Hand (abgesehen von der Rotationsachse) entlang der Tiefenachse bewegt (in der Bewegung um die Rotationsachse). Dabei kann die Rotationsachse der natürlichen Rotationsachse der Hand entsprechen (d.h. die Hand wird durch Rotation des Handgelenks und/oder des Oberarms rotiert). Ferner können Bewegungen erfasst werden, in denen sich die gesamte Hand entlang der Tiefenachse bewegt.
-
Beispielsweise kann das Bestimmen 130 der Bewegung von zumindest Teilen der Hand ein Bestimmen 132 einer Rotationsbewegung der Hand umfassen. Dabei können verschiedene Ansätze gewählt werden. So kann das Bestimmen der Rotationsbewegung ein Nachverfolgen (engl. Tracking) einer Distanz einer Mehrzahl von Abschnitten der Hand umfassen, um eine Rotationsbewegung der Mehrzahl von Abschnitten um eine Rotationsachse zu erkennen. So kann etwa für jeden Abschnitt ein dreidimensionaler Distanzwert bestimmt werden. Über mehrere Zeitpunkte hinweg kann der jeweilige dreidimensionale Distanzwert mit dem entsprechenden Distanzwert eines vorherigen Zeitpunkts verglichen werden, um einen Unterschied zwischen den Distanzwerten zu bestimmen. Basierend darauf kann nun bestimmt werden, ob sich die dreidimensionalen Distanzwerte in einer Weise verändern, die durch eine Rotation der Hand hervorgerufen wird. Alternativ kann über die Mehrzahl von Distanzwerten eine Ebene gebildet werden (etwa durch Interpolation), und die Rotation der Hand kann über eine Erkennung einer Veränderung der Lage der Ebene bestimmt werden. Alternativ kann die Mehrzahl von Distanzwerten als Eingabewerte für ein neuronales Netz genutzt werden, wobei das neuronale Netz darauf trainiert ist, basierend auf Distanzwerten die Rotationsbewegung der Hand zu bestimmen.
-
In manchen Ausführungsbeispielen kann das Bestimmen der Bewegung von zumindest Teilen der Hand ein Bestimmen 134 einer Rotations- oder Krümmungsbewegung von zumindest Teilen der Hand umfassen. Analog zu dem Bestimmen 132 der Rotationsbewegung können verschiedene Ansätze genutzt werden. So kann das Bestimmen der Rotations- oder Krümmungsbewegung ein Nachverfolgen einer Distanz einer Mehrzahl von Abschnitten der Hand umfassen, um eine Rotations- oder Krümmungsbewegung der Mehrzahl von Abschnitten (etwa um eine Rotationsachse oder relativ zu einer Grundfläche der Hand) zu erkennen. So kann etwa für jeden Abschnitt ein dreidimensionaler Distanzwert bestimmt werden. Über mehrere Zeitpunkte hinweg kann der jeweilige dreidimensionale Distanzwert mit dem entsprechenden Distanzwert eines vorherigen Zeitpunkts verglichen werden, um einen Unterschied zwischen den Distanzwerten zu bestimmen. Basierend darauf kann nun bestimmt werden, ob sich die dreidimensionalen Distanzwerte in einer Weise verändern, die durch eine Rotation oder eine Krümmung der Hand hervorgerufen wird (oder aber durch eine Bewegung der gesamten Hand entlang der Achse verursacht wird). Alternativ kann über die Mehrzahl von Distanzwerten eine Ebene gebildet werden (etwa durch Interpolation), und die Rotation der Hand kann über eine Erkennung einer Veränderung der Lage der Ebene bestimmt werden. Die Ebene kann in mehrere Teilebenen unterteilt sein. Verändert sich eine Lage der Teilebenen untereinander, so kann eine Krümmungsbewegung bestimmt werden. Alternativ kann die Mehrzahl von Distanzwerten als Eingabewerte für ein neuronales Netz genutzt werden, wobei das neuronale Netz darauf trainiert ist, basierend auf Distanzwerten die Rotationsbewegung und/oder Krümmungsbewegung der Hand zu bestimmen.
-
Zusätzlich oder alternativ zu der Rotation und/oder Krümmung kann ebenfalls eine Bewegung der gesamten Hand entlang der Tiefenachse bestimmt werden, etwa eine Auf- oder Abwärtsbewegung der Hand (falls der Distanzsensor unterhalb oder oberhalb der Hand angeordnet ist). Dabei kann etwa ein Durchschnittswert der Mehrzahl von Distanzwerten gebildet werden, d.h. die Bewegung der gesamten Hand entlang der Tiefenachse kann basierend auf dem Durchschnittswert der Mehrzahl von Distanzwerten bestimmt werden. Dabei kann die Bewegung der gesamten Hand entlang der Tiefenachse entlang der Tiefenachse beispielsweise berücksichtigt werden, falls sie einen Distanzschwellenwert innerhalb einer vorgegebenen Zeitspanne überschreitet (beispielsweise mehr als 1 cm innerhalb von 0,5 s). Zudem kann die Bewegung der gesamten Hand entlang der Tiefenachse entlang der Tiefenachse beispielsweise berücksichtigt werden, falls keine (oder lediglich eine geringe) Rotationsbewegung und/oder keine (oder lediglich eine geringe) Krümmungsbewegung vorliegt.
-
Das Verfahren umfasst ferner das Steuern 140 der Benutzeroberfläche basierend auf der Bewegung von zumindest Teilen der Hand entlang der Tiefenachse zwischen der Hand und dem Distanzsensor. Die Benutzeroberfläche kann basierend auf der Rotationsbewegung, basierend auf der Rotations- oder Krümmungsbewegung und/oder basierend auf der Bewegung der gesamten Hand entlang der Tiefenachse gesteuert werden. Beispielsweise kann das Verfahren ein Bereitstellen 140a eines Steuersignals für die Benutzeroberfläche umfassen, um das Steuern der Benutzeroberfläche zu bewirken. Die Benutzeroberfläche kann beispielsweise durch ein Betriebssystem des Verarbeitungsmoduls generiert werden. Das Steuersignal kann dem Betriebssystem bereitgestellt werden und von diesem interpretiert werden. Basierend auf dem Steuersignal kann die Benutzeroberfläche gesteuert werden. Um diese Steuerung zu visualisieren kann eine Ausgabe der Benutzeroberfläche erzeugt werden, die über die Projektionseinrichtung auf die Hand des Nutzers projiziert wird. Um dies zu erreichen kann basierend auf der Steuerung der Benutzeroberfläche das Anzeigesignal generiert werden und das Anzeigesignal der Projektionseinrichtung bereitgestellt werden. Die Projektionseinrichtung kann beispielsweise ein Projektor sein, etwa ein Videoprojektor wie ein LCD-basierter Projektor (Liquid Crystal Display, Flüssigkristallbildschirm) oder ein DLP-basierter Projektor (Digital Light Processing, Digitale Lichtverarbeitung). Die Projektionseinrichtung kann kompakt ausgeführt sein. Entsprechend kann die Projektionseinrichtung ein Mini-Projektor oder ein Pico-Projektor sein. Das Steuern der Benutzeroberfläche kann durch die Benutzeroberfläche visualisiert werden. Dabei dann die Benutzeroberfläche etwa eine oder mehrere Beschreibungen, ein oder mehrere grafische Elemente, ein oder mehrere Auswahlmöglichkeiten, ein oder mehrere Auswahlfelder und/oder ein oder mehrere visuelle Indikatoren umfassen. Beispielsweise können Auswahlmöglichkeiten als Text oder in Form von Piktogrammen visualisiert werden. Beschreibungen können als Text visualisiert werden. Visuelle Indikatoren, wie etwa Auswahlfelder, können etwa durch farblich hervorgehobene Rahmen oder durch ihre Lichtintensität hervorgehobene Rahmen visualisiert werden. Die Auswahl einer Auswahlmöglichkeit kann durch ein Auswahlfeld in der Benutzeroberfläche visualisiert werden. Die Visualisierungen werden über die Projektion der Benutzeroberfläche auf der Hand dargestellt.
-
In Folgenden wird dargestellt, wie die bestimmte Bewegung genutzt werden kann, um die Benutzeroberfläche zu steuern. Dabei wird im Folgenden davon ausgegangen, dass die Bewegung in eine Steuerungsanweisung (des Steuersignals) für die Benutzeroberfläche umgesetzt wird, d.h. eine abstrakte Bewegung wird verarbeitet und die Steuerungsanweisung wird basierend auf der Bewegung (ggf. kontextabhängig) generiert. Sowohl die Bewegungen als auch die Auswirkungen auf die Benutzeroberfläche werden abstrakt beschrieben, es sollte jedoch immer mitgelesen werden, dass die jeweilige Bewegung erkannt wird, eine entsprechende Steuerungsanweisung basierend auf der erkannten Bewegung generiert wird und diese Steuerungsanweisung geeignet ist, um die Benutzeroberfläche entsprechend zu steuern.
-
Beispielsweise kann die Krümmungs- oder Rotationsbewegung der Hand genutzt werden, um die Benutzeroberfläche zu steuern. Durch eine Krümmung oder Rotation der Hand kann eine Auswahlmöglichkeit aus einer Mehrzahl von Auswahlmöglichkeiten ausgewählt werden. So kann in einem einfachen Ausführungsbeispiel die Benutzeroberfläche ein Auswahlfeld umfassen, wobei die Mehrzahl von Auswahlmöglichkeiten sequenziell in dem Auswahlfeld darstellbar sind. Basierend auf der Rotationsbewegung kann die Benutzeroberfläche so gesteuert werden, dass die Auswahlmöglichkeiten sequenziell durch das Auswahlfeld hindurch verschoben (d.h. „gescrollt“) werden. Dies kann entweder solange geschehen wie die Rotationsbewegung ausgeführt wird (wobei die beiden Rotationsrichtungen unterschieden werden), oder die Verschiebung kann solange durchgeführt werden, wie eine Rotationslage der Hand unterschiedlich zu einer Ruhelage der Hand ist. Die Krümmung der Hand kann ähnlich genutzt werden. Wird durch Krümmung der Hand eine Schieflage erzeugt, so können die Auswahlmöglichkeiten sequenziell durch das Auswahlfeld hindurch verschoben, etwa entlang der Schieflage. Dies ist eine einfache Form einer schwerkraftgemäßen Bedienung der Benutzeroberfläche. In einer schwerkraftgemäßen Bedienung der Benutzeroberfläche wird eine Lage, Krümmung und/oder Rotation der Hand dermaßen interpretiert, dass ein Auswahlfeld (ähnlich wie ein „Cursor“) oder die Auswahlmöglichkeiten entlang der Schwerkraft verschoben wird/werden. Wird die Hand schräg gehalten (durch Rotation oder Krümmung), so verschiebt sich das Auswahlfeld oder die Auswahlmöglichkeiten schwerkraftgemäß nach unten. In anderen Worten kann ein Auswahlfeld durch die Krümmung oder Rotation der Hand so gesteuert werden, dass sich das Auswahlfeld basierend auf einer Lage der Hand schwerkraftgemäß zwischen den Auswahlmöglichkeiten bewegt. Dabei kann das Auswahlfeld (der Cursor) in der Hand balanciert werden. Das Auswahlfeld kann beispielsweise in einer Dimension verschiebbar sein (entlang einer Achse) oder in zwei Dimensionen verschiebbar sein (entlang zweier orthogonal zueinander verlaufenden Achsen). Schwerkraftgemäß bedeutet dabei, dass sich, bei Schräglage der Hand, das Auswahlfeld dorthin bewegt, wo eine Oberfläche der Hand, eine geringere Höhe über dem Boden aufweist (wobei auf die Oberfläche die Benutzeroberfläche projiziert wird).
-
Alternativ oder zusätzlich kann beispielsweise eine Krümmung eines Fingers genutzt werden, um die Benutzeroberfläche zu steuern. Beispielsweise können, wie in 4a und 4b gezeigt, zumindest zwei Auswahlmöglichkeiten der Benutzeroberfläche auf zumindest zwei Finger projiziert 110 werden. Beispielsweise können die zumindest zwei Auswahlmöglichkeiten auf zumindest zwei Finger der Gruppe von einem Zeigefinger, einem Mittelfinger, einem Rindfinger und einem kleinen Finger projiziert werden. Eine der zumindest zwei Auswahlmöglichkeiten kann ausgewählt werden, falls der entsprechende Finger gekrümmt wird (d.h. falls eine Krümmung des entsprechenden Fingers über die dreidimensionale dreidimensionalen Distanzinformation bestimmt wurde). Dabei kann die Auswahlmöglichkeit beispielsweise ausgewählt werden, falls die Krümmung des entsprechenden Fingers einen vordefinierten Krümmungsgrad überschreitet. Alternativ (oder zusätzlich) kann eine der zumindest zwei Auswahlmöglichkeiten ausgewählt wird, falls der entsprechende Finger durch die Krümmung des Fingers einen weiteren Finger berührt, auf den keine Auswahlmöglichkeit projiziert wird (etwa den Daumen). Gilt die Auswahlmöglichkeit als ausgewählt, so kann dies über eine visuelle Indikation angezeigt werden, etwa durch Aufleuchten der entsprechenden Auswahlmöglichkeiten in der Projektion. Diese visuelle Indikation ist auch in anderen Ausführungsbeispielen anwendbar, etwa bei dem Auswählen einer Auswahlmöglichkeit durch schwerkraftgemäße Verschiebung des Auswahlfelds.
-
In manchen Ausführungsbeispielen kann die Benutzeroberfläche basierend auf der Bewegung der gesamten Hand entlang der Tiefenachse gesteuert werden. So kann beispielsweise durch die Bewegung der gesamten Hand entlang der Tiefenachse in Richtung des Distanzsensors ein Element der Benutzeroberfläche aktiviert werden, beispielsweise eine Auswahlmöglichkeit bestätigt werden. So kann eine Auswahlmöglichkeit beispielsweise bestätigt werden, indem die Hand ruckartig entlang der Tiefenachse nach oben (etwa in Richtung des Distanzsensors) bewegt wird. Alternativ oder zusätzlich kann durch die Bewegung der gesamten Hand entlang der Tiefenachse in Richtung des Distanzsensors ein Element der Benutzeroberfläche geändert werden, etwa eine Auswahlmöglichkeit der Mehrzahl von Auswahlmöglichkeiten ausgewählt werden oder ein numerischer Wert graduell oder gemäß einem vorgegebenen Intervall geändert werden (abhängig von der Distanz der gesamten Hand von dem Distanzsensor).
-
Neben der Lage der Hand zur Auswahl von Auswahlmöglichkeiten können auch festgefertigte Gesten genutzt werden, um festgelegte Aktionen auszuführen, etwa um die Benutzeroberfläche zu aktivieren 154 oder zu deaktivieren. Eine Möglichkeit basiert darauf, zu erkennen, ob die Handinnenseite oder die Handaußenseite nach oben gedreht wird. In anderen Worten kann das Verfahren ein Erkennen 150, ob eine Handinnenseite oder eine Handaußenseite dem Distanzsensor zugewandt ist umfassen. Das Verfahren kann ferner ein Aktivieren 154 der Benutzeroberfläche, falls die Handinnenseite durch eine Rotationsbewegung dem Distanzsensor zugewandt wird, umfassen. Das Verfahren kann ferner ein Deaktivieren 156 der Benutzeroberfläche, falls die Handaußenseite durch eine Rotationsbewegung dem Distanzsensor zugewandt wird, umfassen. Alternativ oder zusätzlich kann die Aktivierung/Deaktivierung darauf basieren, ob die Hand geöffnet oder geschlossen wird. So kann das Verfahren ferner ein Erkennen 152, ob die Hand geöffnet oder geschlossen wird, basierend auf der Bewegung von zumindest Teilen der Hand entlang der Tiefenachse, umfassen. Das Verfahren kann ein Aktivieren 154 der Benutzeroberfläche, falls erkannt wird, dass die Hand geöffnet wird, und/oder ein Deaktivieren 156 der Benutzeroberfläche, falls erkannt wird, dass die Hand geschlossen wird, umfassen.
-
In einigen Ausführungsbeispielen kann eine Bewegung der Hand, die rein orthogonal zu der Tiefenachse erfolgt, außer Acht gelassen werden. In anderen Worten kann die Steuerung der Benutzeroberfläche unabhängig von einer Bewegung der Hand orthogonal zu der Tiefenachse sein.
-
Das Verfahren kann ferner ein Bereitstellen 160 einer akustischen Rückmeldung basierend auf der Steuerung der Benutzeroberfläche (etwa über eine akustische Ausgabeeinrichtung) umfassen, etwa durch Bereitstellung eines Audiosignals für die akustische Ausgabeeinrichtung. Entsprechend kann die zumindest eine Schnittstelle 12 mit einer akustischen Ausgabeeinrichtung gekoppelt sein, d.h. das System kann die akustische Ausgabeeinrichtung umfassen. Die akustische Rückmeldung kann beispielsweise bei jeder erfolgten Steuerung der Benutzeroberfläche, oder (nur) bei Auswahl oder Bestätigung einer Auswahlmöglichkeit erfolgen. Dabei kann beispielsweise ein (dezenter) Hinweiston gespielt werden.
-
Die zumindest eine Schnittstelle 12 kann beispielsweise einem oder mehreren Eingängen und/oder einem oder mehreren Ausgängen zum Empfangen und/oder Übertragen von Informationen entsprechen, etwa in digitalen Bitwerten, basierend auf einem Code, innerhalb eines Moduls, zwischen Modulen, oder zwischen Modulen verschiedener Entitäten. In Ausführungsbeispielen kann das Verarbeitungsmodul 14 einem beliebigen Controller oder Prozessor oder einer programmierbaren Hardwarekomponente entsprechen. Beispielsweise kann das Verarbeitungsmodul 14 auch als Software realisiert sein, die für eine entsprechende Hardwarekomponente programmiert ist. Insofern kann das Verarbeitungsmodul 14 als programmierbare Hardware mit entsprechend angepasster Software implementiert sein. Dabei können beliebige Prozessoren, wie Digitale Signalprozessoren (DSPs) zum Einsatz kommen. Ausführungsbeispiele sind dabei nicht auf einen bestimmten Typ von Prozessor eingeschränkt. Es sind beliebige Prozessoren oder auch mehrere Prozessoren zur Implementierung des Verarbeitungsmoduls 14 denkbar.
-
Mehr Details und Aspekte des Verfahrens, der Vorrichtung, des Computerprogramms und des Fahrzeugs werden in Verbindung mit dem Konzept oder Beispielen genannt, die vorher oder nachher beschrieben werden. Das Verfahren, die Vorrichtung, das Computerprogramm oder das Fahrzeug kann/können ein oder mehrere zusätzliche optionale Merkmale umfassen, die ein oder mehreren Aspekten des vorgeschlagenen Konzepts oder der beschriebenen Beispiele entsprechen, wie sie vorher oder nachher beschrieben wurden.
-
Ausführungsbeispiele befassen sich im Allgemeinen mit einer Objektsteuerung in Körper-Projizierten Benutzeroberflächen. Generell kann in Körper-Projizierten Benutzeroberflächen ein Cursor auf einer Hand über laterale x/y-Bewegungen gesteuert werden.
-
Zusätzlich dazu wird eine intuitivere Möglichkeit untersucht, um einen Cursor auf einer Hand zu steuern. Dabei kann das Objekt etwa über Rotationsbewegungen der Hand gesteuert werden, indem der Cursor quasi in der Hand balanciert wird.
-
Eine solche Steuerung des Cursors wird mit Hilfe der folgenden Figuren beschrieben.
-
2a bis 2d zeigen schematische Zeichnungen eines Ausführungsbeispiels, in dem ein Telefonanruf angenommen wird. Der Telefonanruf kann dabei exemplarisch für Benachrichtigungen stehen, die von dem System ausgelöst werden. In 2a wird eine Hand 200 gezeigt, deren Außenseite dem Distanzsensor und der Projektionseinrichtung zugewandt ist. Auf die Hand wird die Benutzeroberfläche projiziert, wie es im Zusammenhang mit den 1a bis 1d eingeführt wurde. Wenn ein Anruf eingeht, so wird ein Symbol für den Anruf, in diesem Fall ein Telefonhörer 210, auf die Hand projiziert. Dreht der Nutzer die Hand, so dass die Handinnenseite dem Distanzsensor zugewandt ist, so wird die Benutzeroberfläche aktiviert, so wie es in 2b gezeigt ist. Dann kann ein Name des Anrufers 220, ein Symbol für das Annehmen des Anrufs (Telefonhörer 230) und ein Symbol für das Ablehnen des Telefonanrufs (Telefonhörer 240) angezeigt werden). Durch Krümmen der Hand (orthogonal zur Rotationsrichtung) kann zwischen den beiden Optionen gewählt werden (siehe 2c), wobei ein Auswahlfeld 250 gezeigt wird, um zu illustrieren, welche Auswahlmöglichkeit derzeit ausgewählt ist. Durch eine Bewegung der Hand entlang der Tiefenachse in Richtung des Distanzsensors kann die Auswahl bestätigt werden und damit der Anruf angenommen werden (dies kann durch einen akustischen Impuls weiter verdeutlicht werden), woraufhin ein weiteres Menü der Benutzeroberfläche gezeigt werden kann (2d), das zusätzlich Information über den Anruf 270, wie etwa die Anrufzeit, und ein weiteres Telefonhörer-Symbol 260 umfasst. Will der Benutzer den Anruf beenden, so kann er, durch eine Bewegung der Hand entlang der Tiefenachse in Richtung des Distanzsensors, das Telefonhörer-Symbol 260 aktivieren, woraufhin der Anruf beendet wird. Dabei kann die Auswahl wiederum durch Erleuchten des Symbols 260 visualisiert werden.
-
3a und 3b zeigen schematische Zeichnungen eines weiteren Ausführungsbeispiels, in dem ein Auswahlmenü in 3 Dimensionen bedient wird. Dabei handelt es sich beispielsweise um eine benutzerinitiierte Interaktion. Die Benutzeroberfläche kann dabei durch das Öffnen der Hand 300 aktiviert werden und, wie in 3a gezeigt, angezeigt werden. Um die entsprechenden Auswahlmöglichkeiten 310 des Auswahlmenüs auszuwählen kann einerseits das Auswahlfeld/Cursor 320 in der X/Y-Ebene auf der Hand balanciert werden. Durch rotieren oder rotationsähnliches Krümmen kann dabei der Cursor entlang einer ersten Achse 330 verschoben werden, durch Krümmen der Hand, wie in 3b zu sehen ist, orthogonal zur ersten Achse kann der Cursor entlang einer zweiten Achse 340 verschoben werden. Der Cursor illustriert dabei, welche Auswahlmöglichkeit ausgewählt ist. Will der Benutzer eine Auswahlmöglichkeit bestätigen, so kann er, ähnlich wie in dem Beispiel der 2a bis 2d, dies durch eine Bewegung der Hand entlang der Tiefenachse in Richtung des Distanzsensors bewerkstelligen (durch anheben der Hand). Alternativ oder zusätzlich kann ein Anpassen von Werten durch ein Anheben oder ein Absenken der Hand entlang der Tiefenachse erreicht werden, wenn der Cursor auf dem entsprechenden Wert ruht. Schließt der Nutzer die Hand (durch Krümmen und/oder rotieren der Hand, so dass die Handaußenseite dem Distanzsensor zugewandt ist), so kann die Benutzeroberfläche „geschlossen“ (deaktiviert) werden.
-
4a und 4b zeigen schematische Zeichnungen eines weiteren Ausführungsbeispiels, in dem eine Kategorie durch das Antippen von Fingerspitzen ausgewählt wird. Dabei werden auf die Fingerspitzen der Hand 400 jeweils Symbole 410 - 440 projiziert, die den entsprechenden Kategorien entsprechen. Wird nun ein Finger gekrümmt, so wird eine Auswahl einer Kategorie getroffen, die durch ein Auswahlfeld/Cursor 450 angezeigt wird. Soll die Auswahl bestätigt werden, so wird, wie in 4b gezeigt, der Daumen zu dem entsprechenden Finger geführt und durch Antippen die Kategorie ausgewählt.
-
Die Aspekte und Merkmale, die zusammen mit einem oder mehreren der vorher detaillierten Beispiele und Figuren beschrieben sind, können auch mit einem oder mehreren der anderen Beispiele kombiniert werden, um ein gleiches Merkmal des anderen Beispiels zu ersetzen oder um das Merkmal in das andere Beispiel zusätzlich einzuführen.
-
Beispiele können weiterhin ein Computerprogramm mit einem Programmcode zum Ausführen eines oder mehrerer der obigen Verfahren sein oder sich darauf beziehen, wenn das Computerprogramm auf einem Computer oder Prozessor ausgeführt wird. Schritte, Operationen oder Prozesse von verschiedenen, oben beschriebenen Verfahren können durch programmierte Computer oder Prozessoren ausgeführt werden. Beispiele können auch Programmspeichervorrichtungen, z. B. Digitaldatenspeichermedien, abdecken, die maschinen-, prozessor- oder computerlesbar sind und maschinenausführbare, prozessorausführbare oder computerausführbare Programme von Anweisungen codieren. Die Anweisungen führen einige oder alle der Schritte der oben beschriebenen Verfahren aus oder verursachen deren Ausführung. Die Programmspeichervorrichtungen können z. B. Digitalspeicher, magnetische Speichermedien wie beispielsweise Magnetplatten und Magnetbänder, Festplattenlaufwerke oder optisch lesbare Digitaldatenspeichermedien umfassen oder sein. Weitere Beispiele können auch Computer, Prozessoren oder Steuereinheiten, die zum Ausführen der Schritte der oben beschriebenen Verfahren programmiert sind, oder (feld-)programmierbare Logik-Arrays ((F)PLAs = (Field) Programmable Logic Arrays) oder (feld-)programmierbare Gate-Arrays ((F)PGA = (Field) Programmable Gate Arrays), die zum Ausführen der Schritte der oben beschriebenen Verfahren programmiert sind, abdecken.
-
Durch die Beschreibung und Zeichnungen werden nur die Grundsätze der Offenbarung dargestellt. Weiterhin sollen alle hier aufgeführten Beispiele grundsätzlich ausdrücklich nur illustrativen Zwecken dienen, um den Leser beim Verständnis der Grundsätze der Offenbarung und der durch den (die) Erfinder beigetragenen Konzepte zur Weiterentwicklung der Technik zu unterstützen. Alle hiesigen Aussagen über Grundsätze, Aspekte und Beispiele der Offenbarung sowie konkrete Beispiele derselben umfassen deren Entsprechungen.
-
Ein als „Mittel zum...“ Ausführen einer bestimmten Funktion bezeichneter Funktionsblock kann sich auf eine Schaltung beziehen, die ausgebildet ist zum Ausführen einer bestimmten Funktion. Somit kann ein „Mittel für etwas“ als ein „Mittel ausgebildet für oder geeignet für etwas“ implementiert sein, z. B. ein Bauelement oder eine Schaltung ausgebildet für oder geeignet für die jeweilige Aufgabe.
-
Funktionen verschiedener in den Figuren gezeigter Elemente einschließlich jeder als „Mittel“, „Mittel zum Bereitstellen eines Signals“, „Mittel zum Erzeugen eines Signals“, etc. bezeichneter Funktionsblöcke kann in Form dedizierter Hardware, z. B „eines Signalanbieters“, „einer Signalverarbeitungseinheit“, „eines Prozessors“, „einer Steuerung“ etc. sowie als Hardware fähig zum Ausführen von Software in Verbindung mit zugehöriger Software implementiert sein. Bei Bereitstellung durch einen Prozessor können die Funktionen durch einen einzelnen dedizierten Prozessor, durch einen einzelnen gemeinschaftlich verwendeten Prozessor oder durch eine Mehrzahl von individuellen Prozessoren bereitgestellt sein, von denen einige oder von denen alle gemeinschaftlich verwendet werden können. Allerdings ist der Begriff „Prozessor“ oder „Steuerung“ bei Weitem nicht auf ausschließlich zur Ausführung von Software fähige Hardware begrenzt, sondern kann Digitalsignalprozessor-Hardware (DSP-Hardware; DSP = Digital Signal Processor), Netzprozessor, anwendungsspezifische integrierte Schaltung (ASIC = Application Specific Integrated Circuit), feldprogrammierbare Logikanordnung (FPGA = Field Programmable Gate Array), Nurlesespeicher (ROM = Read Only Memory) zum Speichern von Software, Direktzugriffsspeicher (RAM = Random Access Memory) und nichtflüchtige Speichervorrichtung (storage) umfassen. Sonstige Hardware, herkömmliche und/oder kundenspezifische, kann auch eingeschlossen sein.
-
Ein Blockdiagramm kann zum Beispiel ein grobes Schaltdiagramm darstellen, das die Grundsätze der Offenbarung implementiert. Auf ähnliche Weise können ein Flussdiagramm, ein Ablaufdiagramm, ein Zustandsübergangsdiagramm, ein Pseudocode und dergleichen verschiedene Prozesse, Operationen oder Schritte repräsentieren, die zum Beispiel im Wesentlichen in computerlesbarem Medium dargestellt und so durch einen Computer oder Prozessor ausgeführt werden, ungeachtet dessen, ob ein solcher Computer oder Prozessor explizit gezeigt ist. In der Beschreibung oder in den Patentansprüchen offenbarte Verfahren können durch ein Bauelement implementiert werden, das ein Mittel zum Ausführen eines jeden der jeweiligen Schritte dieser Verfahren aufweist.
-
Es versteht sich, dass die Offenbarung mehrerer, in der Beschreibung oder den Ansprüchen offenbarter Schritte, Prozesse, Operationen oder Funktionen nicht als in der bestimmten Reihenfolge befindlich ausgelegt werden soll, sofern dies nicht explizit oder implizit anderweitig, z. B. aus technischen Gründen, angegeben ist. Daher werden diese durch die Offenbarung von mehreren Schritten oder Funktionen nicht auf eine bestimmte Reihenfolge begrenzt, es sei denn, dass diese Schritte oder Funktionen aus technischen Gründen nicht austauschbar sind.
-
Ferner kann bei einigen Beispielen ein einzelner Schritt, Funktion, Prozess oder Operation mehrere Teilschritte, -funktionen, -prozesse oder -operationen einschließen und/oder in dieselben aufgebrochen werden. Solche Teilschritte können eingeschlossen sein und Teil der Offenbarung dieses Einzelschritts sein, sofern sie nicht explizit ausgeschlossen sind.
-
Weiterhin sind die folgenden Ansprüche hiermit in die detaillierte Beschreibung aufgenommen, wo jeder Anspruch als getrenntes Beispiel für sich stehen kann. Während jeder Anspruch als getrenntes Beispiel für sich stehen kann, ist zu beachten, dass - obwohl ein abhängiger Anspruch sich in den Ansprüchen auf eine bestimmte Kombination mit einem oder mehreren anderen Ansprüchen beziehen kann - andere Beispiele auch eine Kombination des abhängigen Anspruchs mit dem Gegenstand jedes anderen abhängigen oder unabhängigen Anspruchs umfassen können. Solche Kombinationen werden hier explizit vorgeschlagen, sofern nicht angegeben ist, dass eine bestimmte Kombination nicht beabsichtigt ist. Ferner sollen auch Merkmale eines Anspruchs für jeden anderen unabhängigen Anspruch eingeschlossen sein, selbst wenn dieser Anspruch nicht direkt abhängig von dem unabhängigen Anspruch gemacht ist.
