DE102015012720A1

DE102015012720A1 - Interaktives Bediensystem und Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem

Info

Publication number: DE102015012720A1
Application number: DE102015012720.9A
Authority: DE
Inventors: Paul Sprickmann Kerkerinck
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2015-10-01
Filing date: 2015-10-01
Publication date: 2017-04-06
Also published as: WO2017054894A1

Abstract

Die vorliegende Erfindung betrifft ein interaktives Bediensystem mit einer Sensoreinrichtung zur Erfassung von Bilddaten, einer Auswertungseinrichtung für die Bilddaten, einer Anzeigeeinrichtung mit einer Anzeigefläche (1) und einer Steuerungseinrichtung, wobei die Auswertungseinrichtung dazu eingerichtet ist, Bilddaten dahin auszuwerten, ob eine erfasste Hand eine Geste durchführt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, und die Steuerungseinrichtung dazu eingerichtet ist, die Anzeigeeinrichtung derart zu steuern, dass ein Cursor-Symbol (2) in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons in oder auf der Anzeigefläche (1) angezeigt wird, und dass bei einer derartigen Geste die Größe des in oder auf der Anzeigefläche (1) angezeigten Cursor-Symbols (2) derart verändert wird, dass die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird.

Description

Die vorliegende Erfindung betrifft ein interaktives Bediensystem mit den Merkmalen gemäß Anspruch 1 sowie ein Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem mit den Merkmalen gemäß Anspruch 9.
Aus dem Bereich der Computertechnologie und Unterhaltungselektronik ist seit längerem eine Bedienung von Hard- und Software mittels freier, d. h. im Raum von einem menschlichen Gliedmaß (Finger, Hand, Hände, Arm, Arme) oder dem Kopf durchgeführter Gesten bekannt.
So beschreibt bspw. die DE 10 2013 207 528 A1 ein Verfahren zum Interagieren mit einem Objekt, das einem Benutzer durch eine Datenbrille angezeigt wird, umfassend: Anzeigen eines Objekts für den Benutzer mithilfe der Anzeige der Datenbrille; Erfassen, dass der Benutzer sein erstes Auge schließt und während einer vorgegebenen Zeitspanne geschlossen hält, insbesondere mithilfe einer ersten Kamera, die das Auge des Benutzers aufnimmt; Aufnehmen einer Hand des Benutzers; insbesondere mithilfe einer zweiten Kamera; Bestimmen, dass der Benutzer eine Eingabehandlung für das Objekt während der Zeitspanne vornimmt; wobei die Eingabehandlung darin besteht, dass die Hand des Benutzers eine Haltung und, aus der Perspektive des zweiten Auges des Benutzers in Bezug auf das Objekt, eine Position einnimmt, die einer vorbestimmten Bedingung genügen; Ausführen einer Aktion in Bezug auf das Objekt, wobei die Aktion der Eingabehandlung vorab zugeordnet ist.
Auch sind erste Ansätze dahin bekannt, eine Bedienmöglichkeit mittels freier Gesten für Einrichtungen in einem Fahrzeug vorzusehen.
So ist bspw. aus der DE 10 2013 215 370 A1 eine Steuerungseinrichtung zur Verwendung in einem Kraftfahrzeug mit einem Head-up-Display bekannt, durch das einer Bedienperson Informationen auf einer von dieser aus gesehen in Vorwärts-Fahrtrichtung angeordneten Bildfläche angezeigt werden, sowie mit einer Bedieneinrichtung, die eine Eingabeeinrichtung und eine Rückmeldeeinrichtung aufweist, wobei auf dem Head-up-Display wenigstens zwei Klassen von Anzeigeobjekten dargestellt oder bezeichnet werden, wobei wenigstens diese zwei Klassen von Anzeigeobjekten durch verschiedene Klassen von Bedienbefehlen oder Folgen von Bedienbefehlen adressiert werden. In dem Head-up-Display wird ein Rückmeldesymbol (Cursor) angezeigt, das anzeigt, auf welches Anzeigeobjekt sich ein nachfolgend eingegebener Bedienbefehl bezieht, wobei Auswahlbefehle u. a. durch eine Geste eingebbar sind.
Im Gegensatz zur Bedienung mit einem Eingabegerät wie einer Computer-Maus, einem Trackball oder mittels Fingern auf einem Touchpad hat eine Hand bei einer Bedienung durch eine freie Geste keine Führung. Daher kann hierbei nur eine vergleichsweise grobe Positionierung eines Eingabezeigers (Cursor) erfolgen und es ist für einen Benutzer eines Gesten-Bediensystems oftmals schwierig, ein angezeigtes, anwählbares, graphisches Element mit einem Eingabezeiger zu „treffen”.
Eine Bedienung mittels freier Gesten kommt darüber hinaus oftmals auch dann zum Einsatz, wenn eine Anzeigefläche oder Bedienelemente an der Anzeigeeinrichtung nicht im Greifbereich des Bedieners liegen, bspw. aufgrund eines von einem Fahrzeuginsassen angelegten Sicherheitsgurts. In einem solchen Fall sind die heute üblichen Eingabezeiger (Cursor), etwa in Form eines Pfeils oder eines Fadenkreuzes zu klein, um eine entspannte, flüssige Bedienung zu ermöglichen.
Diese physisch bedingten Nachteile könnten ausgeglichen werden durch besonders große, in oder auf einer Anzeigefläche angezeigte, anwählbare, graphische Elemente, die von einem Benutzer mittels eines Eingabezeigers vergleichsweise leicht angewählt werden können. Dies wäre aber mit einer Verringerung der in oder auf einer gegebenen Anzeigefläche gleichzeitig anzeigbaren graphischen Elemente verbunden. Und falls große, gut sichtbare Eingabezeiger (Cursor-Symbole) verwendet würden, wäre dies mit dem Nachteil einer verschlechterten Erkennbarkeit der angezeigten, anwählbaren, graphischen Elemente verbunden, da diese zumindest teilweise von dem Eingabezeiger verdeckt würden.
Vor diesem Hintergrund ist es Aufgabe der vorliegenden Erfindung, ein verbessertes, den physischen Gegebenheiten von Menschen besser angepasstes, interaktives Bediensystem und ein verbessertes Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem zur Verfügung zu stellen, mit dem Nachteile des Stands der Technik überwunden oder doch verringert werden. Diese Aufgabe wird gelöst durch das interaktive Bediensystem gemäß Anspruch 1 und das Verfahren gemäß Anspruch 9. Vorteilhafte Weiterbildungen und Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Erfindungsgemäß wird ein interaktives Bediensystem vorgeschlagen, das

– eine Sensoreinrichtung zur Erfassung von Bilddaten in zeitlicher Abfolge innerhalb eines Erfassungsbereichs der Sensoreinrichtung und zur Übermittlung der erfassten Bilddaten an eine Auswertungseinrichtung,
– eine Auswertungseinrichtung zur Auswertung der durch die Sensoreinrichtung übermittelten Bilddaten und zur Übermittlung von Daten bezüglich einer durch die Auswertung ermittelten Position einer erfassten Hand innerhalb des Erfassungsbereichs zu einer Steuerungseinrichtung,
– eine Anzeigeeinrichtung mit einer Anzeigefläche, in oder auf der ein oder mehrere mittels eines anzeigbaren Cursor-Symbols anwählbare, graphische Elemente anzeigbar sind, und
– eine Steuerungseinrichtung, mittels der aufgrund der von der Auswertungseinrichtung übermittelten Daten das Cursor-Symbol in Abhängigkeit von einer Position der Hand im Erfassungsbereich in oder auf der Anzeigefläche der Anzeigeeinrichtung anzeigbar ist, aufweist.

Das interaktive Bediensystem ist dadurch gekennzeichnet, dass

– die Auswertungseinrichtung dazu eingerichtet ist, an sie von der Sensoreinrichtung übermittelte Bilddaten dahin auszuwerten, ob eine erfasste Hand innerhalb des Erfassungsbereichs eine freie Geste durchführt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, und entsprechende Daten zu der Steuerungseinrichtung zu übermitteln, und
– die Steuerungseinrichtung dazu eingerichtet ist, die Anzeigeeinrichtung derart zu steuern, dass das Cursor-Symbol in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons in oder auf der Anzeigefläche angezeigt wird, und dass bei Übermittlung von Daten einer derartigen Geste durch die Auswertungseinrichtung die Größe des in oder auf der Anzeigefläche angezeigten Cursor-Symbols derart verändert wird, dass die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird.

Das erfindungsgemäße interaktive Bediensystem weist den Vorteil auf, dass ein Cursor-Symbol in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons als Eingabezeiger deutlich größer sein kann als ein Pfeil oder ein ähnliches Cursor-Symbol, ohne relevante, insbesondere anwählbare graphische Elemente (wie etwa Objekte, Bedienelemente) zu verdecken, weil die Fläche innerhalb eines derartigen Cursor-Symbols die Anzeige auf oder in einer Anzeigefläche nicht überdeckt, sondern lediglich „umkreist” oder umfasst.
Auch erhält ein Bediener des interaktiven Bediensystems eine unmittelbare Rückmeldung darüber, ob er seine freie Geste innerhalb des Erfassungsbereichs durchführt und ob seine freie Geste als eine erkannt wird, bei der sich mindestens zwei Finger seiner Hand aufeinander zu bewegen, da nur in einem Fall, bei dem beide Bedingungen erfüllt sind, eine Verkleinerung des Cursor-Symbols auf oder in der Anzeigefläche erfolgt.
Gemäß einer ersten vorteilhaften Weiterbildung des interaktiven Bediensystem ist die Steuerungseinrichtung weiter dazu eingerichtet, dasjenige in oder auf der Anzeigefläche angezeigte, anwählbare, graphische Element zu ermitteln, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche angezeigten Cursor-Symbols aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, die Position des Flächenschwerpunkts des angezeigten Cursor-Symbols während der Veränderung der Fläche des angezeigten Cursor-Symbols von der ersten, größeren Fläche auf die zweite, kleinere Fläche derart automatisch zu verschieben, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cursor-Symbols und dem Flächenschwerpunkt des ermittelten, angezeigten, graphischen Elements einen zweiten Wert annimmt, der näher Null ist als der erste Wert und bevorzugt Null ist.
Wie oben bereits erwähnt, ist bei einer Bedienung mittels freier Gesten die Positionierung eher grob im Vergleich zu einer Bedienung mittels einer Computer-Maus, einem Touchpad oder einem berührungsempfindlichen Bildschirm. Dieser Nachteil wird in einer Umgebung wie etwa einem sich in Fahrt befindlichen Kraftfahrzeug aufgrund von Unebenheiten der Fahrbahn und/oder aufgrund von Fahrmanövern wie Lenken, Bremsen und Beschleunigen noch vergrößert. Durch die erste Weiterbildung der vorliegenden Erfindung wird dieser Nachteil überwunden, da dem Bediener bei einer „Greifgeste” das genaue Zielen und Zielhalten abgenommen wird, so dass die Bedienung einfach und flüssig wird.
Hierbei ist es von Vorteil, wenn die Steuerungseinrichtung weiter dazu eingerichtet ist, die zweite, kleinere, von dem Cursor-Symbol umfasste Fläche auf eine solche Größe zu steuern, dass die von der geschlossenen Kurve oder den Kanten des Polygons umschlossene Fläche des angezeigten Cursor-Symbols im Bereich von 50% bis 200%, bevorzugt im Bereich von 75% bis 175%, besonders bevorzugt im Bereich von 90% bis 150% der Fläche des angezeigten graphischen Elements beträgt.
Durch diese vorteilhafte Weiterbildung des interaktiven Bediensystems ergibt sich der Vorteil, dass auch im „gegriffenen Zustand” von dem in oder auf der Anzeigefläche angezeigten, anwählbaren, graphischen Element – selbst wenn eine vergleichsweise große Linienstärke für das Cursor-Symbol gewählt ist – ein so großer Anteil sichtbar bleibt, dass der Typ oder der Inhalt des Elements für einen Bediener ohne weiteres erkennbar bleibt. Gleichzeitig ist das angezeigte Cursor-Symbol im „gegriffenen Zustand” klein genug, damit für einen Bediener ohne weiteres erkennbar ist, welches graphische Element angewählt wurde.
Gemäß einer weiteren vorteilhaften Weiterbildung des interaktiven Bediensystem ist die Steuerungseinrichtung weiter dazu eingerichtet, das Cursor-Symbol so lange mit der eine zweite, kleinere Fläche in oder auf der Anzeigefläche umfassenden Form anzuzeigen, solange die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander aufweisen.
Hierbei kann in vorteilhafter Weise vorgesehen sein, dass die Steuerungseinrichtung weiter dazu eingerichtet ist, die Position des eine zweite, kleinere Fläche in oder auf der Anzeigefläche umfassenden, angezeigten Cursor-Symbols entsprechend einer Bewegung der die Geste durchführenden Hand innerhalb des Erfassungsbereichs zu verändern, wobei wahlweise vorgesehen sein kann, dass eine Veränderung der Position des angezeigten Cursor Symbols erst nach Durchführung einer Bewegung dieser Hand über eine vorgebbare Mindestweglänge innerhalb des Erfassungsbereichs erfolgt.
Bei dem interaktiven Bediensystem kann die Steuerungseinrichtung in vorteilhafter Weise auch dazu eingerichtet sein, nach Erreichen eines zweiten, kleineren Abstands der wenigstens zwei Finger der die Geste durchführenden Hand eine Aktion in Bezug auf dasjenige angezeigte, anwählbare, graphische Element auszuführen, dessen Flächenschwerpunkt den kleinsten Abstand zum Flächenschwerpunkt des Cursor-Symbols aufweist, wobei die Aktion diesem graphischen Element vorab zugeordnet wurde, sofern die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander für einen vorgebbaren Zeitraum beibehalten oder innerhalb eines vorgebbaren Zeitraums eine weitere Bedienhandlung durch einen Bediener des interaktiven Bediensystems erfolgt.
Bei dem interaktiven Bediensystem gemäß der vorliegenden Erfindung kann die Anzeigeeinrichtung in vorteilhafter Weise einen grafikfähigen Bildschirm, ein Head-up-Display oder eine Datenbrille (Netzhautprojektor) umfassen, und kann die Sensoreinrichtung eine oder mehrere Kameraeinrichtungen für sichtbares Licht, eine oder mehrere Kameraeinrichtungen für Infrarot-Licht, eine oder mehrere Radar-Einrichtungen, und/oder eine oder mehrere Time-of-Flight-Einrichtungen umfassen.
Die vorliegende Erfindung umfasst auch ein Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem, das

– eine Sensoreinrichtung zur Erfassung von Bilddaten in zeitlicher Abfolge innerhalb eines Erfassungsbereichs der Sensoreinrichtung und zur Übermittlung der erfassten Bilddaten an eine Auswertungseinrichtung,
– eine Auswertungseinrichtung zur Auswertung der durch die Sensoreinrichtung übermittelten Bilddaten und zur Übermittlung von Daten bezüglich einer durch die Auswertung ermittelten Position einer erfassten Hand innerhalb des Erfassungsbereichs zu einer Steuerungseinrichtung,
– eine Anzeigeeinrichtung mit einer Anzeigefläche, in oder auf der ein oder mehrere mittels eines anzeigbaren Cursor-Symbols anwählbare, graphische Elemente anzeigbar sind, und
– eine Steuerungseinrichtung, mittels der aufgrund der von der Auswertungseinrichtung übermittelten Daten das Cursor-Symbol in Abhängigkeit von einer Position der Hand im Erfassungsbereich in oder auf der Anzeigefläche der Anzeigeeinrichtung anzeigbar ist, umfasst.

Das Verfahren ist dadurch gekennzeichnet, dass es die folgenden Schritte umfasst:

– Anzeigen eines Cursor-Symbols in Abhängigkeit von einer Position einer Hand im Erfassungsbereich einer Sensoreinrichtung in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons in oder auf einer Anzeigefläche einer Anzeigeeinrichtung, wobei die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche eine erste, größere Fläche aufweist,
– Auswerten von Bilddaten der Sensoreinrichtung dahin, ob eine erfasste Hand innerhalb eines Erfassungsbereichs eine freie Geste durchführt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, und
– Verändern der Größe des in oder auf der Anzeigefläche angezeigten Cursor-Symbols derart, dass die von der geschlossenen Kurve oder der Kanten des Polygons umfasste Fläche von der ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird, sofern die Durchführung einer derartigen Geste im Erfassungsbereich festgestellt wird.

Gemäß einer ersten vorteilhaften Weiterbildung des Verfahrens umfasst dieses weiter

– Ermitteln des in oder auf der Anzeigefläche angezeigten, anwählbaren, graphischen Elements, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche angezeigten Cursor-Symbols aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, automatisches Verschieben der Position des Flächenschwerpunkts des angezeigten Cursor-Symbols während der Veränderung der von dem angezeigten Cursor-Symbol umschlossenen Fläche von der ersten, größeren Fläche auf die zweite, kleinere Fläche derart, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cursor-Symbols und dem Flächenschwerpunkt des ermittelten, angezeigten, graphischen Elements einen zweiten Wert annimmt, der näher Null als der erste Wert und bevorzugt Null ist, und/oder
– Ausführens nach Erreichen des oder eines zweiten, kleineren Abstands der wenigstens zwei Finger der die freie Geste durchführenden Hand einer Aktion in Bezug auf dasjenige in oder auf der Anzeigefläche angezeigte, anwählbare graphische Element, dessen Flächenschwerpunkt den kleinsten Abstand zum Flächenschwerpunkt des Cursor-Symbols aufweist, wobei die Aktion diesem graphischen Element vorab zugeordnet wurde, sofern die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander für einen vorgebbaren Zeitraum beibehalten oder innerhalb eines vorgebbaren Zeitraums eine weitere Bedienhandlung durch einen Bediener des interaktiven Bediensystems erfolgt.

Weitere vorteilhafte Ausgestaltungen und Weiterbildungen des Verfahrens, die ebenfalls Gegenstand der vorliegenden Erfindung sind, ergeben sich für einen Fachmann ohne Weiteres aus der Beschreibung des interaktiven Bediensystems, seinen vorteilhaften Ausgestaltungen und Weiterbildungen, der Figur, der Figurenbeschreibung sowie der Beschreibung von bevorzugten Ausführungsformen und -beispielen. Die dort beschriebenen oder entnehmbaren Merkmale und Eigenschaften des interaktiven Bediensystems sind ohne weiteres auf das Verfahren gemäß der vorliegenden Erfindung und seine vorteilhaften Ausgestaltungen und Weiterbildungen übertragbar.
Die vorliegende Erfindung wird anhand der beigefügten Zeichnung näher erläutert.
Die einzige Fig. zeigt zwei Zustände einer Anzeigefläche des interaktiven Bediensystems mit wenigstens einem angezeigten, anwählbaren, graphischen Element und einem Cursor-Symbol in Form eines Rings wobei zu jedem der beiden Zustände eine zugehörige, beispielhafte Handhaltung abgebildet ist.
Die Darstellungen in der Fig. sind rein schematisch und nicht maßstabsgerecht. Innerhalb der Fig. sind gleiche oder ähnliche Elemente mit gleichen Bezugszeichen versehen.
Die nachfolgend erläuterten Ausführungsbeispiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar. Die vorliegende Erfindung ist selbstverständlich nicht auf diese Ausführungsformen beschränkt.
Die in der obigen Beschreibung genannten Merkmale und Merkmalskombinationen sowie die in der nachfolgenden Beschreibung von Ausführungsformen, Ausführungsbeispielen und der Figurenbeschreibung genannten und/oder in der Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Das interaktive Bediensystem gemäß der vorliegenden Erfindung weist eine (in der Fig. nicht dargestellte) Sensoreinrichtung zur Erfassung von Bilddaten in zeitlicher Abfolge innerhalb eines Erfassungsbereichs der Sensoreinrichtung und zur Übermittlung der erfassten Bilddaten an eine Auswertungseinrichtung auf.
Bezüglich der Sensoreinrichtung bestehen keine besonderen Einschränkungen und es können alle aus dem Stand der Technik bereits bekannten oder zukünftig noch bekannt werdenden geeigneten Sensoreinrichtungen bei dem interaktiven Bediensystem vorgesehen sein. Bevorzugt weist die Sensoreinrichtung des interaktiven Bediensystems als Erfassungseinrichtung eine oder mehrere Kameraeinrichtungen für sichtbares Licht, eine oder mehrere Kameraeinrichtungen für Infrarot-Licht, eine oder mehrere Radar-Einrichtungen, und/oder eine oder mehrere Time-of-Flight-Einrichtungen auf.
Bei Kameraeinrichtungen für sichtbares oder Infrarotlicht kann die Sensoreinrichtung beispielsweise auch über eine „Lichtquelle” verfügen, die zur Ausleuchtung des Erfassungsbereichs der Sensoreinrichtung dient. Bei dem Einsatz von einer oder mehreren Kameraeinrichtungen für Infrarotlicht kann beispielsweise der Erfassungsbereich mittels einer oder mehreren Infrarot-Lichtquellen (bspw. Infrarot-LEDs) ausgeleuchtet werden, ohne dass die Gefahr einer Blendung für einen Bediener des interaktiven Bediensystems gegeben ist.
Erfassungseinrichtungen der Sensoreinrichtung, die auf unterschiedlichen technischen Grundlagen basieren, können gleichzeitig oder alternativ dazu verwendet werden, Bilddaten zu erfassen. Durch gleichzeitiges Erfassen von Bilddaten durch technisch verschiedenartige Erfassungseinrichtungen (z. B. durch eine Kameraeinrichtung für sichtbares Licht und eine Radar-Einrichtung; durch eine Kameraeinrichtung für sichtbares Licht und eine Kameraeinrichtung für Infrarotlicht, etc.) und Auswerten der Bilddaten der technisch verschiedenartigen Erfassungseinrichtungen durch die Auswertungseinrichtung kann beispielsweise die Erkennungsquote bezüglich der Handgeste erhöht werden.
Bevorzugt weist das interaktive Bediensystem eine Sensoreinrichtung auf, mit der stereoskopische oder dreidimensionale Bilder erfasst werden können. Dies erleichtert beispielsweise die Erkennung der oberen Extremitäten eines Bedieners des interaktiven Bediensystems, da leichter zwischen oberen Extremitäten, Hintergrund und Vordergrund innerhalb des Erfassungsbereichs der Sensoreinrichtung unterschieden werden kann, als dies bei einer zweidimensionalen Bilderfassung der Fall ist.
Eine stereoskopische oder dreidimensionale Bilderfassung kann beispielsweise in an sich bekannter Weise durch eine entsprechende stereoskopische Anordnung und Ausrichtung der Erfassungsachsen von zwei Kameraeinrichtungen für sichtbares oder Infrarotlicht und eine dementsprechende Auswertung der erfassten Bilddaten durch die Auswertungsvorrichtung erreicht werden. Auch mittels einer oder mehrerer Radar-Einrichtungen kann beispielsweise die Lage und/oder Bewegung einer Hand und der Finger innerhalb des Erfassungsbereichs der Radar-Einrichtung räumlich erfasst werden. Aufgrund der (Weiter) Entwicklungen der vergangenen Jahre konnten die Baugrößen von Radar-Einrichtungen zunehmend verkleinert werden, so dass diese nunmehr für das interaktive Bediensystem gemäß der vorliegenden Erfindung in vielen Fällen selbst bei einem nur beschränkt zur Verfügung stehenden Bauraum einsetzbar sind.
Ebenfalls bevorzugt weist die Sensoreinrichtung des interaktiven Bediensystems gemäß der vorliegenden Erfindung ein oder mehrere sog. „Time-of-Flight-Einrichtungen auf, wobei das interaktive Bediensystem selbstverständlich weitere, davon technisch verschiedene Bilderfassungseinrichtungen aufweisen kann.
Bei Vorrichtungen und Verfahren nach dem Time-of-Flight-Prinzip (Laufzeitprinzip) wird bekanntlich ein von einer Sendeeinrichtung ausgesandtes (emittiertes) Signal an einem Objekt reflektiert und das reflektierte Signal von einer Empfangseinrichtung detektiert. Anhand der Geschwindigkeit und der Laufzeit des Signals kann die Entfernung des Objekts von der Empfangseinrichtung ermittelt werden.
Eine der bekanntesten Vorrichtung nach dem Time-of-Flight-Prinzip ist ein PMD-System bzw. PMD-Kamerasystem. In einem solchen PMD-Kamerasystem ist ein Photomischdetektor (auch PMD-Sensor genannt; PMD = Photonid Mixing Device) als Sensor enthalten. Ein PMD-Sensor weist ein ein- bzw. in der Regel mehrzeiliges Array von PMD-Detektorelementen und eine Empfangsoptik auf. Ein oder mehrere PMD-Systeme bzw. PMD-Kamerasysteme können in bevorzugter Weise bei dem interaktiven Bediensystem vorgesehen sein.
Es sei jedoch darauf hingewiesen, dass eine Sensoreinrichtung, mit der stereoskopische oder dreidimensionale Bilder erfasst werden können, kein zwingendes Merkmal des interaktiven Bediensystems ist und dass somit auch eine Sensoreinrichtung, mit der nur zweidimensionale Bilder erfasst werden können, in vielen Fällen ausreichend ist oder sein kann. Selbst wenn es für das interaktive Bediensystem gemäß der vorliegenden Erfindung von Vorteil oder erforderlich sein sollte, die Position einer Hand im Raum erkennen zu können, kann die Erfassung von nur zweidimensionalen Bildern ausreichend sein, da mittels entsprechender, intelligenter Algorithmen auch aus zweidimensionalen Bildern die Position eines Objekts im Raum (zumindest annähernd) ermittelt werden kann.
Der Aufbau und die Funktionsweise der verschiedenen, oben erwähnten Einrichtungen zum Erfassen von Bildern innerhalb eines Erfassungsbereichs der Sensoreinrichtung sind Fachleuten bekannt, so dass hier nicht näher darauf eingegangen zu werden braucht.
Für die Erfassung der Bilddaten „in zeitlicher Abfolge” ist lediglich erforderlich, dass die Erfassung der Bewegung der Hand durch die Sensoreinrichtung mit einer für den erfindungsgemäßen Zweck zumindest ausreichenden zeitlichen Abfolge, zum Beispiel im Bereich von 15 bis 40 Erfassungen (Bildern) pro Sekunde (15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39 oder 40 Bilder pro Sekunde) erfolgt bzw. erfolgen kann.
Selbstverständlich ist auch eine ausreichende Auflösung der erfassten Bilder vorzusehen, damit die Geste einer Hand mit den dabei erfolgenden Bewegungen von wenigstens zwei Fingern mit zumindest ausreichender Sicherheit von der Auswertungseinrichtung erkannt werden kann. Bei den von der Sensoreinrichtung erfassten Bildern können selbstverständlich die bekannten Bildverbesserungs-Verfahren (in Bezug auf Helligkeit, Kontrast, Helligkeitsverteilung, etc.) Anwendung finden, um die Erkennungsleistung in Bezug auf eine im Raum durchgeführte freie Handgeste zu verbessern.
Der Erfassungsbereich der Sensoreinrichtung ist nicht besonders beschränkt und kann sich in einem einfachen Fall durch den Aufbau und die Ausrichtung (Erfassungswinkel) der Sensoreinrichtung ergeben. Es kann jedoch in einigen Fällen von Vorteil sein, bspw. in einem Fahrzeug, in Bezug auf Größe (Höhe, Breite und Tiefe) und Position des Erfassungsbereichs im Raum nur einen vorgebbaren Teilbereich des technisch möglichen Erfassungsbereichs der Sensoreinrichtung als Erfassungsbereich vorzusehen. Hierdurch kann in vorteilhafter Weise erreicht werden, dass nur eine Bewegung einer Hand innerhalb des so definierten Erfassungsbereichs als mögliche Geste zur Bedienung des interaktiven Bediensystems interpretiert wird, Bewegungen außerhalb des so definierten Erfassungsbereichs jedoch unberücksichtigt bleiben. Ein derartiger Teilbereich eines zur Verfügung stehenden Raums kann auf besonders einfache Weise mit Hilfe einer Sensoreinrichtung realisiert werden, mit dem stereoskopische oder dreidimensionale Bilder erfasst werden können.
Als weiteren Bestandteil weist das interaktive Bediensystem eine Auswertungseinrichtung zur Auswertung der durch die Sensoreinrichtung übermittelten Bilddaten und zur Übermittlung von Daten bezüglich einer durch die Auswertung ermittelten Position einer erfassten Hand innerhalb des Erfassungsbereichs zu einer Steuerungseinrichtung auf.
Bei der Auswertungseinrichtung kann es sich um jede hierfür geeignete Einrichtung handeln. So kann beispielsweise eine Auswertungseinrichtung ein – an sich bekanntes – Bildauswertungssystem umfassen, bei dem von der Sensoreinrichtung erfasste Bilder mittels einer geeigneten Kombination aus Hard-(Computer, digitale Recheneinrichtung) und Software (Bildauswertungs- und gegebenenfalls auch Bildverbesserungs-Software) ausgewertet werden.
Auch bezüglich der Anzeigeeinrichtung, die ein weiterer Bestandteil des interaktiven Bediensystems gemäß der vorliegenden Erfindung ist, und die eine (reale oder virtuelle) Anzeigefläche 1 aufweist, in oder auf der ein oder mehrere mittels eines anzeigbaren Cursor-Symbols 2 anwählbare graphische Elemente 3 anzeigbar sind, bestehen keine besonderen Beschränkungen. Die Anzeigeeinrichtung kann in vorteilhafter Weise etwa einen grafikfähigen (gegebenenfalls auch berührungs- und/oder näherungsempfindlichen) Bildschirm, ein Head-up-Display oder eine Datenbrille (einen Netzhautprojektor) umfassen.
Die Anzeigen in oder auf der Anzeigefläche 1 der Anzeigeeinrichtung werden durch eine Steuerungseinrichtung gesteuert. Diese Steuerungseinrichtung ist gemäß der vorliegenden Erfindung dazu eingerichtet, das Cursor-Symbol 2 in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons in oder auf der Anzeigefläche 1 anzuzeigen, und bei Übermittlung von Daten einer freien Geste, bei der sich wenigstens zwei Finger einer Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, durch die Auswertungseinrichtung, die Größe des in oder auf der Anzeigefläche 1 angezeigten Cursor-Symbols 2 derart verändert wird, dass die von der geschlossenen Kurve oder der Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird. Die Veränderung der Größe des Cursor-Symbols 2 erfolgt hierbei in bevorzugter Weise nicht sprunghaft – auch wenn eine solche sprunghafte Änderung von der vorliegenden Erfindung umfasst ist – sondern über einen vorgebbaren Zeitraum hinweg, besonders bevorzugt möglichst synchron zu einer Durchführung der oben definierten Geste. Die Größe des angezeigten Cursor-Symbols 2 ist somit bevorzugt dynamisch veränderbar.
Bei dem Cursor-Symbol 2 in Form einer geschlossenen Kurve handelt es sich bevorzugt um eine einfache geschlossene Kurve, wie etwa einen kreisrunden oder einen ovalen Ring. Und bei dem Polygon, durch dessen Kanten das Cursor-Symbol 2 ausgebildet sein kann, handelt es sich bevorzugt um ein einfaches Polygon, etwa um ein (bevorzugt regelmäßiges) Dreieck, Viereck, Fünfeck, Sechseck, Siebeneck, Achteck, usw.
Die Linie, mit der das Cursor-Symbol 2 angezeigt wird, kann jede geeignete Linienstärke aufweisen. Auch ist es von der vorliegenden Erfindung umfasst, wenn die Linie, mit der das Cursor-Symbol 2 angezeigt wird, nicht vollständig geschlossen, d. h. ohne jede Unterbrechung ist. Diese kann gemäß der vorliegenden Erfindung also auch wenigstens eine oder mehrere kurze Unterbrechungen aufweisen, so dass die angezeigte Linie des Cursor-Symbols 2 nur etwa 95%, 90%, 85%, 80% oder 75% der entsprechenden, ununterbrochenen Linie der geschlossenen Kurve oder der entsprechenden, ununterbrochenen Kanten des Polybons entspricht.
Die Art und Weise der Anzeige der in oder auf der Anzeigefläche 1 angezeigten, anwählbaren, graphischen Elemente 3 wird durch die Anzeige des Cursor-Symbol 2 in vorteilhafter Weise nicht besonders beeinflusst. Insbesondere gilt dies für den Bereich der Anzeigefläche 1, der von dem Cursor-Symbol 2 umschlossen ist. Dies bedeutet, dass das Cursor-Symbol 2 zwar „über” einem oder mehreren angezeigten, anwählbaren, graphischen Elementen 3 angezeigt werden kann, dass also die geschlossene Kurve oder die Kanten eines Polygons, durch die das Cursor-Symbol 2 in oder auf der Anzeigefläche 1 angezeigt wird, ein oder mehrere „darunter liegende” angezeigte, anwählbare, graphische Elemente 3 „überdecken” kann/können, dass der übrige Bereich des oder der angezeigten, anwählbaren, graphischen Elemente 3 aber unverändert in oder auf der Anzeigefläche 1 angezeigt wird.
Dies gilt in vorteilhafter Weise sowohl für das Cursor-Symbol 2, wenn dieses die erste, größere Fläche umfasst, als auch für das Cursor-Symbol 2, wenn dieses die zweite, kleinere Fläche umfasst.
Bei der Steuerungseinrichtung des interaktiven Bediensystems kann es sich ebenfalls um eine geeignete Kombination aus Hard- und Software handeln, mittels der auf Grundlage der Ergebnisse der Auswertungseinrichtung Steuersignale für die Anzeigeeinrichtung erzeugt und an diese übermittelt werden können. Die Auswertungs- und Steuerungseinrichtung können als getrennte Bauelemente/Baugruppen oder als ein gemeinsames Bauelement bzw. gemeinsame Baugruppe des erfindungsgemäßen Systems ausgebildet sein.
Da das Bediensystem gemäß der vorliegenden Erfindung dazu dient, eine oder mehrere Einrichtungen interaktiv bedienen zu können, ist es bevorzugt, dass die Übermittlung der erfassten Bilddaten an die Auswertungseinrichtung verzögerungsarm erfolgt, dass die Auswertung der an sie übermittelten Bilddaten verzögerungsarm erfolgt, dass die Übermittlung der Daten von der Auswertungseinrichtung zu der Steuerungseinrichtung verzögerungsarm erfolgt, dass die Ansteuerung der Anzeigeeinrichtung durch die Steuerungseinrichtung verzögerungsarm erfolgt und dass die Anzeige des Cursor-Symbols 2 aufgrund der Ansteuerung durch die Steuerungseinrichtung verzögerungsarm erfolgt.
Dies bedeutet, dass alle Einrichtungen des interaktiven Bediensystems gemäß der vorliegenden Erfindung in vorteilhafter Weise dazu eingerichtet sind und derart zusammenwirken, dass innerhalb eines möglichst geringen Zeitabstands (von bspw. 0,01 s, 0,02 s, 0,03 s, 0,04 s, 0,05 s, 0,06 s, 0,07 s, 0,08 s, 0,09 s, 0,10 s, 0,15 s, 0,20 s, 0,25 s, 0,30 s, 0,35 s, 0,40 s, 0,45 s, 0,5 s) zwischen der Durchführung einer freien Geste durch einen Bediener, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, eine entsprechende Verkleinerung des in oder auf der Anzeigefläche 1 der Anzeigeeinrichtung angezeigten Cursor-Symbols 2 erfolgt. In bevorzugter Weise erfolgt diese Verkleinerung somit möglichst zeitgleich mit der Bewegung der wenigstens zwei Finger aufeinander zu.
In bevorzugter Weise ist die Steuerungseinrichtung des interaktiven Bediensystems gemäß der vorliegenden Erfindung weiter dazu eingerichtet, dasjenige in oder auf der Anzeigefläche 1 angezeigte, anwählbare, graphische Element 3 zu ermitteln, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche 1 angezeigten Cursor-Symbols 2 aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, die Position des Flächenschwerpunkts des angezeigten Cursor-Symbols 2 während der Veränderung der Fläche des angezeigten Cursor-Symbols 2 von der ersten, größeren Fläche auf die zweite, kleinere Fläche derart automatisch (bevorzugt dynamisch, d. h. möglichst synchron zu einer Durchführung der oben definierten Geste) zu verschieben, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cursor-Symbols 2 und dem Flächenschwerpunkt des ermittelten, angezeigten Elements 3 einen zweiten Wert annimmt, der näher Null ist als der erste Wert und bevorzugt Null ist.
Sofern vorstehend von einem Wert „ungleich Null” gesprochen wird, so ist damit ein Wert für den Abstand von ungleich Null Pixel, ungleich Null Zentimeter, ungleich Null Millimeter oder dergleichen in oder auf der Anzeigefläche zu verstehen. Entscheidend ist lediglich, dass gemäß dieser vorteilhaften Weiterbildung der Erfindung der Abstand zwischen den Flächenschwerpunkten des angezeigten Cursor-Symbols 2 und des nächstliegenden, angezeigten, anwählbaren, graphischen Elements 3 während der Verschiebung des Cursor-Symbols 2 automatisch verringert wird, bevorzugt auf null, d. h. dass beide Flächenschwerpunkte am Ende der Veränderung des Abstands in oder auf der Anzeigefläche 1 bevorzugt die gleiche Position einnehmen.
Das Ergebnis einer solchen Verschiebung mit gleichzeitiger Verkleinerung der Fläche, die von dem Cursor-Symbol 2 umfasst ist, ist im unteren Bereich der Fig. schematisch und beispielhaft dargestellt.
Demgegenüber ist im oberen Teil der Fig. eine Ausgangssituation dargestellt, bei der mittels der Sensoreinrichtung Bilddaten einer Handposition innerhalb des Erfassungsbereichs der Sensoreinrichtung an die Auswertungseinrichtung übermittelt werden, die von der Auswertungseinrichtung erkannte Position der Hand an die Steuerungseinrichtung übermittelt wird und durch die Steuerungseinrichtung die Anzeigeeinrichtung derart gesteuert wird, dass das Cursor-Symbol 2 derart angezeigt wird, dass die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche die erste, größere Fläche aufweist. Die Position des auf der Anzeigefläche 1 angezeigten Cursor-Symbols 2 wird hierbei in Abhängigkeit von der Position der Hand innerhalb des Erfassungsbereichs der Sensoreinrichtung gewählt.
Falls ein Bediener des interaktiven Bediensystems seine Hand innerhalb des Erfassungsbereichs der Sensoreinrichtung auf eine Art und Weise bewegt, die als eine Bewegung zur Veränderung der Position des Cursor-Symbols 2 in oder auf der Anzeigefläche 1 interpretiert wird (also insbesondere eine Bewegung, die nicht als eine senkrecht zur Anzeigefläche 1 erkannt wird), wird die Position des angezeigten Cursor-Symbols 2 entsprechend nachgeführt.
Die Größe des angezeigten Cursor-Symbols 2, bei dem die von der geschlossenen Kurve oder der Kanten des Polygons umfasste Fläche eine erste, größere Fläche aufweist, unterliegt keiner besonderen Beschränkung. Da jedoch bei einer Durchführung einer freien Geste, bei der sich wenigstens zwei Finger einer Hand aufeinander zu bewegen, im Erfassungsbereich der Sensoreinrichtung eine Verkleinerung der von dem angezeigten Cursor-Symbol 2 umgebenen Fläche erfolgen soll, und diese Verkleinerung von einem Bediener des interaktiven Bediensystems auch als solche sicher wahrgenommen können werden soll, kann vorgesehen sein, dass die erste, größere Fläche im Bereich von 250% bis 1000% (250%, 300%, 350%, 400%, 450%, 500%, 550%, 600%, 650%, 700%, 750%, 800%, 850%, 900%, 1000%) des größten in oder auf der Anzeigefläche angezeigten, anwählbaren Elements 3 beträgt.
Auch die Stärke und/oder Farbe der angezeigten Kurve oder der Kanten des Polygons unterliegt keiner besonderen Beschränkung und wird von einem Fachmann unter Berücksichtigung der Art der Anzeigeeinrichtung, des vermuteten oder gegebenen Abstands der Augen des Bedieners von der Anzeigefläche, den Umgebungsbedingungen (etwa Helligkeit), unter denen das interaktive Bediensystem zum Einsatz kommt, etc. so gewählt werden, dass das Cursor-Symbol 2 von einem Menschen sicher und ohne Mühen erkannt werden kann.
Hierbei kann sowohl vorgesehen sein, dass die angezeigte Linienstärke, Farbe und/oder Anzeigeart der angezeigten Kurve oder der Kanten des Polygons bei einer Verkleinerung der von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche unverändert bleibt, als auch dass sich wenigstens eines davon verändert, bspw. dass bei einer solchen Verkleinerung die Linienstärke von einer ersten, dickere Linienstärke auf eine zweite, dünnere Linienstärke verringert.
Hat das Cursor-Symbol 2 seine kleinste angezeigte Größe erreicht, kann bspw. vorgesehen, dass sich die Farbe der angezeigten Kurve oder der Kanten des Polygons oder die Anzeigeart verändert, dass bspw. das Cursor-Symbol 2 in einer veränderten Farbe oder einer sich periodisch ändernde Farbe und/oder Helligkeit dargestellt wird.
In der Fig. ist bei beiden Zuständen der Anzeigefläche 1 ein quadratisches Element mit dem Bezugszeichen 3 versehen und dieses Element stellt ein anwählbares graphisches Element 3 im Sinne der vorliegenden Erfindung dar. Bei den weiteren, auf gleichartige Weise in der Fig. dargestellten Elementen kann es sich um weitere anwählbare, graphische Elemente handeln oder es können eines, mehrere oder alle davon zwar angezeigte, graphische Elemente sein, die jedoch bei einer gegebenen Situation oder grundsätzlich nicht anwählbar sind.
Bei einem anwählbaren, graphischen Element 3 gemäß der vorliegenden Erfindung kann es sich bspw. um ein Icon oder ein anderes graphisches Objekt handeln, das optisch abgegrenzt ist von seiner Umgebung und räumlich abgegrenzt ist von anderen angezeigten graphischen Elementen in oder auf der Anzeigefläche und bei dessen Betätigung ein Programm oder eine App gestartet wird, ein Ordner oder eine Datei geöffnet wird, Informationen angezeigt, eine Einrichtung gestartet oder gestoppt (aktiviert oder deaktiviert), oder Einstellungen oder Verstellungen bei einer Einrichtung vorgenommen werden können. Bei einem nicht anwählbaren, graphischen Element kann es sich bspw. um ein solches handeln, mit dem ausschließlich eine Information angezeigt wird, etwa eine Temperatur oder ein Status einer Einrichtung.
Wie im oberen Teil der Fig. schematisch dargestellt ist, „überdeckt” die Linie, die das Cursor-Symbol 2 bildet, zwar bestimmte Bereiche von einigen angezeigten, graphischen Elementen. Die verbleibenden Bereiche der betroffenen Elemente, die sich innerhalb der von der Linie umschlossenen Fläche des Cursor-Symbols 2 befinden und die gänzlich innerhalb dieser Fläche angezeigten graphischen Element werden aber bevorzugt auf die gleiche Art und Weise angezeigt, wie diejenigen Elemente und Bestandteile von Elementen, die sich außerhalb des Cursor-Symbols 2 befinden. Hierdurch wird sichergestellt, dass ein Bediener des interaktiven Bediensystems jederzeit die dargestellten graphischen Elemente sehen und deren Bedeutung erkennen kann.
Wird von der Auswertungseinrichtung eine freie Geste einer Hand im Erfassungsbereich der Sensoreinrichtung erkannt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen (wie sie bspw. durch die beiden auf der rechten Seite der Fig. dargestellten Handhaltungen symbolisiert ist), wird von der Steuerungseinrichtung aufgrund der von der Auswertungseinrichtung an sie übermittelten Daten das angezeigte Cursor-Symbol 2 derart verändert, dass die von der geschlossenen Kurve oder der Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird.
Gemäß der in der Fig. schematisch dargestellten, bevorzugten Ausführungsform der vorliegenden Erfindung wird in einem solchen Fall nicht nur die von dem Cursor-Symbol 2 umfasst Fläche in oder auf der Anzeigefläche verkleinert, sondern auch dasjenige in oder auf der Anzeigefläche 1 angezeigte, anwählbare, graphische Element 3 ermittelt, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche 1 angezeigten Cursor-Symbols 2 aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, die Position des Flächenschwerpunkts des angezeigten Cursor-Symbols 2 während der Verkleinerung des, angezeigten Cursor-Symbols 2 derart automatisch verschoben, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cursor-Symbols 2 und dem Flächenschwerpunkt des ermittelten, angezeigten Elements 3 einen zweiten Wert annimmt, der näher Null ist als der erste Wert und bevorzugt Null ist.
Im unteren Bereich der Fig. ist ein Zustand am Ende dieses Vorgangs schematisch dargestellt. Es wurde zu Beginn der Durchführung der Handgeste festgestellt, dass der Flächenschwerpunkt (hier der Mittelpunkt) des angezeigten, anwählbaren Elements 3 den geringsten Abstand zum Flächenschwerpunkt (hier der Mittelpunkt) des Cursor-Symbols 2 aufweist. Während der Verkleinerung der von dem Cursor-Symbol 2 umfassten Fläche wurde daher auch der Abstand zwischen den beiden Flächenschwerpunkten durch ein automatisches Verschieben des Flächenschwerpunkts des Cursor-Symbols 2 so weit verringert, dass diese nun bei dem im unteren Bereich der Fig. dargestellten Zustand die gleiche Position in oder auf der Anzeigefläche 1 einnehmen.
Im unteren Bereich der Fig. ist darüber hinaus auch eine weitere vorteilhafte Ausgestaltung der vorliegenden Erfindung dargestellt, nämlich dass die zweite, kleinere von dem angezeigten Cursor-Symbol 2 umfasste Fläche nur auf eine solche Größe gesteuert wird, dass die von der geschlossenen Kurve oder den Kanten des Polygons umschlossene Fläche des angezeigten Cursor-Symbols 2 im Bereich von 50% bis 200%, bevorzugt im Bereich von 75% bis 175%, besonders bevorzugt im Bereich von 90% bis 150% der Fläche des angezeigten graphischen Elements 3 ist.
Hierdurch ist sichergestellt, dass das anwählbare graphische Element für einen Bediener des interaktiven Bediensystems auch „im gegriffenen Zustand” innerhalb des Cursor-Symbols 2 sichtbar bleibt und somit keine Unsicherheit über die Bedeutung und den Typ des „gegriffenen” graphischen Elements aufkommen kann.
Es ist selbstverständlich, dass ein Fachmann die Form der angezeigten, anwählbaren, graphischen Elemente 3 und/oder die Form des Cursor-Symbols 2 in geeigneter Weise wählen wird, dass bspw. bei anwählbaren, graphischen Elementen 3, deren Außenumfang im Wesentlichen quadratisch ist, auch ein entsprechend „gleichmäßig” geformtes Cursor-Symbol 2 gewählt wird, bspw. in Form eines kreisförmigen Rings, eines gleichschenkeligen Dreiecks, eines Quadrats, oder eines anderen einfachen Polygons, deren Kanten eine gleiche Länge aufweisen.
Ist eine Situation gegeben, wie sie im unteren Bereich der Fig. dargestellt ist, befindet sich das graphische Element 3 in einem „angewählten Zustand”. In einem solchen Zustand kann die Art und Weise der Anzeige des angewählten Elements 3 geändert werden, bspw. kann das angewählte graphische Element 3 in einer anderen Farbe, anderen Helligkeit, einer sich periodisch verändernden Farbe und/oder einer sich periodisch verändernden Helligkeit angezeigt werden, als vor dem „angewählten Zustand”. Auch kann bspw. vorgesehen sein, dass ein auf den „angewählten Zustand” hinweisender Signalton oder entsprechender gesprochener Hinweis an den Bediener des interaktiven Bediensystems ausgegeben wird.
Ist eine Situation gegeben, wie sie im unteren Bereich der Fig. dargestellt ist, kann weiter in vorteilhafter Weise vorgesehen sein, dass die Steuerungseinrichtung weiter dazu eingerichtet ist, das Cursor-Symbol 2 so lange mit der zweiten, kleineren Fläche anzuzeigen, solange die wenigstens zwei Finger der die freie Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander aufweisen. Auch kann weiter vorgesehen sein, dass die Position des eine zweite, kleinere Fläche in oder auf der Anzeigeeinrichtung umfassenden, angezeigten Cursor-Symbols 2 entsprechend einer Bewegung der die Geste durchführenden Hand innerhalb des Erfassungsbereichs verändert wird, wobei wahlweise vorgesehen sein kann, dass eine Veränderung der Position des angezeigten Cursor-Symbols 2 erst nach Durchführung einer Bewegung der Hand über eine vorgebbare Mindestweglänge innerhalb des Erfassungsbereichs erfolgt.
Die oben erwähnte, bevorzugte und automatische Annäherung des Flächenschwerpunkts des Cursor-Symbols 2 an den Flächenschwerpunkt des nächstgelegenen, angezeigtem, anwählbarem, graphischen Elements 3 soll dazu dienen, einem Bediener des interaktiven Bediensystems das „Anwählen” (Zielen und Zielhalten) eines derartigen graphischen Elements 3 zu erleichtern, indem quasi „magnetisch” und für den Bediener oftmals kaum wahrnehmbar der Flächenschwerpunkt des Cursor-Symbols 2 in Richtung des nächstgelegen, anwählbaren, graphischen Elements 3 „gezogen wird.
Sollte das angewählte graphische Element 3 nun nicht das vom Bediener gewünschte graphische Element 3 sein oder dieser ein anderes als das aktuell angewählte graphische Element anwählen wollen, so kann dies gemäß der vorstehend erwähnten Ausgestaltung des interaktiven Bediensystems auf einfache Weise dadurch erfolgen, dass der Bediener die Endposition seiner Finger nach Durchführung der Geste (zumindest in etwa) beibehält und eine Bewegung dieser Hand innerhalb des Erfassungsbereichs der Sensoreinrichtung durchführt, die als eine zur Veränderung der Position des Cursor-Symbols 2 erkannt wird.
Da bspw. in einem sich in Fahrt befindlichen Fahrzeug die Bewegung einer sich frei im Raum befindlichen Hand oftmals recht unruhig ist, kann hierbei vorgesehen sein, dass die „quasi magnetische Anhaftung” des Cursor-Symbols 2 bei dem angewählten Element 3 erst dann aufgehoben wird, wenn eine Bewegung der Hand über eine vorgebbare Mindestweglänge innerhalb des Erfassungsbereichs erfolgt ist, also davon ausgegangen werden kann, dass der Bediener des interaktiven Bediensystems bewusst ein anderes anwählbares graphisches Element anwählen möchte.
Da das interaktive Bediensystem dazu vorgesehen ist, alle denkbaren und möglichen Einrichtungen, wie etwa eine beliebige Maschine, eine Anlage (Produktions- oder Arbeits-Anlage mit mehreren Einrichtungen), ein Fahrzeug, eine fahrzeugseitige Einrichtung, eine mobile oder stationäre, elektronische Einrichtung, wie etwa ein Mobiltelefon (Smartphone), ein Tablet-Computer, ein Personal-Computer, eine Einrichtung aus dem Bereich der Unterhaltungselektronik, etc. oder Teile davon bedienen zu können und/oder Bestandteil einer solchen Einrichtung zu sein, kann in vorteilhafter Weise weiter vorgesehen sein, dass nach Erreichen eines zweiten, kleineren Abstands der wenigstens zwei Finger der die freie Geste durchführenden Hand eine Aktion in Bezug auf dasjenige angezeigte, anwählbare graphische Element 3 ausgeführt wird, dessen Flächenschwerpunkt den kleinsten Abstand zum Flächenschwerpunkt des Cursor-Symbols 2 aufweist, wobei die Aktion diesem graphischen Element 3 vorab zugeordnet wurde, sofern wahlweise die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander für einen vorgebbaren Zeitraum beibehalten oder innerhalb eines vorgebbaren Zeitraums eine weitere Bedienhandlung durch einen Bediener des interaktiven Bediensystems erfolgt.
Die ausgeführte „Aktion” ist nicht besonders beschränkt und kann etwa die Aktionen umfassen, die üblicherweise Gegenstand der Bedienung eines stationären oder mobilen Computers (etwa Personal-Computer, Tablet-Computer), eines Mobiltelefons (etwa Smartphone), einer Maschine oder Anlage sind, wie etwa das Starten oder Schließen eines Programms bzw. einer App, das Öffnen oder Schließen einer Datei, das Vornehmen von Einstellungen oder von Auswahlen bei einem Programm bzw. einer App, das Bearbeiten von Dateien, die Veränderung von Parametern und/oder die Erzeugung und Übermittlung von Steuerungsbefehlen, etc.
Auch die weitere Bedienhandlung (als erste Bedienhandlung wird hier die Geste des Bedieners im Erfassungsbereich der Sensoreinrichtung, bei der sich wenigstens zwei Finger einer Hand von einem ersten, größeren Abstand auf einen zweiten kleineren Abstand aufeinander zu bewegen, angesehen) ist nicht besonders beschränkt und es kann sich bei dieser weiteren Bedienhandlung bspw. um eine weitere Geste, eine Betätigungshandlung bei einer Bedieneinrichtung (einem Schalter, einer Wippe, einem Touchpad, etc.) oder einen Sprachbefehl handeln.
Ist als weitere Bedienhandlung eine Geste vorgesehen, kann diese etwa ein Drehen der Hand, eine Bewegung der Hand in Richtung der (realen oder virtuellen) Anzeigefläche („Drücken”) und/oder eine Bewegung der Hand von der (realen oder virtuellen) Anzeigefläche weg („Ziehen”) – jeweils im Erfassungsbereich der Sensoreinrichtung – umfassen, wobei die letztgenannte Bedienhandlung in vorteilhafter Weise oftmals von den derzeit verfügbaren Sensor- und Auswertungseinrichtungen am sichersten erkannt wird.
Wie oben bereits erwähnt, ist das interaktive Bediensystem gemäß der vorliegenden Erfindung dazu vorgesehen, alle denkbaren und möglichen Einrichtungen, wie etwa eine beliebige Maschine, eine Anlage (Produktions- oder Arbeits-Anlage mit mehreren Einrichtungen), ein Fahrzeug, eine fahrzeugseitige Einrichtung, eine mobile oder stationäre, elektronische Einrichtung, wie etwa ein Mobiltelefon (Smartphone), ein Tablet-Computer, ein Personal-Computer, eine Einrichtung aus dem Bereich der Unterhaltungselektronik, etc. oder einen Teil davon bedienen zu können oder Bestandteil einer solchen Einrichtung zu sein.
Dies bedeutet, dass das interaktive Bediensystem etwa ein Bestandteil eines Mobiltelefons, eines persönlichen digitalen Assistenten, eines Tablet-PC, einer mobilen oder stationären Einrichtung zur Wiedergabe von Musik- und/oder Videodaten, einer Spielkonsole, eines Fernsehers, etc. sein kann, ebenso wie es Bestandteil einer beliebigen Maschine (wie etwa einem Kraftfahrzeug) oder Anlage oder ein Bestandteil einer Einrichtung einer Maschine (wie etwa einem Fahrerassistenz-System) oder Anlage sein kann.
In den vorstehend genannten Fällen umfassen daher die genannten Geräte, Maschinen und Anlagen, etc. sämtliche Elemente des interaktiven Bediensystems, also eine jeweils entsprechend der vorliegenden Erfindung eingerichtete Sensoreinrichtung, Auswertungseinrichtung, Anzeigeeinrichtung und Steuerungseinrichtung.
Einzelne oder alle Elemente des interaktiven Bediensystems können jedoch auch getrennt von den genannten Geräten, Maschinen, Anlagen, etc. vorliegen bzw. vorgesehen sein, d. h. es können die Sensoreinrichtung, Auswertungseinrichtung, Anzeigeeinrichtung und/oder die Steuerungseinrichtung von dem Gerät, der Maschine, Anlage, etc. oder einem Teil davon getrennte Einrichtungen sein, oder es kann sich bei dem interaktiven Bediensystem um eine eigenständige Einrichtung handeln.
Selbstverständlich ist von der vorliegenden Erfindung umfasst, dass mit nur einem interaktiven Bediensystem mehrere Einrichtungen, Geräte, Maschinen, Anlagen, etc., oder Teile davon bedient werden können.
Bei dem interaktiven Bediensystem sind mehrfach Daten von einer Einrichtung zu einer anderen Einrichtung des interaktiven Bediensystems zu übermitteln. Auch sind oftmals Daten von dem interaktiven Bediensystem zu anderen Einrichtungen, wie etwa einem Gerät, einer Maschine, Anlage, etc. oder einem Teil davon zu übermitteln. Die Übermittlung kann dabei auf allen bekannten Arten und Weisen erfolgen, bspw. drahtgebunden, drahtlos (etwa mittels Funkwellen oder Licht) und/oder mittels eines Bussystems. Auch ist eine Übermittlung von Daten mit Hilfe eines Netzwerks (etwa einem Intranet oder dem Internet) von der vorliegenden Erfindung umfasst. In bevorzugter Weise werden Daten in digitaler Form übermittelt.
Sofern in der vorliegenden Anmeldung von einer freien Geste gesprochen wird, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, so kann eine solche Geste bspw. ein aufeinander zu bewegen der Fingerspitzen von Daumen und Zeigefinger umfassen, ein aufeinander zu bewegen der Fingerspitzen von Daumen, Zeigefinger und Mittelfinger, ein aufeinander zu bewegen der Fingerspitzen von Daumen, Zeigefinger, Mittelfinger und Ringfinger, ein aufeinander zu bewegen der Fingerspitzen aller Finger einer Hand, oder auch eine Greifbewegung, bei der die Finger der Hand letztendlich eine Faust bilden.
Zusammenfassend kann man festhalten, dass eine Bedienung mittels freier Gesten zunehmend Einzug im Bereich der Unterhaltungselektronik findet und auch im Bereich der Kraftfahrzeuge erste Ansätze hierzu bekannt sind.
Die Bedienung von grafischen Bedienschnittstellen auf Bildschirmen, Head-up-Displays oder Datenbrillen mit Hand- oder Arm-Gesten im freien Raum schließt die Möglichkeit einer haptischer Rückmeldung aus, so dass andere Modalitäten, insbesondere ein optisches Feedback für eine intuitive und flüssige Bedienung von besonderer Bedeutung sind.
Die heute für die Bedienung mit einem Eingabegerät (wie Maus, Trackball, etc.) oder mit Fingern (Toucheingabe) verwendeten Eingabezeiger (Cursor-Symbole) sind für eine Bedienung mittels einer freien Geste nicht gut geeignet, da bei einer Bewegung der Hand im Raum die haptische Rückmeldung fehlt. Da die Hand hat keine Führung hat, wird die Positionierung eher grob im Vergleich zur Maus- oder Touchbedienung.
Eine Bedienung mit freien Gesten kommt häufig auch genau dann zu Einsatz, wenn die Anzeigeeinrichtung selbst oder Bedienelemente an der Anzeigeeinrichtung nicht mehr im Greifbereich des Bedieners liegen, also nicht erreicht werden können. Dann sind die heute üblichen Eingabezeiger (Cursor-Symbole) zu klein, um eine entspannte, flüssige Bedienung zu ermöglichen.
Erfindungsgemäß wird ein Eingabezeiger in Form einer geschlossenen Kurve (bspw. in Form eines Rings) oder eines Polygons vorgeschlagen, dessen Größe (bevorzugt dynamisch) veränderbar ist.
Geht man einmal rein beispielhaft von einer erfindungsgemäßen Anzeige des Eingabezeigers in Form eines Ring aus, ist vorgesehen, dass sich bei einem „Zugreifen” (Durchführen einer Geste mit einer Hand im Erfassungsbereich der Sensoreinrichtung, bei der sich zumindest zwei Finger der Hand aufeinander zu bewegen) des Bedieners der Ring-Durchmesser verkleinert, so dass eine direkte Rückmeldung zur Greifbewegung gegeben ist. Der Durchmesser des Eingabezeigers ist somit bevorzugt dynamisch veränderbar.
Ein Ring als Eingabezeiger kann deutlich größer sein als ein Pfeil, ohne relevante Objekte (etwa anwählbare, graphische Elemente) zu verdecken, weil das Innere (das Zentrum) des Rings ja nicht überdeckt, sondern umkreist ist.
Das Anwählen („Greifen”) des grafischen Elements durch den Bediener wird gemäß der vorliegenden Erfindung durch einen sich verkleinernden Ring direkt wiedergegeben.
Wenn gleichzeitig zum „Greifen” der Ring nicht nur verkleinert, sondern auch noch auf die Mitte (Flächenschwerpunkt) des nächstliegenden Objekts zentriert wird, wird dem Bediener das genaue Zielen und Zielhalten während des „Greifens” und nach dem „Greifen” abgenommen. Die Bedienung wird einfach und flüssig.
Für die technische Umsetzung sind geeignete Sensoren (etwa 2D/3D-Kamera(s), etc.) vorgesehen, die einen Gesten-Bedienraum erfassen.
Mit dem Gestensensor wird ein „Schließen der Hand” (die Durchführung der oben erwähnten Geste) erkannt und (möglichst) parallel dazu der Durchmesser des Rings verkleinert. Der kleinste Durchmesser (bei geschlossener Hand bzw. bei Beendigung des sich aufeinander zu Bewegens der wenigstens zwei Finger) sollte bevorzugt nicht viel kleiner sein als das „gegriffene” grafische Objekt (Element), so dass dieses auch im „gegriffenen Zustand” im Ring sichtbar bleibt.
Idealerweise wird während des Greifens der Ring auf die Mitte (den Flächenschwerpunkt) des zu greifenden Objekts zentriert. Dann ist dieses Objekt im gegriffenen Zustand genau umringt. Hierdurch wird ein perfektes visuelles Feedback für den Greifvorgang bei der Gestenbedienung erreicht.
Durch die vorliegende Erfindung wird ein interaktives Bediensystem und ein Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem zur Verfügung gestellt, bei der die Bedienung an sich und die Präsentation von Bildinhalten in einer Art und Weise erfolgen, die auf die physischen Gegebenheiten des Menschen in besonderem Maße Rücksicht nimmt und diese in besonders zweckmäßiger Weise gestaltet. Die vorliegende Erfindung berücksichtigt insbesondere den Umstand, dass bei einer Bedienung mittels einer freien Handgeste im Raum aufgrund der physischen Gegebenheiten eines Menschen die Bedienung nur vergleichsweise ungenau erfolgen kann. Auch gestaltet die vorliegende Erfindung die Wahrnehmung von gezeigter Informationen dadurch für einen Menschen in besonders zweckmäßiger Weise, indem diese Information eine dynamische Größenveränderung von angezeigten Elementen umfasst, wobei die Wahrnehmungsmöglichkeit nochmals dadurch verbessert oder wird, dass bevorzugt auch eine unmittelbare Korrelation zwischen der Durchführung einer Handlung (Handgeste) und einer sich in oder auf einer Anzeigefläche dynamisch verändernden Darstellung vorgesehen ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102013207528 A1 [0003]
DE 102013215370 A1 [0005]

Claims

Interaktives Bediensystem mit – einer Sensoreinrichtung zur Erfassung von Bilddaten in zeitlicher Abfolge innerhalb eines Erfassungsbereichs der Sensoreinrichtung und zur Übermittlung der erfassten Bilddaten an eine Auswertungseinrichtung, – einer Auswertungseinrichtung zur Auswertung der durch die Sensoreinrichtung übermittelten Bilddaten und zur Übermittlung von Daten bezüglich einer durch die Auswertung ermittelten Position einer erfassten Hand innerhalb des Erfassungsbereichs zu einer Steuerungseinrichtung, – einer Anzeigeeinrichtung mit einer Anzeigefläche (1), in oder auf der ein oder mehrere mittels eines anzeigbaren Cursor-Symbols (2) anwählbare graphische Elemente (3) anzeigbar sind, und – einer Steuerungseinrichtung, mittels der aufgrund der von der Auswertungseinrichtung übermittelten Daten das Cursor-Symbol (2) in Abhängigkeit von einer Position der Hand im Erfassungsbereich in oder auf der Anzeigefläche (1) der Anzeigeeinrichtung anzeigbar ist, dadurch gekennzeichnet, dass – die Auswertungseinrichtung dazu eingerichtet ist, an sie von der Sensoreinrichtung übermittelte Bilddaten dahin auszuwerten, ob eine erfasste Hand innerhalb des Erfassungsbereichs eine Geste durchführt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, und entsprechende Daten zu der Steuerungseinrichtung zu übermitteln, und – die Steuerungseinrichtung dazu eingerichtet ist, die Anzeigeeinrichtung derart zu steuern, dass das Cursor-Symbol (2) in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons in oder auf der Anzeigefläche (1) angezeigt wird, und dass bei Übermittlung von Daten einer derartigen Geste durch die Auswertungseinrichtung die Größe des in oder auf der Anzeigefläche (1) angezeigten Cursor-Symbols (2) derart verändert wird, dass die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird.
Interaktives Bediensystem gemäß Anspruch 1, dadurch gekennzeichnet, dass die Steuerungseinrichtung weiter dazu eingerichtet ist, dasjenige in oder auf der Anzeigefläche (1) angezeigte, anwählbare, graphische Element (3) zu ermitteln, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche (1) angezeigten Cursor-Symbols (2) aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, die Position des Flächenschwerpunkts des angezeigten Cursor-Symbols (2) während der Veränderung der Fläche des angezeigten Cursor-Symbols (2) von der ersten, größeren Fläche auf die zweite, kleinere Fläche derart automatisch zu verschieben, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cursor-Symbols (2) und dem Flächenschwerpunkt des ermittelten, angezeigten, graphischen Elements (3) einen zweiten Wert annimmt, der näher Null ist als der erste Wert und bevorzugt Null ist.
Interaktives Bediensystem gemäß Anspruch 2, dadurch gekennzeichnet, dass die Steuerungseinrichtung weiter dazu eingerichtet ist, die zweite, kleinere, von dem Cursor-Symbol (2) umfasste Fläche auf eine solche Größe zu steuern, dass die von der geschlossenen Kurve oder den Kanten des Polygons umschlossene Fläche des angezeigten Cursor-Symbols (2) im Bereich von 50% bis 200%, bevorzugt im Bereich von 75% bis 175%, besonders bevorzugt im Bereich von 90% bis 150% der Fläche des angezeigten graphischen Elements (3) beträgt.
Interaktives Bediensystem gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerungseinrichtung weiter dazu eingerichtet ist, das Cursor-Symbol (2) so lange mit der eine zweite, kleinere Fläche in oder auf der Anzeigefläche (1) umfassenden Form anzuzeigen, solange die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander aufweisen.
Interaktives Bediensystem gemäß Anspruch 4, dadurch gekennzeichnet, dass die Steuerungseinrichtung weiter dazu eingerichtet ist, die Position des eine zweite, kleinere Fläche in oder auf der Anzeigefläche (1) umfassenden, angezeigten Cursor-Symbols (2) entsprechend einer Bewegung der die Geste durchführenden Hand innerhalb des Erfassungsbereichs zu verändern, wobei wahlweise vorgesehen sein kann, dass eine Veränderung der Position des angezeigten Cursor-Symbols (2) erst nach Durchführung einer Bewegung dieser Hand über eine vorgebbare Mindestweglänge innerhalb des Erfassungsbereichs erfolgt.
Interaktives Bediensystem gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerungseinrichtung weiter dazu eingerichtet ist, nach Erreichen des oder eines zweiten, kleineren Abstands der wenigstens zwei Finger der die Geste durchführenden Hand eine Aktion in Bezug auf dasjenige angezeigte, anwählbare graphische Element (3) auszuführen, dessen Flächenschwerpunkt den kleinsten Abstand zum Flächenschwerpunkt des Cursor-Symbols (2) aufweist, wobei die Aktion diesem graphischen Element (3) vorab zugeordnet wurde, sofern wahlweise die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander für einen vorgebbaren Zeitraum beibehalten oder innerhalb eines vorgebbaren Zeitraums eine weitere Bedienhandlung durch einen Bediener des interaktiven Bediensystems erfolgt.
Interaktives Bediensystem gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzeigeeinrichtung einen grafikfähigen Bildschirm, ein Head-up-Display oder eine Datenbrille umfasst.
Interaktives Bediensystem gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensoreinrichtung eine oder mehrere Kameraeinrichtungen für sichtbares Licht, eine oder mehrere Kameraeinrichtungen für Infrarot-Licht, eine oder mehrere Radar-Einrichtungen, und/oder eine oder mehrere Time-of-Flight-Einrichtungen umfasst.
Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem, das – eine Sensoreinrichtung zur Erfassung von Bilddaten in zeitlicher Abfolge innerhalb eines Erfassungsbereichs der Sensoreinrichtung und zur Übermittlung der erfassten Bilddaten an eine Auswertungseinrichtung, – eine Auswertungseinrichtung zur Auswertung der durch die Sensoreinrichtung übermittelten Bilddaten und zur Übermittlung von Daten bezüglich einer durch die Auswertung ermittelten Position einer erfassten Hand innerhalb des Erfassungsbereichs zu einer Steuerungseinrichtung, – eine Anzeigeeinrichtung mit einer Anzeigefläche, in oder auf der ein oder mehrere mittels eines anzeigbaren Cursor-Symbols anwählbare graphische Elemente anzeigbar sind, und – eine Steuerungseinrichtung, mittels der aufgrund der von der Auswertungseinrichtung übermittelten Daten das Cursor-Symbol in Abhängigkeit von einer Position der Hand im Erfassungsbereich in oder auf der Anzeigefläche der Anzeigeeinrichtung anzeigbar ist, umfasst, dadurch gekennzeichnet, dass das Verfahren die folgenden Schritte umfasst: – Anzeigen eines Cursor-Symbols in Abhängigkeit von einer Position einer Hand im Erfassungsbereich einer Sensoreinrichtung in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons in oder auf einer Anzeigefläche einer Anzeigeeinrichtung, wobei die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche eine erste, größere Fläche aufweist, – Auswerten von Bilddaten der Sensoreinrichtung dahin, ob eine erfasste Hand innerhalb eines Erfassungsbereichs eine Geste durchführt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, und – Verändern der Größe des in oder auf der Anzeigefläche angezeigten Cursor-Symbols derart, dass die von der geschlossenen Kurve oder der Kanten des Polygons umfasste Fläche von der ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird, sofern die Durchführung einer derartigen Geste im Erfassungsbereich festgestellt wird.
Verfahren gemäß Anspruch 9, dadurch gekennzeichnet, dass es weiter umfasst: – Ermitteln des in oder auf der Anzeigefläche angezeigten, anwählbaren, graphischen Elements, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche angezeigten Cursor-Symbols aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, automatisches Verschieben der Position des Flächenschwerpunkts des angezeigten Cursor-Symbols während der Veränderung der von dem angezeigten Cursor-Symbol umschlossenen Fläche von der ersten, größeren Fläche auf die zweite, kleinere Fläche derart, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cursor-Symbols und dem Flächenschwerpunkt des ermittelten, angezeigten Elements einen zweiten Wert annimmt, der näher Null als der erste Wert und bevorzugt Null ist, und/oder – Ausführen nach Erreichen des oder eines zweiten, kleineren Abstands der wenigstens zwei Finger der die Geste durchführenden Hand einer Aktion in Bezug in Bezug auf dasjenige in oder auf der Anzeigefläche angezeigte, anwählbare graphische Element, dessen Flächenschwerpunkt den kleinsten Abstand zum Flächenschwerpunkt des Cursor-Symbols aufweist, wobei die Aktion diesem graphischen Element vorab zugeordnet wurde, sofern die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs den zweiten, kleineren Abstand zueinander für einen vorgebbaren Zeitraum beibehalten oder innerhalb eines vorgebbaren Zeitraums eine weitere Bedienhandlung durch einen Bediener des interaktiven Bediensystems erfolgt.