DE10147940A1

DE10147940A1 - Vorrichtung mit einem Bedienpanel und zumindesst einer Kamera zur Detektion eines sich im Bereich über oder auf dem Bedienpanel befindenden Objektes und Verfahren zum Betreiben einer solchen Vorrichtung

Info

Publication number: DE10147940A1
Application number: DE10147940A
Authority: DE
Inventors: Dirk Groeger
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2001-09-28
Filing date: 2001-09-28
Publication date: 2003-05-22

Abstract

Es wird eine Vorrichtung beschrieben mit einem Bedienpanel (1) und zumindest einer Kamera (2) zur Detektion eines sich im Bereich über oder auf dem Bedienpanel (1) befindenden Objektes (3), insbesondere eines Fingers, und einer mit der Kamera (2) verbundenen Verarbeitungseinheit, die die von der Kamera (2) gelieferten Signale derart verarbeitet, dass die Position des Objektes (3) über oder auf dem Bedienpanel (1) erkannt wird und die Verarbeitungseinheit daraus eine zugeordnete Aktion ermittelt und ein entsprechendes Signal zur Ausführung der Aktion ausgibt. Das Bedienpanel (1) ist eine Anordnung einer Anzahl virtueller Bedienflächen, die mittels Betätigungselementen (4) in den von der Kamera (2) beobachteten Bedienpanelbereich bringbar sind.

Description

Die Erfindung betrifft eine Vorrichtung mit einem Bedienpanel und zumindest einer Kamera zur Detektion eines sich im Bereich über oder auf dem Bedienpanel befindenden Objektes, insbesondere eines Fingers, und einer mit der Kamera verbundenen Verarbeitungseinheit, die die von der Kamera gelieferten Signale derart verarbeitet, dass die Position des Objektes über oder auf dem Bedienpanel erkannt wird und die Verarbeitungseinheit daraus eine zugeordnete Aktion ermittelt und ein entsprechendes Signal zur Ausführung der Aktion ausgibt. Die Erfindung betrifft außerdem ein Verfahren zum Betreiben einer solchen Vorrichtung.
Eine solche Vorrichtung ist aus der US 5,528,263 bekannt. Bei dieser bekannten Vorrichtung wird eine bildliche Darstellung mittels eines Projektionsapparates auf einen Schirm projiziert und gleichzeitig die Bewegung oder Position einer Hand, eines Fingers oder eines Zeigeinstrumentes vor dem Schirm von einer Kamera mit angeschlossenem Computer ermittelt. Ein Benutzer kann bei dieser Vorrichtung durch Berühren einer bestimmten Fläche auf dem Schirm oder durch ein Verharren über dieser Fläche eine bestimmte, dieser Handlung zugeordnete Funktion bewirken bzw. Aktion auslösen.
Es ist aus der DE 199 48 896 C1 bereits bekannt, eine solche Vorrichtung in einem Kraftfahrzeug zur bildlichen Darstellung einer Computertastatur und zum Erkennen der Bewegung der Hände bzw. der Finger über dieser projizierten Tastatur zu verwenden, um auf diese Weise Dateneingaben in den Computer zu realisieren.
Prinzipiell ließe sich eine solche Vorrichtung auch als Ersatz für die Schalter und Bedienelemente beispielsweise für das Radio, die Klimaanlage, den Bordcomputer, das Navigationsgerät usw., die derzeit meist auf der Mittelkonsole des Kraftfahrzeugs angeordnet sind, verwenden. Hierdurch wäre es möglich, den nicht unerheblichen und damit teuren Verkabelungsaufwand zu reduzieren. Außerdem könnte man auf diese Weise die Mehrfachbelegung mit verschiedenen Funktionen der Knöpfe und Schalter, wie es heute zum Teil üblich ist, vermeiden.
Allerdings bringt eine Projektion der bildlichen Darstellung von Schaltern, Tasten und Knöpfen in einem Kraftfahrzeug diverse Probleme mit sich. So können sich die sehr unterschiedlichen Lichtverhältnisse negativ auf die Erkennbarkeit der Darstellung auswirken. Außerdem verhindern Gegenstände wie beispielsweise eine Zeitung des Beifahrers die korrekte Darstellung einer Bedienfläche. Ein besonderes Problem stellen die nicht zu vernachlässigenden Kosten einer solchen Vorrichtung dar.
Es ist also die Aufgabe der Erfindung, bei einer gattungsgemäßen Vorrichtung eine einfache und kostengünstige Realisierung eines Bedienpanels sowie eine möglichst einfache Bedienung einer solchen Vorrichtung anzugeben.
Die Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 sowie eines Verfahrens gemäß Anspruch 8 gelöst. Vorteilhafte Weiterbildungen sind in den Unteransprüchen angegeben.
Demnach ist das Bedienpanel eine Anordnung einer Anzahl virtueller Bedienflächen, die mittels Betätigungselemente in den von der Kamera beobachteten Bedienpanelbereich bringbar sind.
Eine virtuelle Bedienfläche ist in vorteilhafter Ausbildung mit einer mit Darstellungen von Bedientasten und/oder Bedienschaltern und/oder Bedienschiebern versehenen, insbesondere bedruckten Folie gebildet, kann jedoch auch eine feste Platte sein.
Die einzelnen Bedienflächen bzw. Folien sind mit Betätigungselementen, die beispielsweise als kleine Griffe ausgebildet sein können, verbunden und lassen sich mittels dieser Betätigungselemente bewegen. So kann beispielsweise, falls das Radio bedient werden soll, die Folie mit den aufgedruckten Radiobedienelementen in den von der Kamera beobachteten Bedienpanelbereich mittels des zugeordneten Betätigungselements bewegt werden.
Besonders vorteilhaft ist es dabei, wenn das Bedienpanel derart ausgebildet ist, dass bei Betätigung eines Betätigungselementes die sich gerade im Bedienpanelbereich befindende Bedienfläche automatisch in ihre Ausgangslage gebracht wird, also nicht erst manuell durch Verschieben des Betätigungselements dorthin bewegt werden muss. Dies kann beispielsweise durch geeignete Feder- und Verrastmechanismen erreicht werden.
Um Platz zu sparen können die Folien in einer vorteilhaften Ausbildung der Erfindung in ihrer Ausgangslage aufgerollt sein.
Damit das Objekt, beispielsweise ein Finger, von der Kamera gut erkannt werden kann, ist es von Vorteil, wenn es als dunkler Gegenstand vor einem hellen Hintergrund erscheint. In besonders vorteilhafter Ausbildung der Erfindung ist eine Bedienflächenfolie mit einem geeignet reflektierenden Material, beispielsweise mit dem Reflexmaterial SCOTCHlite der Firma 3M, gebildet.
Da zum Auslösen einer Aktion nicht nur erkannt werden muss, dass sich das Objekt vor einem auf eine Bedienfläche gedruckten oder sonst wie aufgebrachten Bedienelement befindet sondem auch, dass das Bedienelement beispielsweise durch Berühren ausgewählt wird, wird in vorteilhafter Weise statt einer normalen Kamera eine Stereokamera oder zwei Kameras verwendet, so dass eine räumliche Information vorliegt.
Alternativ ist es allerdings ebenfalls möglich, nur eine normale Kamera vorzusehen und die Auswahl eines Bedienelementsbeispielsweise durch eine bestimmte Bewegung oder ein Verharren für eine bestimmte Zeit des Objekts über oder auf dem Bedienelement zu treffen.
Durch die erfindungsgemäße Vorrichtung wird auf sehr einfache und kostengünstige Weise eine Menüstruktur geringer Komplexität und damit einfacher Handhabbarkeit geschaffen.
Zum Betreiben einer erfindungsgemäßen Vorrichtung erkennt die Verarbeitungseinheit in vorteilhafter Weise über die Kamera, welches Bedienpanel in den Bedienpanelbereich gebracht ist. Hierdurch kann eine Verbindung des Bedienpanels mit der Verarbeitungseinheit beispielsweise über Kabel eingespart werden. In einer vorteilhafte Ausbildung sind die Bedienflächen mit Zeichen, die insbesondere nur im Infrarotbereich zu erkennen sind versehen, die der Verarbeitungseinheit eine eindeutige Zuordnung ermöglichen.
Das Bedienen von auf einer Bedienfläche beispielsweise aufgedruckten Tasten oder Schaltern erfordert üblicherweise, dass die Bedienperson zumindest einen kurzen Blick darauf wirft, um die entsprechende Taste auch zu treffen. Dies würde bei einer vorzugsweisen Verwendung in einem Kraftfahrzeug den Fahrer jedoch vom Verkehr ablenken. In vorteilhafter Weiterbildung der Erfindung kann die Bedienperson einen Satz von ihr beliebig zu definierender Gesten mit jeder der Bedienflächen verwenden. Aufgrund der erkannten Bedienfläche und der erkannten Geste ist die Verarbeitungseinheit in der Lage, dieser Kombination eine eindeutige Funktionalität zuzuordnen.
Es ist dabei möglich, nur einen Satz von Gesten zu haben, der jedoch bei jeder Bedienfläche eine andere Bedeutung hat oder jeder Bedienfläche einen eigenen Satz von Gesten zuzuordnen. Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels mit Hilfe von Figuren näher beschrieben. Dabei zeigt
Fig. 1 eine erste schematische Darstellung der erfindungsgemäßen Vorrichtung und
Fig. 2 die Darstellung gemäß Fig. 1 mit einer herausgezogenen Bedienfläche.
Fig. 1 zeigt in schematischer Weise einen Ausschnitt eines Fahrzeugcockpits, insbesondere den Bereich der Mittelkonsole. Auf der Mittelkonsole ist ein Bedienpanel 1 angeordnet und wird von einer Kamera 2 beobachtet. Die Kamera 2 ist als Stereokamera ausgebildet, um Bewegungen eines Objektes 3, das im Ausführungsbeispiel der Figur als Finger ausgebildet ist, zu detektieren. Die Kamera 2 erzeugt Signale, die von einer (nicht dargestellten) Verarbeitungseinheit verarbeitet werden, um den Bewegungen des Objekts 3 entsprechende Aktionen zuordnen zu können.
Das Bedienpanel 1 ist mit einer Anzahl von virtuellen Bedienflächen gebildet, die mit Betätigungselementen 4 verbunden sind, mit deren Hilfe sie über die Mittelkonsole gezogen werden können.
Im Ausführungsbeispiel der Fig. 1 ist die Mittelkonsole bereits mit einer mit aufgedruckten oder sonst wie aufgebrachten Bedienelementen ausgerüsteten Folie versehen, beispielsweise beklebt, um auch bei nicht herausgezogenen Bedienflächen die für eine Fahrzeug übliche Ansicht zu bieten. Den Bedienelementen dieser aufgeklebten Folie können bereits Funktionen zugeordnet sein, so dass bei einer Berührung der Bedienelemente eine entsprechende Aktion ausgeführt wird.
Gemäß der Fig. 1 sind im dargestellten Ausführungsbeispiel vier Bedienflächen mit entsprechenden Betätigungselementen 4 im Bedienpanel 1 angeordnet. Dabei sind den Bedienflächen die Funktionsbereiche "Radio", "Klimagerät", "Navigationsgerät" und "Diverses" zugeordnet.
In Fig. 2 ist dargestellt, wie sich die Ansicht der Mittelkonsole ändert, wenn beispielsweise die Bedienfläche "Radio" herausgezogen ist. Es sind die dieser Funktion zugeordneten Bedienelemente 5 zu sehen. In einer besonders vorteilhaften Ausbildung der erfindungsgemäßen Vorrichtung würde bei einer Betätigung eines anderen Betätigungselements, beispielsweise des Navigationsgerätes, die Bedienfläche für das Radio automatisch in ihre Ausgangsposition zurückgehen, was durch einen geeigneten Feder- und Verriegelungsmechanismus bewirkt werden kann.
Wie den Figuren zu entnehmen ist, kann mittels der erfindungsgemäßen Vorrichtung auf einfache Weise eine eindimensionale Menüstruktur auf rein mechanischem Weg realisiert werden. Es ist keine aufwändige Verkabelung nötig, wodurch eine erhebliche Kostenersparnis möglich ist.
Bei den dargestellten und beschriebenen Beispielen waren auf den Bedienflächen geeignete, einfach zu verstehende Symbole aufgebracht, die von einem Benutzer leicht erlernt werden können oder ihm gar schon bekannt sind.
Mit einer erfindungsgemäßen Vorrichtung ist allerdings auch eine reine Gestenerkennung möglich, bei der ein Benutzer mit dem bewegbaren Objekt, beispielsweise seiner Hand oder einem Finger bestimmte von ihm zu erlernende Bewegungen ausführt, die von der Kamera und der nachgeschalteten Verarbeitungseinheit erkannt werden und zugeordnete Aktionen auslösen. In diesem Fall braucht der Benutzer keinen Blick auf die Bedienflächen zu werfen und wird vom Straßenverkehr nicht abgelenkt. Außerdem ist es hier möglich, eigene Bewegungen zu kreieren und sie der Verarbeitungseinheit "beizubringen", so dass ein Benutzer hier einen Freiheitsgrad gewinnen kann. Für diese Gestenerkennung kann eine eigene Bedienfläche vorgesehen werden.
Es ist ebenso möglich, die Gestenerkennung jeder anderen Bedienfläche zu überlagern, so dass sich drei Typen von Gesten definieren lassen.

1. Gesten, die über jeder Bedienfläche dieselbe Funktion haben, wie z. B. mit Funktionen verknüpfte Gesten, welche stets verfügbar sein sollen, z. B. Radio lauter/leiser,
2. Gesten, die kontextsensitiv sind und damit über jeder Bedienfläche eine andere Bedeutung haben; dies können einfache Gesten wie hoch/runter oder vor/zurück sein, die einfach auszuführen und zu merken sind und deshalb gern verwendet werden, um die Vielfalt der Gesten nicht zu sehr zu steigern. Beispiele hierfür sind Gesten wie vor/zurück zur Sendersuche, Lautstärkeregelung oder Scrollen in Menüs, wobei das Menü in einem Display erscheint, das sich an beliebiger Stelle befinden kann, es muss nicht direkt in der Nähe der ausgeführten Geste sein,
3. Gesten, die nur über bestimmten Bedienflächen funtionieren, d. h. die nur auf expliziten Wunsch als solche erkannt werden sollen, z. B um bei einer gewöhnlichen Geste keine/wenig Fehlerkennungen zu haben.

Die Bedienflächen können mit geeigneten Zeichen versehen sein, die beispielsweise nur im Infrarotbereich erkannt werden können, so dass die Vorrichtung immer automatisch erkennt, welche Bedienfläche gerade über die Mittelkonsole gezogen ist und auf diese Weise auch automatisch auf Gestenerkennung umschalten kann.

Claims

1. Vorrichtung mit einem Bedienpanel (1) und zumindest einer Kamera (2) zur Detektion eines sich im Bereich über oder auf dem Bedienpanel (1) befindenden Objektes (3), insbesondere eines Fingers, und einer mit der Kamera (2) verbundenen Verarbeitungseinheit, die die von der Kamera (2) gelieferten Signale derart verarbeitet, dass die Position des Objektes (3) über oder auf dem Bedienpanel (1) erkannt wird und die Verarbeitungseinheit daraus eine zugeordnete Aktion ermittelt und ein entsprechendes Signal zur Ausführung der Aktion ausgibt, dadurch gekennzeichnet, dass das Bedienpanel (1) eine Anordnung einer Anzahl virtueller Bedienflächen ist, die mittels Betätigungselemente (4) in den von der Kamera (2) beobachteten Bedienpanelbereich bringbar sind.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass eine virtuelle Bedienfläche mit einer bedruckten Folie gebildet ist.

3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die Folie reflektierende Eigenschaften hat derart, dass das Objekt (3) gut vor dem Hintergrund der Folie zu erkennen ist.

4. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die virtuellen Bedienflächen mit Darstellungen (5) von Bedientasten und/oder Bedienschaltern und/oder Bedienschiebern bedruckt sind.

5. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bedienpanel (1) derart ausgebildet ist, dass bei Betätigung eines Betätigungselementes (5) die sich gerade im Bedienpanelbereich befindende Bedienfläche automatisch in ihre Ausgangslage gebracht wird.

6. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bedienflächen in ihrer Ausgangslage aufgerollt sind.

7. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera (2) eine Stereokamera ist oder dass eine zweite Kamera vorgesehen ist.

8. Verfahren zum Betreiben einer Vorrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Verarbeitungseinheit über die Kamera (2) erkennt, welches Bedienpanel (1) in den Bedienpanelbereich gebracht ist.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Bedienflächen mit Zeichen versehen sind, die der Verarbeitungseinheit eine eindeutige Zuordnung ermöglichen.

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Zeichen nur im Infrarotbereich zu erkennen sind.

11. Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass ein Satz von einem Benutzer beliebig zu definierender Gesten mit jeder der Bedienflächen (2) verwendet werden kann, jedoch bei jeder Bedienfläche eine andere Bedeutung hat.

12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass jeder Bedienfläche (2) ein eigener Satz von Gesten zugeordnet ist.