DE19951322A1

DE19951322A1 - Anordnung zur Interaktion

Info

Publication number: DE19951322A1
Application number: DE1999151322
Authority: DE
Inventors: Adolf Bernds; Juergen Simmerer; Christoph Maggioni; Hans Roettger
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1999-10-25
Filing date: 1999-10-25
Publication date: 2001-04-26
Also published as: WO2001031424A2; WO2001031424A3

Abstract

Es wird eine Anordnung zur Interaktion angegeben, bei der eine Oberflächeneinheit vorgesehen ist, die getrennt von einer Modulbox ausgeführt ist, wobei die Modulbox folgende Komponenten umfaßt: Einen Projektor, eine Kamera, und einen Rechner, der den Projektor steuert und Aufnahme der Kamera derart auswertet, daß eine Aufnahme einer Bewegung oder eines Verweilens einer Interaktionskomponente auf bzw. vor der Oberflächeneinheit als ein Eingabezeiger interpretierbar ist.

Description

Die Erfindung betrifft eine Anordnung zur Interaktion.

Eine solche Anordnung ist aus [1] bekannt. Dabei handelt es sich insbesondere bei dem zu erkennenden Objekt um eine Zeigereinheit, z. B. eine Hand oder einen Zeigestab. Mit der Zeigereinheit kann ein Benutzer mit einer graphischen Schnittstelle interagieren, indem er durch Gestenbedienung die entsprechenden Aktionen auslöst. Solch eine Anordnung wird auch als Gestik-Computer oder als "Virtual-Touch-Screen" bezeichnet.

Die Funktionsweise des Virtual-Touch-Screens besteht darin, daß die Schnittstelle auf eine vorgegebene Fläche projiziert wird, wobei die Projektion vorzugsweise virtuelle Schaltflächen aufweist, deren Betätigung jeweils vorgegebene Aktionen auslöst. Ein Auslösemechanismus ist das Zeigen des Benutzers mit seiner Hand als Zeigereinheit auf eine der Schaltflächen. Nach einer vorgegebenen Zeitdauer des Zeigens wird die mit der Schaltfläche assoziierte Aktion ausgelöst. Die Position der Hand des Benutzers wird von einer Kamera aufgenommen, die Aufnahme wird digitalisiert und ein Rechner ermittelt die Position der Hand in Relation zu der Projektion. So kann festgestellt werden, ob eine virtuelle Schaltfläche bedient worden ist oder nicht. Dieser Auslösemechanismus kann in seiner Wirkung verglichen werden mit der Bedienung einer Computermaus als Eingabemedium für eine graphische Schnittstelle. Der Mauszeiger wird bei dem Virtual-Touch-Screen mit der Hand geführt, ausgelöst wird statt des Doppelklicks mit dem Verharren der Hand über einer ausgesuchten Schaltfläche für eine vorgegebene Mindestdauer.

Zur Erkennung des Zeigegegenstandes auf der Bedienoberfläche, bzw. zur Unterscheidung der Projektion von dem Zeigegegenstand, wird in [2] die Möglichkeit einer zusätzlichen Beleuchtung der Bedienoberfläche mit Wellen im nichtsichtbaren Spektralbereich vorgestellt. Anhand der Beleuchtung der Bedienoberfläche mit Wellen im nicht- sichtbaren Spektralbereich kann eine geeignete Unterscheidung der Projektion von der Zeigereinheit erfolgen. Bei einer Beleuchtung mit infrarotem Licht reflektiert die Bedienoberfläche das infrarote Licht stärker als die Zeigeeinheit (Hand). Der Hand kommt somit eine höhere Absorption zu als der Bedienoberfläche. Dieser Effekt läßt sich gemäß [2] dadurch verstärken, daß die Bedienoberfläche zusätzlich mit einer reflektierenden Schicht versehen ist, so daß die Absorption des infraroten Lichts auf der Bedienoberfläche möglichst gering ist. Die Hand erscheint somit dunkel vor der Bedienoberfläche.

Ein Vorteil des Virtual-Touch-Screens besteht in der Robustheit seiner Konstruktion. Insbesondere vor Vandalismus kann ein einfacher und wirksamer Schutz in der physikalischen Trennung von Bedienoberfläche und Kamera, Rechner und Projektor erreicht werden. Sollen allerdings auch in der Bedienoberfläche bspw. Eingabekomponenten ausgeführt sein, so sind diese und insbesondere deren Leitungen zu der ansteuernden Einheit potentiell Vandalismus ausgesetzt.

Die Aufgabe der Erfindung besteht darin, eine Anordnung zur Interaktion anzugeben, die auch auf einer Oberflächeneinheit Komponenten aufweist, deren elektrische Verbindungen gegen Vandalismus geschützt sind.

Diese Aufgabe wird gemäß den Merkmalen des unabhängigen Patentanspruchs gelöst. Weiterbildungen der Erfindung ergeben sich auch aus den abhängigen Ansprüchen.

Zur Lösung der Aufgabe wird eine Anordnung zur Interaktion angegeben, bei der eine Oberflächeneinheit vorgesehen ist, die getrennt von einer Modulbox ausgeführt ist. Die Modulbox weist insbesondere folgende Komponenten auf:

1. Einen Projektor, anhand dessen auf der Oberflächeneinheit eine Abbildung darstellbar ist.
2. Eine Kamera, die die Oberflächeneinheit aufnimmt.
3. Einen Rechner, der den Projektor steuert und Aufnahme der Kamera derart auswertet, daß eine Aufnahme einer Bewegung oder eines Verweilens einer Interaktionskomponente auf bzw. vor der Oberflächeneinheit als Funktionalität eines Eingabezeigers interpretierbar ist.

Zwischen der Modulbox und der Oberflächeneinheit besteht mindestens eine kabellose Schnittstelle.

Eine Ausgestaltung besteht darin, daß die Interaktionskomponente eine Hand oder ein Finger eines Benutzers bzw. eine Zeigereinheit ist. Der Benutzer kann mit seiner Hand eine Eingabe auf der Oberflächeneinheit, auf die zweckmäßig anhand des Projektors eine Benutzeroberfläche (Graphisches User Interface (GUI)) projiziert ist, vornehmen. Hierzu bewegt der Benutzer seine Hand über die Benutzeroberfläche, wobei sich durch die Bewegung der Hand ein Mauszeiger steuern läßt. Eine Auslösung einer vorgegebenen Aktion auf der Benutzeroberfläche kann beispielsweise durch ein Verweilen der Hand für eine vorgegebene Zeitdauer auf einer bestimmten Stelle der Projektion vorgenommen werden. Durch dieses Verweilen wird diejenige Aktion ausgelöst, die mit einer projizierten Bedienoberfläche assoziiert ist. Dies entspricht einem Steuern einer Benutzerschnittstelle mittels einer Computermaus auf einem herkömmlichen Personalcomputer.

Eine andere Ausgestaltung besteht darin, daß mindestens eine kabellose Schnittstelle eine Schallschnittstelle ist. Dabei kann bevorzugt die Schallschnittstelle eine Ultraschallschnittstelle sein. Zweckmäßig weist die Ultraschallschnittstelle einen Ultraschallsender und einen Ultraschallempfänger auf, die auf der Oberflächeneinheit und in der Modulbox ausgeführt sein können.

Eine Ausgestaltung besteht darin, daß die mindestens eine kabellose Schnittstelle eine optische Schnittstelle ist. Insbesondere kann die optische Schnittstelle einen Infrarotsender und einen Infrarotempfänger aufweisen. Der Infrarotsender ist bevorzugt eine Infrarot-Leuchtdiode oder eine Infrarot-Laserdiode.

Auch ist es eine Ausgestaltung, daß die mindestens eine kabellose Schnittstelle eine elektromagnetische Schnittstelle ist. Dabei kann der Sender der elektromagnetischen Schnittstelle als eine der folgenden Komponenten ausgeführt sein:

a) Sendeantenne,
b) Richtantenne,
c) Richtkoppler,
d) Dipolantenne.

Der Empfänger der elektromagnetischen Schnittstelle kann ausgeführt sein als eine der folgenden Komponenten:

a) Antennenspule,
b) Schlitzantenne,
c) Dipolantenne.

Eine weitere Ausgestaltung besteht darin, daß der jeweilige Sender der mindestens einen kabellosen Schnittstelle in der Modulbox und der jeweilige Empfänger der mindestens einen kabellosen Schnittstelle in der Oberflächeneinheit ausgeführt sind. Entsprechend kann der jeweilige Sender der mindestens einen kabellosen Schnittstelle in der Oberflächeneinheit und der jeweilige Empfänger der mindestens einen kabellosen Schnittstelle in der Modulbox ausgeführt sein.

Eine andere Weiterbildung besteht darin, daß in der Oberflächeneinheit eine Eingabevorrichtung vorgesehen ist. Die Eingabevorrichtung kann folgende Ausprägungen umfassen:

a) Joystick,
b) Taster,
c) Kipphebel,
d) abstandssensitiver Sensor,
e) berührungssensitiver Sensor,
f) druckabhängiger Widerstand,
g) Federblech,
h) Schalter,
i) Spracherkennungssystem,
j) Trackball,
k) Maus,
l) Touchpad,
m) Fingertip Sensor,
n) Rolle, Handrad.

Die vorstehend genannten möglichen Eingabevorrichtungen stellen hierbei nur eine Auswahl dar.

Eine zusätzliche Ausgestaltung besteht darin, daß die Oberflächeneinheit einen Sensor zur Umwandlung von Lichtenergie in elektrische Energie aufweist, wobei der Sensor die Oberflächeneinheit mit Strom versorgt.

Insbesondere kann der Sensor zur Umwandlung von Lichtenergie in elektrische Energie eine Solarzelle sein.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnungen dargestellt und erläutert.

Es zeigen

Fig. 1 eine Anordnung zur Interaktion;

Fig. 2 eine Prozessoreinheit;

Fig. 3 eine Anordnung zur Interaktion, die eine Oberflächeneinheit mit zusätzlichen Funktionalitäten aufweist;

Fig. 4 eine Oberflächeneinheit mit möglichen Eingabevorrichtungen.

Fig. 1 zeigt die Funktionsweise eines Virtual-Touch-Screens. Dabei wird zunächst die Oberflächeneinheit in Form einer passiven Bedienoberfläche BOF vorgestellt.

Unter Oberflächeneinheit wird insbesondere die physikalische Ausprägung der Grundfläche, auf die eine Projektion erfolgt verstanden. Der Inhalt der Projektion ist z. B. die Bedienoberfläche BOF.

Die Bedienoberfläche BOF (Interaktionsfläche, Abbildung einer graphischen Benutzerschnittstelle GUI) wird auf einen vorgebbaren Bereich (Oberfläche), hier ein Projektionsdisplay PD (Interaktionsfläche), abgebildet. Das Projektionsdisplay PD ersetzt dabei einen konventionellen Bildschirm. Die Eingabe erfolgt durch direktes Zeigen mit der Interaktionskomponente, hier einer Hand H auf die Bedienoberfläche BOF. Dadurch können beispielsweise Tastatur, Maus, Touchscreen oder Digitalisiertablett konventioneller Systeme ersetzt werden. Die Erkennung der Gesten und die Positionierung der Hand innerhalb der Bedienoberfläche BOF werden durch ein videobasiertes System, das in der Lage ist, Projektion und Form zum Beispiel der menschlichen Hand in Echtzeit zu erkennen und zu verfolgen, realisiert. Ferner wird in Fig. 1 das Projektionsdisplay PD mit Infrarotlicht beleuchtet. Die Infrarotlichtquelle IRL kann vorteilhaft mittels Infrarotleuchtdioden ausgeführt sein. Eine Kamera K, die vorzugsweise mit einem speziellen Infrarotfilter IRF, das in einem infraroten Spektralbereich besonders empfindlich ist, ausgestaltet ist, nimmt das Projektionsdisplay PD einschließlich der Hand H des Benutzers auf. Mit einem Projektor P, der von einem Rechner R gesteuert wird, wird die Bedienoberfläche BOF auf das Projektionsdisplay PD abgebildet. Die Bedienoberfläche BOF kann dabei ausgestaltet sein als ein graphische Benutzerschnittstelle (GUI) auf einem Monitor des Rechners R. Ein Mauszeiger MZ wird durch die Hand H des Benutzers bewegt. Anstelle der Hand H kann als Interaktionskomponente auch eine Zeigereinheit eingesetzt werden.

Soll auf der Bedienoberfläche BOF die mit der Betätigung eines Feldes F assoziierte Funktion bzw. Funktionalität ausgelöst werden, so wird die Hand H zu dem Feld F bewegt, der Mauszeiger MZ folgt dabei der Hand H. Verharrt die Hand H für eine vorgebbare Zeitdauer über dem Feld F, so wird die mit dem Feld F assoziierte Funktion auf dem Rechner R ausgelöst. Dies entspricht bei konventionellen Systemen dem Doppelklick mit der Maus, wenn sich der Mauszeiger über einem virtuellen Schalter befindet.

In Fig. 2 ist eine Prozessoreinheit PRZE (Rechner) darge stellt. Die Prozessoreinheit PRZE umfaßt einen Prozessor CPU, einen Speicher MEM und eine Input/Output-Schnittstelle IOS, die über ein Interface IFC auf unterschiedliche Art und Weise genutzt wird: Über eine Grafikschnittstelle wird eine Ausgabe auf einem Monitor MON, insbesondere einen Projektor, sichtbar und/oder auf einem Drucker PRT ausgegeben. Eine Eingabe erfolgt über eine Maus MAS oder eine Tastatur TAST. Auch verfügt die Prozessoreinheit PRZE über einen Datenbus BUS, der die Verbindung von einem Speicher MEM, dem Prozessor CPU und der Input/Output-Schnittstelle IOS gewährleistet.

Weiterhin sind an den Datenbus BUS zusätzliche Komponenten anschließbar, z. B. zusätzlicher Speicher, Datenspeicher (Festplatte), Kamera, Framegrabber, Detektionseinheit, Eingabevorrichtungen, Netzwerkanschlüsse oder Scanner.

Fig. 3 zeigt eine Anordnung zur Interaktion, die eine Oberflächeneinheit aufweist, welche Oberflächeneinheit zusätzliche Funktionalitäten umfaßt.

Eine Modulbox 111 umfaßt einen Rechner (Prozessoreinheit, Auswerteeinheit) 112, eine Kamera (Detektionseinheit für Wellen, bevorzugt von IRL emittierte Strahlung) 113, einen Projektor 127, eine Infrarotbeleuchtung 128 (Quelle für Wellen für nichtsichtbares Licht, bevorzugt Infrarotscheinwerfer).

Die Oberflächeneinheit 121 umfaßt eine Vielzahl von Komponenten, die neben der oben beschriebenen berührungslosen Interaktion auch eine berührungssensitive Interaktion ermöglichen.

In der Anordnung von Fig. 3 sind einige kabellose Schnittstellen dargestellt. Eine Laserdiode 114, die in der Modulbox vorgesehen ist, strahlt gezielt auf eine Fotodiode 120, die in der Oberflächeneinheit 121 angeordnet ist, ab. Es erfolgt somit eine optische Energieübertragung von der Laserdiode 114 zum zugehörigen Sensor (Fotodiode 120). In der umgekehrten Richtung wird von einem optischen Sender 119, zum Beispiel einer Leuchtdiode oder einer Laserdiode, die beide bevorzugt im nicht sichtbaren Spektralbereich Licht emittieren, zu einer Fotodiode 115 Energie oder Daten/Signale übertragen. Die übertragene Energie, insbesondere von der Modulbox 111 zur der Oberflächeneinheit 121, kann durch Wandlung in elektrische Energie beim Empfänger zum Betreiben einer Eingabevorrichtung oder der Oberflächeneinheit selbst eingesetzt werden. Teile der Oberflächeneinheit können austauschbar ausgeführt sein.

Ein Joystick 118 zeigt eine signalgebende Eingabevorrichtung, die den optischen Sender 119 ansteuert. Die Signale, die über die Interaktion des Joystick 118 an die Auswerteeinheit 112 übermittelt werden, werden über die Duplexverbindung aus Sendern 119, 114 und Empfängern 120, 115, übertragen. Die Übertragung erfolgt ohne elektrische Leitungen, das heißt sicher gegen Vandalismus und für den Benutzer unsichtbar. Eine Energieversorgung der Oberflächeneinheit 121 erfolgt über eine Solarzelle 122. Neben der Solarzelle kann gezielt eine Energieübertragung von der Modulbox 111 zu der Oberflächeneinheit 121 erfolgen, indem die Laserdiode 114 den optischen Empfänger 120 speist, wobei der optische Empfänger 120 die Lichtenergie in elektrische Energie zum Betrieb der Oberflächeneinheit umwandelt.

In Fig. 3 ist zusätzlich eine Vollduplex-Sender-Empfänger-Verbindung auf Basis von Ultraschall dargestellt. Dazu sind Ultraschallsender 123 und 125 bzw. Ultraschallempfänger 124 und 126 vorgesehen.

Eine weitere kabellose Schnittstelle elektromagnetischer Art ist in Form der Empfangs- bzw. Sendespulen 130 und 116 dargestellt. Ein Tastenfeld 117 übermittelt Signale, die über die Sendespule 116 von der Oberflächeneinheit 121 zu der Modulbox 111, dort in die Empfangsspule 130, übertragen werden. Der Rechner 112 übernimmt die Codierung der übermittelten Signale in vorgegebene Aktionen.

Fig. 4 zeigt eine Oberflächeneinheit 216 mit möglichen Eingabevorrichtungen. Eine Fläche 211 ist als Informationsfläche vorgesehen. Zwei lichtempfindliche Eingabevorrichtungen (Fotodioden) sind geeignet, bestimmte Umgebungsbeleuchtungen aufzunehmen (optische Taste, Reflexlichtschranke). Ansonsten sind in Fig. 4 vorgesehen: Ein Joystick 214, Drucktaster bzw. Druckschalter 217, eine Projektionsfläche 218, eine dreidimensionale Gestaltung einer Interaktionsfläche in Form einer Erhöhung 219 und einer Vertiefung 220 und eine Fläche 221, die von der Kamera 113 in Fig. 3 aufgenommen wird.

Literaturverzeichnis

[1] US 5,528,263
[2] DE 197 08 240.

Claims

1. Anordnung zur Interaktion,

a) bei der eine Oberflächeneinheit vorgesehen ist, die getrennt von einer Modulbox ausgeführt ist;
b) bei der die Modulbox die folgenden Komponenten aufweist:
- 1. einen Projektor, anhand dessen auf der Oberflächeneinheit eine Abbildung darstellbar ist;
- 2. eine Kamera, die die Oberflächeneinheit aufnimmt;
- 3. einen Rechner, der den Projektor steuert und Aufnahmen der Kamera auswertet derart, daß eine Aufnahme einer Bewegung oder eines Verweilens einer Interaktionskomponente auf bzw. vor der Oberflächeneinheit als Funktionalität eines Eingabezeigers interpretierbar ist;
c) bei der zwischen der Modulbox und der Oberflächeneinheit mindestens eine kabellose Schnittstelle existiert.

2. Anordnung nach Anspruch 1, bei der die mindestens eine kabellose Schnittstelle eine Schallschnittstelle ist.

3. Anordnung nach Anspruch 2, bei dem die Schallschnittstelle eine Ultraschallschnittstelle ist.

4. Anordnung nach Anspruch 3, bei dem die Ultraschallschnittstelle einen Ultraschallsender und einen Ultraschallempfänger aufweist.

5. Anordnung nach Anspruch 1, bei der die mindestens eine kabellose Schnittstelle eine optische Schnittstelle ist.

6. Anordnung nach Anspruch 5, bei der die optische Schnittstelle einen Infrarotsender und einen Infrarotempfänger aufweist.

7. Anordnung nach Anspruch 6, bei der der Infrarotsender eine Infrarot-Leuchtdiode oder eine Infrarot-Laserdiode ist.

8. Anordnung nach Anspruch 1, bei der die mindestens eine kabellose Schnittstelle eine elektromagnetische Schnittstelle ist.

9. Anordnung nach Anspruch 8, bei der die elektromagnetische Schnittstelle als Sender eine der folgenden Komponenten aufweist:

a) Sendeantenne,
b) Richtantenne,
c) Richtkoppler,
d) Dipolantenne.

10. Anordnung nach Anspruch 9, bei der die elektromagnetische Schnittstelle als Empfänger eine der folgenden Komponenten aufweist:

a) Antennenspule,
b) Schlitzantenne,
c) Dipolantenne.

11. Anordnung nach einem der vorhergehenden Ansprüche, bei dem der jeweilige Sender der mindestens einen kabellosen Schnittstelle in der Modulbox und der jeweilige Empfänger der mindestens einen kabellosen Schnittstelle in der Oberflächeneinheit ausgeführt sind.

12. Anordnung nach einem der vorhergehenden Ansprüche, bei dem der jeweilige Sender der mindestens einen kabellosen Schnittstelle in der Oberflächeneinheit und der jeweilige Empfänger der mindestens einen kabellosen Schnittstelle in der Modulbox ausgeführt sind.

13. Anordnung nach einem der vorhergehenden Ansprüche, bei der in der Oberflächeneinheit eine Eingabevorrichtung vorgesehen ist.

14. Anordnung nach Anspruch 13, bei der die Eingabevorrichtung eine der folgenden Möglichkeiten umfaßt:

15. Anordnung nach einem der vorhergehenden Ansprüche, bei der die Oberflächeneinheit einen Sensor zur Umwandlung von Lichtenergie in elektrische Energie aufweist, welcher Sensor die Oberflächeneinheit mit Strom versorgt.

16. Anordnung nach Anspruch 15, bei der der Sensor zur Umwandlung von Lichtenergie in elektrische Energie eine Solarzelle ist.

17. Anordnung nach einem der vorhergehenden Ansprüche, bei der die Interaktionskomponente eine der folgenden Möglichkeiten umfaßt:

a) eine Hand eines Benutzers;
b) ein Finger eines Benutzers;
c) eine Zeigereinheit.