-
Die Erfindung betrifft eine Abhängigkeit zur Erkennung der Verlaufsbahn des beweglichen Objekts, insbesondere bezüglich eines Erkennugsverfahrens für ein bewegliches Objekt, und das der Erkennung des beweglichen Objekts zugrunde liegende Befehl-Eingabeverfahren.
-
Es ist heute eine Entwicklungstendenz für Computereinrichtung, dass Eingaben der Befehle mit Hilfe von Gesten-Bewegungen anstatt von direkter Berührung mit dem Computer durchgeführt werden. Bei herkömmlichem Eingabeverfahren im System mit Gesten muss der Benutzer spezielle Handschuhe oder Fingerkappen tragen, nämlich es werden entsprechende Eingabebefehle durch Gesten mit Handschuhen bzw. Fingerkappen oder durch die Positionsänderung induktiv erzeugt Wegen der Unbequemlichkeit bei der Verwendung der Handschuhe bzw. der Fingerkappen wird nun eine Erkennungstechnologie mit Hilfe der Gesten-Bilder in das Gesten-Eingabesystem eingeführt, so werden durch Videokamera Gesten-Bilder aufgenommen, mit denen Änderungen ihrer Haltungen oder der Position analysiert werden können, und daraus werden entsprechende Eingabebefehle erzeugt.
-
Die gegenwärtige Erkennungstechnologie der Gesten liegt der vorbearbeiteten Konturenbilder der Hand zugrunde, um die Haltungen der Handfläche oder die Änderung der Position zu erkennen. Zum Beispiel,
Patent Nr. 393629 ,
I224288 von der Republik China , das Patent sieht den Einsatz verschiedener Berechnungsmechanismen zur Umwandlung der Bilder, um durch ein besonderes Merkmal als Gesten die Handfläche in Bildern festzustellen; das
Patent Nr. 1298461 von der Republik China stellt dar, wie aus Bildern statische Bilder der Gesten festgestellt werden, und dann wird der Vergleich mit Bildern der besonderen Gesten von einer Datenbank gezogen. Die erfolgreiche Erkennung der oben genannten Methode hängt davon ab, ob Konturen der Gesten aus Bildern präzis abgegrenzt werden oder ein Linienmerkmal der Konturen in Gesten festgestellt werden kann. Allerdings werden die Abgrenzungen der Konturen in Gesten oder die Feststellungen des Linienmerkmales oft durch solche Faktoren wie Hintergrund, Licht und Schatten beeinträchtigt, und zugleich wird durch den Abstand zwischen der Hand und der Videokamera sowie Haltungsänderung der Gesten selbst Abgrenzung der Konturenlinie der Gesten beeinflusst. Um die Erkennungsrate zu verbessern, muss oft eine Vielzahl von vorgesehener Datenbank für Gesten zum Vergleich erstellt werden, oder die Fehlertoleranz dafür muss vergrößert werden. Da eine Vielzahl von vorgesehener Datenbank für Gesten zum Vergleich eingesetzt wird, wird die Geschwindigkeit der Erkennung beeinträchtigt, und zwar erfordert es größere Hardware-Ressourcen, wodurch eine höhere Häufigkeit des fehlerhaften Erkennungsergebnisses wegen Vergrößerung der Fehlertoleranz auftritt.
-
Das oben genannte Konzept bezieht sich auf eine Erkennung statischer Handbilder durch das Abgrenzen der Konturen der Gesten, das Feststellen des Linienmerkmals und den Vergleich mit der Datenbank. Das
Patent Nr. 1274296 der Republik China und das Patent Nr.
US 5594769 von Vereinigten Staaten beziehen sich auf die Erfassung des kontinuierlichen, dynamischen Objekts, um Bilder mit dynamischen Gesten zu erkennen. Aber das Patent Nr. 1274296 und Patent Nr.
US 5594769 werden leicht durch Umgebungslicht, Personen-Bewegung in der Umgebung, Gesichtsfarbe der Person, Schütteln des Kamera-Objektivs oder Bildrauschen beeinträchtigt, obwohl die Gegenstände außerhalb der Handfläche als dynamische Gesten angesehen werden, die daher zu falscher Feststellung führen. Obwohl für die Erkennung der dynamischen Gesten eine präzise Abgrenzung der Konturen der Gesten nicht erforderlich ist, muss doch das Problem gelöst werden, bei dem falsche Feststellungen als dynamische Gesten durch bewegliche Objekte, Bildrauschen usw. auftreten.
-
Für das Erkennungsverfahren der Gesten und der dynamischen Gesten bei herkömmlicher Technologie besteht jedoch das Problem, wie jeweils eine Vielzahl von vorgesehenen Datenbanken der Gesten erstellt werden muss, oder es besteht das Problem mit falscher Feststellung als dynamische Gesten durch bewegliche Objekte, Bildrauschen usw. Die vorliegende Erfindung bietet ein Erkennungsverfahren für ein bewegliches Objekt, bei welchem seine Genauigkeit höher ist und die erforderlichen Operationsressourcen niedriger sind.
-
Die vorliegende Erfindung bietet ein Erkennungsverfahren für bewegliche Objekte, um ein bewegliches Objekt zu erkennen und das bewegliche Objekt zu lokalisieren, welches folgende Schritte aufweist: Aufnahme der kontinuierlichen dynamischen Bilder eines beweglichen Objekts, die in mehrere Felder gegliedert werden; Entnahme eines Felds, dann wird der Kennwert der Farbe zu einem aktuellen Zeitpunkt und zu einem nächsten Zeitpunkt berechnet, und die Aktivität eines Feldes wird aufgrund vom Kennwert der Farbe zu einem aktuellen Zeitpunkt und zu einem nächstem Zeitpunkt erhalten; zwar wird der Vergleich mit dem Kennwert der Farbe zu einem aktuellen Zeitpunkt allmählich zu dem Kennwert der Farbe zu einem nächsten Zeitpunkt gezogen, es ergibt sich jeweils der annähernde Grad, der mit dem maximalen Wert als ein örtlicher Korrelationsteil definiert wird; aufgrund der Aktivität eines Feldes und des örtlichen Korrelationsteils ergibt sich ein Bewegungsintensitätswert aus einem Feld; Wiederholen der vorstehenden Schritte ergeben Bewegungsintensitätswerte aus allen Feldern, um ein Bewegungsintensitätsbild zu erzeugen; so wird aufgrund des Bewegungsintensitätsbilds das bewegliche Objekt zum aktuellen Zeitpunkt lokalisiert.
-
Die Erfindung integriert die aus dem beweglichen Objekt ergebene Aktivität mit dem durch Änderung der Position des beweglichen Objekts örtlichen Korrelationsteil und schafft ein Bewegungsintensitätsbild. Das Bewegungsintensitätsbild dient zur Erfassung des beweglichen Objekts in kontinuierlichen dynamischen Bildern und ermöglicht die Beseitigung von Bildrauschen, Änderungen von Licht und Schatten, die zu einer falschen Feststellung führen können, und es wird dadurch vermieden, dass ähnliche Gegenstände von Farben und Gesten als Gesten falsch beurteilt werden. Im Vergleich zum Stand der Technik ist für die vorliegende Erfindung die Entfernung des Hintergrunds nicht erforderlich, so dass der Verfolgungsschritt vom beweglichen Objekt sich in zwei separaten Prozessen vereinfachen lässt und zudem das bewegliche Objekt mit schnellen und relativ niedrigeren Operationsressourcen räumlich lokalisieren lässt.
-
Im Folgenden wird die Erfindung an Hand von Diagrammen und Bildern im Detail beschrieben. Es zeigen:
-
1 ein Flussdiagramm des Erkennungsverfahrens für ein bewegliches Objekt gemäß der vorliegenden Erfindung,
-
2 ein systematisches Blockbild des Erkennungsverfahrens für ein bewegliches Objekt gemäß der vorliegenden Erfindung,
-
3 und 4 eine schematische Ansicht für kontinuierliche dynamische Bilder zum aktuellen Zeitpunkt und zum nächsten Zeitpunkt, die in mehrere Felder eingegliedert sind,
-
5 die Position des beweglichen Objekts in kontinuierlichen dynamischen Bildern zum aktuellen Zeitpunkt,
-
6 die Position des beweglichen Objekts in kontinuierlichen dynamischen Bildern zum nächsten Zeitpunkt.
-
7 ein Verlaufsbild für das Bewegungsintensitätsbild zum aktuellen Zeitpunkt,
-
8 ein Flussdiagramm des Befehlseingabeverfahrens, das dem Erkennungsverfahren für ein bewegliches Objekt zugrunde liegt,
-
9 ein Flussdiagramm einer Ausführungsform der vorliegenden Erfindung, die dem Multimedia-Player-Programm mittels Befehlseingabeverfahren des Erkennungsverfahrens für ein bewegliches Objekt zugrunde liegt.
-
10 und 11 schematische Ansichten für ein erstes Feld, ein zweites Feld und ein drittes Feld in den phasischen Suchvorgängen gemäß der vorliegenden Erfindung, und
-
12 eine schematische Ansicht für die Erfassung des beweglichen Objekts in den phasischen Suchvorgängen gemäß der vorliegenden Erfindung.
-
Anhand 1 bis 4 ist zu sehen, dass ein Erkennungsverfahren für ein bewegliches Objekt gemäß der vorliegenden Erfindung bereitgestellt wird, um ein bewegliches Objekt (10) zu erkennen und die Position des beweglichen Objekts (10) zu markieren, wobei durch die Änderung der Position im Zeitablauf des beweglichen Objekts (10) ein Eingabebefehl erzeugt wird. Das oben erwähnte bewegliche Objekt (10) kann eine Handfläche des Benutzers einer Bearbeitungsvorrichtung sein, und diese Bearbeitungsvorrichtung (20) (zum Beispiel ein Computer bzw. ein Notebook) soll ein Programm Installieren, um das Befehlseingabeverfahren auszuführen.
-
Anhand der 1 und 2 ist zu sehen, dass durch das Erkennungsverfahren für ein bewegliches Objekt gemäß der vorliegenden Erfindung Bilder des beweglichen Objekts (10) mittels einer Aufnahmevorrichtung (30) aufgenommen werden. Die Aufnahmevorrichtung (30) kann eine Videokamera sein, die mit einer externen Verbindung versehen ist oder in der Datenbearbeitungsvorrichtung (20) eingebaut ist. Mit der Aufnahmevorrichtung (30) werden kontinuierliche dynamische Bilder des beweglichen Objekts (10) nach zeitlicher Reihenfolge aufgenommen (Schritt 110), und danach werden kontinuierliche dynamische Bilder an die Datenbearbeitungsvorrichtung (20) übertragen.
-
Mit der Aufnahmevorrichtung (30) wird jeweils elf Rahmen zu einem aktuellen Zeitpunkt t – 1 und zu einem nächsten Zeitpunkt t aufgenommen. Es kann ununterbrochen der Zeitpunkt der zwei Rahmen zu einem aktuellen Zeitpunkt t – 1 und zu einem nächsten Zeitpunkt t für die Aufnahmevorrichtung (30) erzeugt werden. Es können auch mehrere Rahmen zwischen dem aktuellen Zeitpunkt t – 1 und dem nächsten Zeitpunkt t in Abständen getrennt werden, das heißt, dass ein Rahmen zum aktuellen Zeitpunkt t – 1 erhalten wurde, wird wiederum ein nächstes Bild nach Trennung des Rahmens erhalten, somit ist es mit dem in einem nächstem Rahmen erzeugten Zeitpunkt als ein nächster Zeitpunkt t.
-
Anhand der 1, 3 und 4 ist zu sehen, dass durch die Datenbearbeitungsvorrichtung (20) die kontinuierlichen dynamischen Bilder in mehrere Felder gegliedert werden X(n) (Schritt 120) wie in der Abbildung gezeigt ist, dass die kontinuierlichen dynamischen Bilder in 5 × 5, also Insgesamt 25 Stück Felder gegliedert sind, (X(n) bis X(n ± i) i = 0, ±1 bis ±12). Die oben genannten kontinuierlichen dynamischen Bilder, die in 5 × 5, also insgesamt 25 Stück Felder gegliedert sind, sind als ein gezeigtes Beispiel der Erfindung anwendbar, obwohl es keine Einschränkungen für die Abschnittsmenge von kontinuierlichen dynamischen Bildern gibt.
-
Anhand der 3 und 5 ist zu sehen, dass mit Hilfe der Datenbearbeitungsvorrichtung (20) ein Feld Xt-1(n) (Schritt 130) entnommen wird, um den Kennwert Vect-1(n) der Farbe, des Felds zum aktuellen Zeitpunkt t – 1 Xt-1(n) zu berechnen (Schritt 140).
-
Die 3 und 5 zeigen, wie die Präsentation mit dem beweglichen Objekt (10) auf dem Feld X(n) erfolgt, um darzustellen, wie durch das Erkennungsverfahren für ein bewegliches Objekt gemäß der vorliegenden Erfindung die Position des beweglichen Objekts (10) zum aktuellen Zeitpunkt t – 1 erfasst wird. Tatsächlich ist das gleiche Bearbeitungsprogramm für jedes Feld durchzuführen, erst dann kann ein bewegliches Objekt (10) durch die Datenbearbeitungsvorrichtung (20) erfasst werden.
-
Anhand der 4 und 6 ist zu sehen, dass der Kennwert Vect(n) der Farbe auf diesem Feld Xt(n) zum nächsten Zeitpunkt t durch die Datenbearbeitungsvorrichtung (20) berechnet wird (Schritt 150). Um die Erklärung zu vereinfachen, ist das Feld zum aktuellen Zeitpunkt t – 1 mit (t – 1) als Exponenten zu vermerken, und ist das Feld in nächstem Zeitpunkt t mit (t) als Exponenten zu vermerken.
-
Das bewegliche Objekt (10) bewegt sich in kontinuierlichen dynamischen Bildern neben linearer Verschiebung entlang zweidimensionaler Richtung, tatsächlich zusätzlich auch entlang der Richtung in der Nähe oder in weiterer Entfernung von der Aufnahmevorrichtung (30), so dass die Änderung der Größe des beweglichen Objekts (10) in kontinuierlichen dynamischen Bildern auftritt, ferner lässt sich das bewegliche Objekt (10) auch drehen, was zur Änderung seiner Gestalt führt. Das bewegliche Objekt (10), das gemäß der vorliegenden Erfindung aufgenommen wird, ist vor allem die Handfläche, weil die Gestalt der Handfläche selbst nicht stabil ist.
-
Aus diesen Gründen wird das bewegliche Objekt (10) in kontinuierlichen dynamischen Bildern erfasst und es wird die Änderung der Position vor und nach der Bewegung festgestellt, es müssen jedoch auch die Verformung des beweglichen Objekts (10) in kontinuierlichen dynamischen Bildern und die Änderung der Farbe in allen kontinuierlichen dynamischen Bildern, die durch das Licht beeinträchtigt wird, berücksichtigt werden. Deswegen wird bei dieser Erfindung durch den Kennwert Vec(n) der Farbe (color feature value, Vec(n)) jedes Feld gekennzeichnet, so dass durch die Änderung der Farbe des Kennwerts Vec(n) eine eventuelle Position des beweglichen Objekts (10) zum aktuellen Zeitpunkt t – 1 und zum nächsten Zeitpunkt t erfasst werden kann.
-
Der Kennwert Vec(n) der Farbe kann das Farbe-Moment (color moment), Farbe-Histogramm (color histogram) auf jedem einzelnen Feld sein, wobei das Farbe-Moment (color moment) einen relativ einfachen Operationsvorgang hat, deshalb ist der oben genannte Kennwert Vec(n) der Farbe das Farbe-Moment (color moment) in der bevorzugten Ausführungsform.
-
Mit Hilfe des Kennwerts Vec(n) der Farbe wird durch die Datenbearbeitungsvorrichtung (20) eine Aktivität Active(n) dieses Felds Xt-1(n) in dem bestimmten Feld Xt-1(n) anhand des Kennwerts Vect-1(n) der Farbe zum aktuellen Zeitpunkt t – 1 und des Kennwerts Vect(n) der Farbe zum nächsten Zeitpunkt t erhalten (Schritt 160).
-
Die Aktivität Active(n) ist die Differenz (Vec
t-1(n), Vec
t(n)) des Kennwerts der Farbe in einem gleichen Feld (X
t-1(n), X
t(n)) zu dem unterschiedlichen Zeitpunkt, d. h., das ist die Änderungsrate, bei der der Kennwert Vec
t-1(n) der Farbe zum aktuellen Zeitpunkt t – 1 in den Kennwert Vec
t(n) der Farbe zum nächsten Zeitpunkt t umgewandelt wird. Das beste gezeigte Format auf der Aktivität(n) ist ein Absolutwert der Differenz zwischen dem Kennwert Vec
t-1(n) der Farbe zum aktuellen Zeitpunkt t – 1 und dem Kennwert Vec
t(n) der Farbe zum nächsten Zeitpunkt t, geteilt durch den Kennwert Vect
t-1(n) der Farbe zum aktuellen Zeitpunkt t – 1, wie folgt:
-
Je größer die Änderung der Aktivität(n) ist, desto größer sind auch die Chancen, dass das bewegliche Objekt (10) auf dem vertretenen Feld X(n) existiert, deswegen hat der Kennwert Vec(n) der Farbe eine relativ größere Änderung im zeitlichen Verlauf von einem aktuellen Zeitpunkt t – 1 bis zu einem nächsten Zeitpunkt t. Wenn die Änderung der Aktivität(n) ziemlich gering ist, hat der Kennwert Vec(n) der Farbe keine Änderung bzw. ist eine kleine Änderungsrate möglich, was bedeutet, dass das vertretene Feld X(n) den Hintergrund mit dem stationären Bild enthält.
-
Nehmen wir an, dass sich das bewegliche Objekt (10) zum aktuellen Zeitpunkt t – 1 auf den Xt-1(n) befindet, während das bewegliche Objekt (10) zum nächsten Zeitpunkt t, welches von Rahmen zu dem aktuellen Zeitpunkt t – 1 bis auf die Position im Rahmen Xt-1(n – 12) in nächstem Zeitpunkt t verschoben wird. Falls die Probenahme mittels der Aufnahmevorrichtung (30) in relativ kurzen Zeitabständen erfolgt, ergibt sich in der Regel ein Rahmen für etwa 1/30 Sekunde. Es wird aufgrund der Aufnahmevorrichtung (30) auf Kennzeichnung festgestellt, dass sich das bewegliche Objekt (10) zum nächsten Zeitpunkt t bis zum benachbarten Feld bewegen sollte. Durch das bewegliche Objekt (10) wird der Vergleich mit dem Kennwert Vect-1(n) der Farbe zu einem aktuellen Zeitpunkt t – 1 zu dem Kennwert Vect(n + i) der Farbe auf dem anderen Feld Xt(n + i) zu einem nächsten Zeitpunkt t gezogen, danach ergibt sich eine Abhängigkeit des annähernden Grads, dann wird durch diesen annähernden Grad eine eventuelle Position des beweglichen Objekts (10) zum nächsten Zeitpunkt t festgestellt, wodurch das blinkende Bildrauschen in Bildern beseitigt werden kann.
-
Vorstehende Beschreibung richtet sich zwar auf die Berechnung zu dem Feld X(n) aus, es ist jedoch tatsächlich für die Berechnung der Aktivität(n) auf jedem Feld (X(n) ~ X(n ± i)) erforderlich.
-
Wenn Aktivität(n) auf jedem Feld (X(n) ~ X(n ± i)) durch die Datenbearbeitungsvorrichtung (20) berechnet wurde, ergibt sich eine große Aktivität(n) (Active(n) und Active(n – 12)) mit zwei Feldern Xt-1(n) und Xt-1(n – 12). Während uns das bewegliche Objekt (10) bekannt ist, welches sich auf Position zum aktuellen Zeitpunkt t – 1 und zum nächsten Zeitpunkt t, d. h. jeweils auf zwei Felder X(n) und X(n – 12) befindet, es ist jedoch nicht in der Position festzustellen, ob die Bewegungsrichtung des beweglichen Objekts (10) von X(n) bis zu X(n – 12) oder in entgegengesetzter Richtung verläuft, daher ist es notwendig, weitergehend den örtlichen Korrelationsteil Corr(n) (local correlation Part) des jeweiligen Felds (X(n) ~ X(n ± i)) zu berechnen.
-
Es wird deshalb mit Hilfe der Datenbearbeitungsvorrichtung (
20) mit dem Kennwert Vec
t-1(n) der Farbe des Felds X
t-1(n) zu einem aktuellen Zeitpunkt t – 1 allmählich der Kennwert (Vec
t(n ± i), i = ±1 bis ±12) der Farbe des anderen Felds (X
t(n ± i), i = ±1 bis ±12) zu einem nächsten Zeitpunkt vergleicht, wobei sich jeweils ein annähernder Grad ergibt, wobei der annähernde Grad mit dem maximalen Wert als ein örtlicher Korrelationsteil Corr(n) (Schritt
170) definiert wird. Die mathematische Formel des örtlichen Korrelationsteils sieht wie folgt aus:
-
Aus der Aktivität Active(n) des Felds Xt-1(n) von der Datenbearbeitungsvorrichtung (20) und dem örtlichen Korrelationsteil Corr(n) ergibt sich ein Bewegungsintensitätswert E(n) (motion-energy patch) (Schritt 180) des Felds Xt-1(n), die mathematische Formel sieht wie folgt aus: Bewegungsintensitätswert: E(n) = Active(n) × Corr(n)
-
Damit können die zwei Felder X(n) und X(n – 12) durch den Bewegungsintensitätswert E(n) zu einem aktuellen Zeitpunkt t – 1 festgestellt werden, welche über das Feld mit dem beweglichen Objekt (10) verfügen.
-
Wie oben beschrieben, werden für jedes Feld (X(n) bis X(n ± i) i = ±9, ±1 bis ±12) Aktivität(n), örtlicher Korrelationsteil Corr(n) und Bewegungsintensitätswert E(n) berechnet. Die Datenbearbeitungsvorrichtung (20) sorgt dafür, dass die vorstehenden Schritte (Schritt 130 bis Schritt 180) wiederholt werden, wobei sich Bewegungsintensitätswerte E(n) aus allen Feldern X(n ± i) i = 0, ±1 bis ±12) ergeben, um ein Bewegungsintensitätsbild (Motion-Energy Map) zu erzeugen; auf diese Weise wird aus dem Bewegungsintensitätsbild das bewegliche Objekt (10) erfasst.
-
Anhand 7 ist zu sehen, dass durch Datenbearbeitungsvorrichtung (20) der Bewegungsintensitätswert E(n) zu einem aktuellen Zeitpunkt t – 1 in eine Matrix zu dem jeweiligen Feld eingegeben wird, und durch die Bewegungsintensitätswerte E(n) aus allen Feldern ein Bewegungsintensitätsbild (Motion-Energy Map) zusammengefügt wird. In 7 bedeutet das Bewegungsintensitätsbild in dunkler Farbe, dass es einen hohen Bewegungsintensitätswert E(n) aufweist, während es in heller Farbe bedeutet, dass es mit dem niedrigen Bewegungsintensitätswert E(n), wie in 7 die Bewegungsintensität zu einem aktuellen Zeitpunkt t – 1 gezeigt ist. Für die Datenbearbeitungsvorrichtung (20) kann ein Schwellenwert festgelegt werden, um den Bewegungsintensitätswert E(n) zu definieren, der einen der Schwellenwerte oder mehrere Felder überschreitet, ist das bewegliche Objekt (10) (Schritt 190). Auf diese Weise kann durch die Datenbearbeitungsvorrichtung (20) zu einem aktuellen Zeitpunkt t – 1 aus dem Bewegungsintensitätsbild das bewegliche Objekt (10) und seine (10) Position erfasst werden.
-
Anhand der 3, 4 und 7 ist zudem zu sehen, dass sich das Bewegungsintensitätsbild durch den aktuellen Zeitpunkt t – 1 ergibt, so kann der relativ hohe Bewegungsintensitätswert E(n) auf dem entsprechenden Feld X(n) entstehen, wenn sich das bewegliche Objekt (10) als zu einem typischen aktuellen Zeitpunkt t auf dem Feld X(n) befindet, bewegt es in der Richtung der anderen Position hin.
-
Es ist jeder Zeitpunkt als aktueller Zeitpunkt t – 1 vorzusehen, und Schritt für Schritt nach dem oben genannten Verfahren durchzuführen, so kann sich die Position des beweglichen Objekts (10) zu unterschiedenen Zeitpunkten ergeben, um die Bewegungsbahn zu erhalten, wobei der Befehl über die Bewegungsbahn eingegeben wird.
-
Anhand 8 ist zu sehen, was dem vorstehenden Erkennungsverfahren für bewegliches Objekt zugrunde liegt, und die Erfindung bietet weiterhin ein Befehlseingabeverfahren, bei dem wegen der Änderung der Position des beweglichen Objekts (10) eine Bewegungsbahn entsteht, um die Eingabe des Befehls in entsprechender Bewegungsbahn auszuführen. Für die Datenbearbeitungsvorrichtung (20), die zur Durchführung des Befehlseingabeverfahrens dient, wurden eine Bewegungsbahn und die entsprechenden Eingabebefehle vorgespeichert.
-
Im Laufe der Zeit werden durch die Datenbearbeitungsvorrichtung (20) auf der zeitbezogenen Achse kontinuierliche dynamische Bilder erhalten (Schritt 210), und es werden nun der Rahmen zum aktuellen Zeitpunkt t – 1 (Schritt 211) und der Rahmen zum nächsten Zeitpunkt t abgegrenzt (Schritt 212).
-
Danach werden durch die Datenbearbeitungsvorrichtung (20) aufgrund von dem oben genannten Rahmen die Aktivität Active(n) und der örtliche Korrelationsteil Corr(n) auf jedem Feld berechnet (Schritt 210).
-
Anschließend wird durch die Datenbearbeitungsvorrichtung (20) aufgrund der oben genannten Aktivität Active(n) und des örtlichen Korrelationsteils Corr(n) der Bewegungsintensitätswert E(n) jedes Felds zum aktuellen Zeitpunkt t – 1 berechnet, um das Bewegungsintensitätsbild zusammenzufügen, und dann aufgrund des Bewegungsintensitätsbilds ein bzw. mehrere Felder für ein bewegliches Objekt (10) zu definieren, woraus sich die Position des beweglichen Objekts ergibt (10).
-
Mit der Position des beweglichen Objekts (10) wird dann durch die Datenbearbeitungsvorrichtung (20) der Status des Verfolgungslabels festgestellt.
-
Wenn das Verfolgungslabel „ja” ist, wird das Verfolgungslabel durch die Datenbearbeitungsvorrichtung (20) initialisiert, und dann wird der temporäre Speicher entleert, um mit den Verfolgungsvorgängen der Bewegungsbahn zu beginnen (Schritt 251); wenn ”ja”, wird die Position des beweglichen Objekts (10) weiterhin im temporären Speicher aufgezeichnet, so entsteht eine Bewegungsbahn durch die Änderung der Position.
-
Wenn der Vorgang zur Feststellung der Bewegungsbahn in Schritt 251 beginnt, wird vorher die Position des beweglichen Objekts (10) durch die Datenbearbeitungsvorrichtung (20) (zum aktuellen Zeitpunkt t – 1) in den temporären Speicher aufgezeichnet (Schritt 260), dadurch entsteht die Bewegungsbahn durch die Änderung der Position des beweglichen Objekts (10), zu dieser Zeit kann erst durch die Datenbearbeitungsvorrichtung (20) festgestellt werden, ob eine Bewegungsbahn der Definition für die Befehlseingabe entspricht (Schritt 270).
-
Da durch die Datenbearbeitungsvorrichtung (20) das Verfolgungslabel initialisiert wird, ist es „ja”, so wird in diesem Fall der temporäre Speicher entleert, daher werden im temporären Speicher nur Daten einer Position gespeichert, weil sich die Bewegungsbahn nicht entstehen lässt, die der Definition der Befehlseingabe entspricht. So kommt dann wiederum zum Schritt 210, um durch die Datenbearbeitungsvorrichtung (20) das bewegliche Objekt (10) zum nachfolgenden Zeitpunkt zu lokalisieren.
-
Dagegen, wenn in Schritt 240 das Verfolgungslabel bereits „ja”, ist, bedeutet das, dass im temporären Speicher die Position des beweglichen Objekts (10) bereits aufgezeichnet wurde, die vorher stand, und die Datenbearbeitungsvorrichtung (20) beginnt nun direkt mit Verfolgungsstatus (Schritt 252), und zudem wird unmittelbar die Position des beweglichen Objekts (10) in den temporären Speicher aufgezeichnet (Schritt 260), und dann wird der Vergleich mit der anderen Position durchgeführt, die bereits im temporären Speicher gespeichert ist, worauf eine Bewegungsbahn des beweglichen Objekts (10) entsteht.
-
Wenn eine Bewegungsbahn des beweglichen Objekts (10), die durch die Datenbearbeitungsvorrichtung (20) festgestellt wird, der Definition der vorgesehenen Befehleingabe entspricht (Schritt 270), wird nun durch die Datenbearbeitungsvorrichtung (20) das Verfolgungslabel als „Nein” bestimmt, wobei der Verfolgungsstatus zum Schluss kommt (Schritt 280). Zugleich wird durch die Datenbearbeitungsvorrichtung (20) ein Eingabebefehl gesendet, der der Bewegungsbahn entspricht (Schritt 290). Falls die Datenbearbeitungsvorrichtung (20) festgestellt hat, dass die oben genannte Bewegungsbahn noch nicht der Definition der vorgesehenen Befehlseingaben entspricht, so kommt es dann wiederum zum Schritt 210, um durch die Datenbearbeitungsvorrichtung die Position des beweglichen Objekts (10) zum nachfolgenden Zeitpunkt zu erhalten und die Bewegungsbahn des beweglichen Objekts (10) aufzuzeichnen.
-
Anhand 9 ist zu sehen, dass durch ein folgendes Beispiel, das durch ein Multimedia-Programm wiedergegeben wird, das Befehlseingabeverfahren weiterhin beschrieben wird.
-
Das Multimedia-Player-Programm ist in der Datenbearbeitungsvorrichtung (20) installiert, zugleich ist in der Datenbearbeitungsvorrichtung (20) auch ein Programm für die Input-Schnittstelle installiert, um das dem Erkennungsverfahren für ein bewegliches Objekt zugrunde gelegte Befehlseingabeverfahren auszuführen; das installierte Programm für die Input-Schnittstelle kann im Multimedia-Player-Programm integriert werden.
-
Wenn der Multimedia-Player vom Benutzer durch Datenbearbeitungsvorrichtung (20) gestartet wird (Schritt 310), bedeutet es, dass gleichzeitig das Programm für die Input-Schnittstelle angesprochen wird (Schritt 410). Über das Programm für die Input-Schnittstelle wird eine Aufnahmevorrichtung (30) gestartet, um kontinuierliche dynamische Bilder mittels der Aufnahmevorrichtung (30) zu erzeugen.
-
Um zu vermeiden, dass bewegliche Gegenstände mit der Aufnahmevorrichtung (30) aufgenommen werden, die, wenn sie als das bewegliche Objekt (10) angesehen werden, und dadurch zu falschem Auslösen der Gestenfunktion durch das Multimedia-Player-Programm führen, kann ein Kreisumlauf zur Feststellung im Programm für die Input-Schnittstelle hinzugefügt werden, und als ein Ausgangspunkt für die Verfolgung von Gesten mit besonderer dynamischer Haltung, d. h., wenn das Objekt mit besonderen dynamischen Haltungen auftritt, beginnt das Programm für die Input-Schnittstelle erst dann mit Schritt 210, wie 8 zeigt, d. h., das bewegliche Objekt (10) wird verfolgt und aufgezeichnet, die mit der Aufnahmevorrichtung (30) aufgenommen sind, um festzustellen, ob seine Bewegungsbahn den vorgesehenen Gesten entspricht.
-
Anhand 9 ist zu sehen, dass eine besondere dynamische Haltung ein Hin und Her zu schwingender Gesten ist, und eine gewisse Zeit dauert (z. B., 2 Sekunden), d. h., wenn der Benutzer seine Gesten zur Handhabungsfunktion starten will, ist die Handfläche vor der Aufnahmevorrichtung (30) ununterbrochen für mehr als 2 Sekunden zu bewegen. Im Bewegungsintensitätsbild bewegt die oben genannte kleinartige Handfläche (bewegliches Objekt (10) hin und her, und der Verlauf des relativ höheren Intensitätswerts E(n) lässt sich auf einem festen Feld oder im Bereich des festen Felds bilden. In den Bildern, die mit der Aufnahmevorrichtung (30) aufgenommen wurden, werden durch Datenbearbeitungsvorrichtung (20) festgestellt, dauert ununterbrochene Gesten für mehr als 2 Sekunden (Schritt 320), wird der Status dieser ununterbrochenen Gesten für über 2 Sekunden lang als ein Ausgangspunkt der Bewegungsbahn zur Verfolgung des beweglichen Objekts (10) markiert (Schritt 420), in diesem Fall wird das Programm für die Input-Schnittstelle zu dem Schritt (Schritt 210), wie in 8 dargestellt ist, umgeschaltet.
-
Anschließend kann der Benutzer die besonderen Gesten vor der Aufnahmevorrichtung (30) bewegen (Schritt 330), in diesem Fall wird die Position des beweglichen Objekts (10) (auch die Handfläche des Benutzers) durch die Datenbearbeitungsvorrichtung (20) nacheinander aufgezeichnet, wobei eine Bewegungsbahn des beweglichen Objekts (10) aufgrund der Änderung der Position analysiert und gleichzeitig die Bewegungsbahn aufgezeichnet wird (Schritt 430).
-
Wenn der Benutzer seine Gesten beendigt hat, kann man nun mit statischen Gesten (Schritt 340) sein, so dass sich bewegliches Objekt (10) über das Programm für die Input-Schnittstelle nicht erfassen lässt. In diesem Fall ist das Programm für die Input-Schnittstelle einzusetzen, um zu erkennen, ob die verfolgte Bewegungsbahn den vordefinierten Gesten entspricht (Schritt 440).
-
Schließlich beendet die Datenbearbeitungsvorrichtung (20) den Kontrollschritt (Schritt 350), und sendet dann einen entsprechenden Eingabebefehl (Schritt 450). Wenn es überhaupt keine vordefinierten Gesten gibt, wird nun hingewiesen, dass es keine Möglichkeit zur Erkennung oder keine Definition besteht.
-
Zum Schluss kehrt das Programm zum ursprünglichen Kreisumlauf zurück, um auf kontinuierliche Gesten (Schritt 320) zu warten. Wenn der Benutzer das Media-Player-Programm ausgeschaltet hat (Schritt 360), wird auch zugleich das Programm für die Input-Schnittstelle abgeschaltet (Schritt 460), um zu vermeiden, dass das Programm weiterhin die Gesten erfasst, wodurch der normale Betrieb der Datenbearbeitungsvorrichtung (20) beeinträchtigt wird.
-
Es werden durch die Erfindung kontinuierliche dynamische Bilder in mehrere Felder gegliedert, um die Position des beweglichen Objekts (10) zu verfolgen. Allerdings besetzt das bewegliche Objekt (10) gleichzeitig einen teilweisen Bereich von mehreren benachbarten Feldern, was zum Fehler bei der Feststellung der örtlichen Korrelation führt, so dass ein größeres Gefälle zwischen der aktuellen Position des beweglichen Objekts (10) und der durch das System festgestellten Position vorliegt, was daher zur Beeinträchtigung der Energieabschätzung des Bewegungsintensitätsbild führt. Allerdings wenn die abgeschnitten Felder verkleinert werden, muss Zahl zum Vergleich zugenommen werden, so dass Operationen belastet werden, daher kann die Analyse kontinuierlicher dynamischer Bilder nur mittels Hardware mit relativ höherer Operationsleistung durchgeführt werden.
-
Zum Lösen des vorstehenden Problems bietet die vorliegende Erfindung ein Suchprogramm, das in der Form der Suchphasen ausgeführt wird, um die örtliche Korrelation des Feldes zu berechnen, und gleichzeitig werden die Suchebereiche vergrößert, ohne Operationen hinzuzufügen.
-
Anhand 10 ist zu sehen, dass diese Felder in ein erstes Feld 1 mit mehreren Feldern und ein zweites Feld 2 mit mehreren Feldern durch Datenbearbeitungsvorrichtung (20) gegliedert werden, bevor die Suche mit dem örtlichen Korrelationsteil Corr(n) erfolgt. Ein oben genanntes erstes Feld 1 und das zweite Feld 2 sind in Form eines zweidimensionalen Matrix-Systems dargestellt, und zwar sind das erste Feld 1 und das zweite Feld 2 rechteckig. In der gleichen Dimension befindet sich mindestens ein zweites Feld 2 zwischen den ersten Feldern 1, und zudem wird jedes erste Feld 1 mit 8 Stück von zweiten Feldern umgeben.
-
Anhand 11 ist zu sehen, dass durch die Datenbearbeitungsvorrichtung (20) mehrere dritte Felder 3 definiert werden. Die Größe des jeweiligen dritten Felds 3 ist gleich wie die des ersten Felds 1 und zweiten Felds. Ferner befindet sich Form-Mittel des jeweiligen dritten Felds 3 auf erstem Feld 1 oder an der Kantenlinie bzw. am Endpunkt der Kantenlinie des zweiten Felds.
-
Anhand 12 ist zu sehen, dass bei der Prüfung des örtlichen Korrelationsteils Corr(n) die Datenbearbeitungsvorrichtung (20) im Voraus nach dem ersten Feld 1 zu suchen beginnt, um den größten annähernden Grad n1 des ersten Felds 1 zu finden und den annähernden Grad als den Korrelationsteil Corr(n1) eines ersten Felds zu definieren: Corr(n1) = max{Sim〈Vect-1(n), Vect(1)〉}
-
Danach wird durch die Datenbearbeitungsvorrichtung (20) nach dem zweiten Feld 2 um das erste Feld n1 herum mit dem Korrelationsteil Corr(n1) des ersten Felds gesucht, um den größten annähernden Grad n2 des zweiten Felds 2 zu finden, und zwar ist der annähernde Grad als der Korrelationsteil Corr(n2) eines zweiten Felds zu definieren: Corr(n2) = max{Sim〈Vect-1(n), Vect(2)〉}
-
Durch die Datenbearbeitungsvorrichtung (20) wird der Vergleich mit dem Korrelationsteil Corr(n1) des ersten Felds zu dem Korrelationsteil Corr(n2) des zweiten Felds gezogen; wenn der Korrelationsteil Corr(n1) des ersten Felds größer als der Korrelationsteil Corr(n2) des zweiten Felds ist, ist der Korrelationsteil Corr(n1) des ersten Felds als der örtliche Korrelationsteil Corr(n) zu entnehmen, und es wird mit dem ersten Feld n1 mit dem Korrelationsteil Corr(n1) des ersten Felds als die Position des beweglichen Objekts (10) in nächstem Zeitpunkt t angesehen.
-
Dagegen, wenn der Korrelationsteil Corr(n2) des zweiten Felds größer als der Korrelationsteil Corr(n1) des ersten Felds ist, wird durch die Datenbearbeitungsvorrichtung (20) weiterhin nach dem dritten Feld 3 um das zweite Feld n2 herum mit dem Korrelationsteil Corr(n2) des zweiten Felds gesucht, um den größten annähernden Grad n3 des dritten Felds 3 zu finden, und zwar ist der annähernde Grad als der Korrelationsteil Corr(n3) des dritten Felds zu definieren: Corr(n3) = max{Sim〈Vect-1(n), Vect(3)〉}
-
Durch die Datenbearbeitungsvorrichtung (20) wird nun der Vergleich mit dem Korrelationsteil Corr(n2) des zweiten Felds zu dem Korrelationsteil Corr(n3) des dritten Felds gezogen; wenn der Korrelationsteil Corr(n2) des zweiten Felds größer als der Korrelationsteil Corr(n3) des dritten Felds ist, ist der Korrelationsteil Corr(n2) des zweiten Felds als der örtliche Korrelationsteil Corr(n) zu entnehmen, und wird mit dem zweiten Feld n2 mit dem Korrelationsteil Corr(n2) des zweiten Felds als die Position des beweglichen Objekts (10) zum nächstem Zeitpunkt t angesehen.
-
Dagegen, wenn der Korrelationsteil Corr(n3) des dritten Felds größer als der Korrelationsteil Corr(n2) des zweiten Felds ist, wird durch die Datenbearbeitungsvorrichtung (20) der Korrelationsteil Corr(n3) des dritten Felds als der örtliche Korrelationsteil Corr(n) entnommen, und mit dem dritten Feld n3 mit dem Korrelationsteil Corr(n3) des dritten Felds wird als die Position zum nächsten Zeitpunkt t des beweglichen Objekts (10) angesehen. Das dritte Feld n3 mit dem Korrelationsteil Corr(n3) des dritten Felds ist auf dem benachbarten ersten Feld 1 und denn zweiten Feld 2 überlappt. Wenn im dritten Feld n3 die Position des beweglichen Objekts (10) dargestellt wird, ist daher zu sehen, dass das bewegliche Objekt (10) durchschnittlich das benachbarte erste Feld 1 und das zweite Feld 2 besetzt, wenn im dritten Feld n3 das bewegliche Objekt (10) dargestellt wird, kann doch noch nahe an der wahrhaften Position des beweglichen Objekts (10) liegen.
-
Die Erfindung integriert die aus dem beweglichen Objekt (10) ergebene Aktivität Active(n) mit dem durch die Änderung der Position des beweglichen Objekts (10) örtlichen Korrelationsteil Corr(n), um das bewegliche Objekt (10) in kontinuierlichen dynamischen Bildern zu erfassen und zu lokalisieren. Im Vergleich zum bekannten Stand der Technik ist für diese Erfindung keine Entfernung des Hintergrunds erforderlich, so dass die Verfolgungsvorgänge des beweglichen Objekts (10) bis zu zwei separaten Vorgängen vereinfacht werden können, und zwar kann das bewegliche Objekt (10) durch relativ niedrige Operationsressourcen sehr schnell räumlich platziert werden.
-
Ferner bestehen unter Berücksichtigung der Tatsache der Gesten-Kontrolle gemäß der Erfindung doch noch die Verformung der Gesten in kontinuierlichen dynamischen Bildern und die durch das Hintergrund-Licht verursachte Änderung, so wird daher durch die Erfindung beschrieben, dass die kontinuierlichen dynamischen Bilder in mehrere Felder gegliedert werden, so dass die Änderung in der Tatsache zulässig ist und zudem mit schneller Operationsgeschwindigkeit betrieben wird.
-
Bezugszeichenliste
-
- 10
- bewegliches Objekt
- 20
- Datenbearbeitungsvorrichtung
- 30
- Aufnahmevorrichtung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- CN 393629 [0003]
- CN 224288 [0003]
- CN 1298461 [0003]
- CN 1274296 [0004]
- US 5594769 [0004, 0004]