DE102015105161B4

DE102015105161B4 - Eine Vorrichtung und ein Verfahren zum Detektieren einer Bewegung eines Objekts in einem Zielraum

Info

Publication number: DE102015105161B4
Application number: DE102015105161.3A
Authority: DE
Inventors: Johannes Grünwald
Original assignee: Infineon Technologies AG
Current assignee: Infineon Technologies AG
Priority date: 2014-04-15
Filing date: 2015-04-02
Publication date: 2022-11-10
Anticipated expiration: 2035-04-03
Also published as: CN105005043A; US20150294142A1; DE102015105161A1; US9785824B2; CN105005043B

Abstract

Eine Vorrichtung (100A) zum Detektieren einer Bewegung eines Objekts in einem Zielraum, wobei sich das Objekt in einem Abstand von einer Bilderfassungsvorrichtung befindet, die ausgebildet ist, um den Abstand zu messen und um ein Sensorsignal bereitzustellen, das auf den Abstand hinweist, wobei das Sensorsignal (105) in eine Zerlegung zerlegbar ist, die ungerade Harmonische umfasst, wenn das Objekt in Ruhe ist, die Vorrichtung umfassend:ein Bestimmungsmodul (110A), das ausgebildet ist, um das Sensorsignal (105) zu empfangen und um zumindest ein Bewegungssignal (115) basierend auf zumindest einer geraden Harmonischen der Zerlegung des Sensorsignals zu erzeugen;ein Detektionsmodul (120A), das ausgebildet ist, um die Bewegung des Objekts basierend auf dem zumindest einen Bewegungssignal (115) zu detektieren und um ein Detektionssignal (125) bereitzustellen, das die Bewegung des Objekts anzeigt; undwobei die Bilderfassungsvorrichtung ausgebildet ist, um ein Bild zu erfassen, das eine Mehrzahl von Pixeln aufweist, und wobei das Bestimmungsmodul (110A) ausgebildet ist, um das Sensorsignal zu empfangen und um das Bewegungssignal (115) für jedes Pixel der Mehrzahl von Pixeln zu erzeugen, ohne sich auf benachbarte Pixel der Mehrzahl von Pixeln zu stützen.

Description

GEBIET
Die vorliegende Offenbarung bezieht sich auf eine Vorrichtung und ein Verfahren zum Detektieren einer Bewegung eines Objekts in einem Zielraum und insbesondere eine pixelbasierte und speicherlose, chipintegrierte Messung von Bewegungsartefakten bei der Laufzeit-Bilderzeugung (Time-Of-Flight (ToF) imaging).
HINTERGRUND
In letzter Zeit besteht ein wachsendes Interesse an dreidimensionalen Bilderzeugungstechniken, wie beispielsweise ToF. Um jedoch den Abstand von der Bilderzeugungsvorrichtung zu einem Objekt in der Szene korrekt zu bestimmen, ist es notwendig, eine Abstandsmessung auszuführen, die typischerweise ein gewisse Zeitdauer in Anspruch nimmt. Dagegen können, wenn sich das Objekt während dieser gewissen Zeitdauer bewegt, Artefakte erzeugt werden, weil das Objekt während der Bewegung seine Position ändert und nicht eindeutig definiert werden kann, wo sich das Objekt befindet. Solche Artefakte müssen berücksichtigt werden, wenn das dreidimensionale Bild weiter verarbeitet werden soll.
DE 10 2009 016 480 A1 offenbart ein Radarsystem zur Umfelderfassung offenbart, das Objekte detektiert und jeweils wenigstens ein Objektmaß wie z.B. Entfernung, Relativgeschwindigkeit, azimutaler Winkel zum Radarsystem bestimmt, wobei die Bestimmung wenigstens eines dieser Objektmaße nicht über seinen gesamten Messbereich eindeutig ist.
GRÜNWALD, Johannes: Investigation of Systematic Errors in Time-of-Flight Imaging. Graz, 2013. 81 S. - Graz, Univ., Master, 2013 offenbart verschiedene Methoden welche den distanzabhängigen Fehler (Wiggling Error) bei Time-of-Flight bildgebenden Verfahren signifikant reduzieren. Ferner wird eine weitere Reduktion des Wiggling Errors wurde der adaptive super-resolution (ASR) Algorithmus offenbart. Durch Kombination zweier aufeinanderfolgender Aufnahmen kann die spektrale Auflösung verdoppelt werden, was nur unwesentlich erhöhte Systemkomplexität nach sich zieht. Aliasing-Artefakte können dadurch um den Faktor 9 (bei 5 MHz) bis 34 (bei 20 MHz) reduziert werden, wobei zweiterer Fall einer vollständigen Eliminierung des Wiggling Errors gleichzusetzen ist.
ZUSAMMENFASSUNG
Es besteht ein Bedarf zum Bereitstellen eines verbesserten Konzeptes für eine Vorrichtung zum Detektieren einer Bewegung eines Objekts in einem Zielraum und für ein System.
Solch ein Bedarf kann durch den Gegenstand eines der Ansprüche gedeckt werden.
Es besteht ein Bedarf zum Bereitstellen einer Vorrichtung und eines Verfahrens zum Detektieren einer Bewegung eines Objekts in einem Zielraum, um es einer Bilderfassungsvorrichtung zu ermöglichen, Bewegungsartefakte zu berücksichtigen.
Die vorliegende Offenbarung bezieht sich auf eine Vorrichtung zum Detektieren einer Bewegung eines Objekts in einem Zielraum, wobei sich das Objekt in einem Abstand von einer Bilderfassungsvorrichtung befindet, die ausgebildet ist, um den Abstand zu messen und um ein Sensorsignal bereitzustellen, das auf den Abstand hinweist, wobei das Sensorsignal in eine Zerlegung zerlegbar ist, die ungerade Harmonische umfasst, wenn das Objekt in Ruhe ist. Die Vorrichtung umfasst: ein Bestimmungsmodul, das ausgebildet ist, um das Sensorsignal zu empfangen und um zumindest ein Bewegungssignal basierend auf zumindest einer geraden Harmonischen der Zerlegung des Sensorsignals zu erzeugen. Die Vorrichtung umfasst ferner ein Detektionsmodul, das ausgebildet ist, um die Bewegung des Objekts basierend auf dem zumindest einen Bewegungssignal für jeden Rahmen zu detektieren und um ein Detektionssignal bereitzustellen, das die Bewegung des Objekts anzeigt.
Die vorliegende Offenbarung bezieht sich ferner auf eine Vorrichtung zum Detektieren einer Bewegung eines Objekts in einem Zielraum, wobei sich das Objekt in einem Abstand von einer Bilderfassungsvorrichtung befindet, die ausgebildet ist, um eine Welle zu emittieren und eine reflektierte Welle zu empfangen, die an dem Objekt reflektiert wird, um ein Bild von dem Objekt zu erfassen, wobei die Bilderfassungsvorrichtung ferner ausgebildet ist, um ein Sensorsignal bereitzustellen, das von der reflektierten Welle abhängt, wobei die emittierte Welle eine vorbestimmte Wellenlänge umfasst und das Bild eine Mehrzahl von Pixeln umfasst. Die Vorrichtung umfasst ein Kombinationsmodul, das ausgebildet ist, um das Sensorsignal als eine Mehrzahl von Abtastwerten, die der vorbestimmten Wellenlänge zugeordnet sind, zu empfangen und um eine Kombination der Mehrzahl von Abtastwerten zu bilden, derart, dass die Kombination einen vorbestimmten Wert umfasst, wenn das Objekt in Ruhe ist. Die Vorrichtung umfasst ferner ein Detektionsmodul, das ausgebildet ist, um eine Abweichung von dem vorbestimmten Wert der Kombination zu detektieren, die die Bewegung des Objekts anzeigt, wobei das Detektionsmodul ferner ausgebildet ist, um ein Detektionssignal auszugeben, das die detektierte Abweichung von dem vorbestimmten Wert als ein Signal anzeigt, das die Bewegung des Objekts anzeigt.
Die vorliegende Offenbarung bezieht sich ferner auf ein Verfahren zum Detektieren einer Bewegung eines Objekts in einem Zielraum, wobei sich das Objekt in einem Abstand von einer Bilderfassungsvorrichtung befindet, die ausgebildet ist, um den Abstand zu messen und ein Sensorsignal bereitzustellen, das auf den Abstand hinweist, wobei das Sensorsignal in eine Zerlegung zerlegbar ist, die ungerade Harmonische umfasst, wenn das Objekt in Ruhe ist. Das Verfahren umfasst das Empfangen des Sensorsignals, das eine beliebige Anzahl von im Wesentlichen äquidistant abgetasteten Werten pro Rahmen umfasst; das Erzeugen von zumindest einem Bewegungssignal, basierend auf zumindest einer geraden Harmonischen, in der Zerlegung des Sensorsignals; und das Detektieren der Bewegung des Objekts basierend auf dem zumindest einen Bewegungssignal und Bereitstellen eines Detektionssignals, das die Bewegung des Objekts anzeigt.
Figurenliste
Einige Beispiele von Vorrichtungen und/oder Verfahren werden nachfolgend nur beispielhaft und unter Bezugnahme auf die beiliegenden Figuren beschrieben, in denen:

1A ein Blockdiagramm einer Vorrichtung zum Detektieren einer Bewegung eines Objekts zeigt;
1B ein Blockdiagramm einer weiteren Vorrichtung zum Detektieren einer Bewegung eines Objekts zeigt;
2 ein System zeigt, das die Vorrichtung zum Detektieren der Bewegung des Objekts umfasst;
3 eine Abstandsmessung unter Verwendung einer Sensorantwortfunktion darstellt;
4 ein Bewegungsartefakt darstellt, das durch eine Bewegung des Objekts verursacht wird;
5 eine Sensorantwortfunktion bezogen auf unterschiedliche Abstände des Objekts darstellt;
6 eine Asymmetrie darstellt, die in die Sensorantwortfunktion aufgrund von Abstandsübergängen während der Abtastprozedur eingeführt wird;
7 die Verbindung zwischen Bewegungsartefakten und geraden Harmonischen darstellt;
8 ein Bild ohne ein sich bewegendes Objekt darstellt;
9 das Bild von 8 mit einer normalen Bewegung des Objekts darstellt;
10 ein Bild mit einem sich stark bewegenden Objekt darstellt;
11 einen Vergleich von Bildern mit sich bewegenden Objekten mit und ohne ein Filtern der Bewegungsartefakte darstellt; und
12 ein Blockdiagramm eines Verfahrens zum Detektieren einer Bewegung eines Objekts in einem Zielraum zeigt.

DETAILLIERTE BESCHREIBUNG
Die ToF (Time-Of-Flight) ist eine 3D-Bilderzeugungstechnik, die auf Ausbreitungsverzögerungsmessungen emittierter (und reflektierter) Wellen, wie beispielsweise Lichtstrahlen, Infrarotstrahlung oder anderen elektromagnetischen Wellen oder Schallwellen, basiert. Die emittierte Welle kann bei einer bestimmten Frequenz fmod (zum Beispiel von 20 kHz bis 100 MHz oder 5 MHz bis 50 MHz oder ungefähr 20 MHz) moduliert werden und die Bilderzeugungsvorrichtung kann einen Sensor aufweisen, der in der Lage ist, zu dem Zeitpunkt der Rückkehr der emittierten Welle, den ausgebreiteten Abstand aus ihrer Phasenverschiebung und der Ausbreitungsgeschwindigkeit der Welle (wie zum Beispiel der Lichtgeschwindigkeit) zu rekonstruieren. Die Phasenverschiebung wird ihrerseits durch ein Korrelieren des einfallenden Signals mit seinem nicht verzögerten Gegenstück geschätzt. Zum Beispiel können die emittierte Welle auf dem Chip oder ihre Phaseninformationen an eine Verarbeitungseinheit übertragen werden, die diese Informationen verwenden kann, um eine Korrelationsfunktion aus der reflektierten Welle zu erzeugen (z. B. durch Kombinieren beider Wellen). Bei diesem Prozess kann die Ausgabe eines Pixels des Bildes durch N äquidistante Abtastwerte der erzeugten Korrelationsfunktion gegeben werden, die auch als die Sensorantwortfunktion (SRF = sensor-response function) bekannt ist. Die Anzahl von Abtastwerten kann durch Schließen eines Kompromisses zwischen der Genauigkeit und dem Rechenaufwand ausgewählt werden. Mögliche Abtastzahlen sind: N = 3, 4, 6, 8, .... Die Form der Sensorantwortfunktion kann zwischen einer dreieckigen und einer sinusförmigen Form variieren, die von der Modulationsfrequenz abhängt.
Verschiedene Beispiele werden nun ausführlicher Bezug nehmend auf die beiliegenden Zeichnungen beschrieben, in denen einige Beispiele dargestellt sind. In den Figuren kann die Dicke der Linien, Schichten und/oder Regionen der Klarheit halber übertrieben sein.
Während dementsprechend verschiedene Abänderungen und alternative Formen von weiteren Beispielen möglich sind, werden Ausführungsbeispiele davon in den Zeichnungen hier ausführlich beschrieben. Es versteht sich jedoch, dass es nicht beabsichtigt ist, Beispiele auf die offenbarten bestimmten Formen zu begrenzen, sondern im Gegensatz die Beispiele alle in den Schutzbereich der Offenbarung fallenden Abänderungen, Entsprechungen und Alternativen abdecken sollen. In der gesamten Beschreibung der Figuren beziehen sich gleiche Ziffern auf gleiche oder ähnliche Elemente.
Es versteht sich, dass wenn ein Element als mit einem anderen Element „verbunden“ oder „gekoppelt“ bezeichnet wird, es direkt mit dem anderen Element verbunden oder gekoppelt sein kann oder Zwischenelemente vorhanden sein können. Wenn im Gegensatz ein Element als „direkt“ mit einem anderen Element „verbunden“ oder „gekoppelt“ bezeichnet wird, sind keine Zwischenelemente vorhanden. Sonstige zum Beschreiben des Verhältnisses zwischen Elementen benutzte Worte sollten auf gleichartige Weise ausgelegt werden (z. B. „zwischen“ gegenüber „direkt zwischen“, „benachbart“ gegenüber „direkt benachbart“ usw.).
Die hier angewandte Terminologie bezweckt nur das Beschreiben bestimmter Ausführungsbeispiele und soll nicht begrenzend für weitere Beispiele sein. Nach hiesigem Gebrauch sollen die Einzelformen „ein, eine“ und „das, der, die“ auch die Pluralformen umfassen, wenn der Zusammenhang nicht deutlich sonstiges anzeigt. Es versteht sich weiterhin, dass die Begriffe „umfasst“, „umfassend“, „aufweisen“ und/oder „aufweisend“ bei hiesigem Gebrauch das Vorhandensein angegebener Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Bestandteile angeben, aber nicht das Vorhandensein oder die Zufügung eines oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Elemente, Bestandteile und/oder Gruppen derselben ausschließen.
Sofern nicht anderweitig definiert besitzen alle hier benutzten Begriffe (einschließlich technischer und wissenschaftlicher Begriffe) die gleiche Bedeutung wie sie gewöhnlich von einem Durchschnittsfachmann auf dem Gebiet verstanden wird, zu dem Beispiele gehören. Weiterhin versteht es sich, dass Begriffe, z. B. die in gewöhnlich benutzten Wörterbüchern definierten, als eine Bedeutung besitzend ausgelegt werden sollten, die ihrer Bedeutung im Zusammenhang der entsprechenden Technik entspricht, und nicht in einem idealisierten oder übermäßig formalen Sinn ausgelegt werden, sofern sie nicht ausdrücklich so definiert sind.
1A zeigt eine Vorrichtung 100A zum Detektieren einer Bewegung eines Objekts in einem Zielraum, wobei das Objekt sich in einem Abstand von einer Bilderfassungsvorrichtung befindet, die ausgebildet ist, um den Abstand zu messen und ein Sensorsignal bereitzustellen, das auf den Abstand hinweist. Das Sensorsignal 105 ist in eine Zerlegung zerlegbar, die Harmonische ungerader Ordnung einer (identifizierten) Grundwelle umfasst, wenn das Objekt in Ruhe ist (im Verhältnis zu der Bilderfassungsvorrichtung). Die Vorrichtung 100A umfasst ein Bestimmungsmodul 110A, das ausgebildet ist, um das Sensorsignal 105 zu empfangen und um zumindest ein Bewegungssignal 115A basierend auf zumindest einer Harmonischen geradzahliger Ordnung der (identifizierten) Grundwelle der Zerlegung des Sensorsignals 105 zu erzeugen, und ein Detektionsmodul 120A, das ausgebildet ist, um die Bewegung des Objekts basierend auf dem zumindest einen Bewegungssignal 115 zu detektieren und, wenn die Bewegung detektiert worden ist, ein Detektionssignal 125 bereitzustellen, das die Bewegung des Objekts anzeigt.
Es versteht sich, dass bei einer realen Detektion ungerade und gerade Harmonische immer vorhanden sein können (z. B. aufgrund von Rausch- und/oder Signalverarbeitung) und dass nur ein Typ einer Harmonischen berücksichtigt wird, der sich zum Beispiel auf eine idealisierte Situation bezieht. Daher kann man sich bei Bezugnahme auf eine Zerlegung, die nur ungerade Harmonische umfasst, wenn das Objekt in Ruhe ist, auf die Situation beziehen, in der der Beitrag gerader Harmonischer unter einem vorbestimmten Schwellenwert (z. B. unter 1 % oder unter 10 % eines Gesamtsignals) ist, so dass der Beitrag der geraden Harmonischen zum Beispiel vernachlässigt oder als Rauschen angesehen werden kann.
Zum Beispiel bestimmt das Bestimmungsmodul 110 oder das Detektionsmodul 120, ob ein Abschnitt von Harmonischen geradzahliger Ordnung einer Grundwelle innerhalb einer Zerlegung des Sensorsignals über oder unter einer vorbestimmten Schwelle ist. Zum Beispiel kann der Abschnitt von Harmonischen geradzahliger Ordnung einer Grundwelle innerhalb einer Zerlegung des Sensorsignals unter der vorbestimmten Schwelle für ein ruhendes Objekt sein, und der Abschnitt von Harmonischen geradzahliger Ordnung einer Grundwelle innerhalb einer Zerlegung des Sensorsignals kann über der vorbestimmten Schwelle für ein sich bewegendes Objekt sein.
Bei der Vorrichtung 100A ist die Bilderfassungsvorrichtung 200 optional ausgebildet, um ein Bild zu erfassen, das eine Mehrzahl von Pixeln umfasst, und das Bestimmungsmodul 110A ist optional ausgebildet, um das Sensorsignal 105 zu empfangen und um das Bewegungssignal 115A für jedes Pixel aus der Mehrzahl von Pixeln zu erzeugen, ohne sich auf benachbarte Pixel der Mehrzahl von Pixeln zu verlassen.
Bei der Vorrichtung 110A ist die Bilderfassungsvorrichtung 200 optional ausgebildet, um eine Welle 210e zu emittieren, um eine reflektierte Welle 210r zu empfangen, die an dem Objekt 102 reflektiert wird, um ein Bild von dem Objekt 102 zu erfassen, und optional um das Sensorsignal 105 als eine Sensorantwortfunktion bereitzustellen. Die Vorrichtung 100A kann ferner ein Abtastmodul umfassen, das ausgebildet ist, um das Sensorsignal 105 abzutasten, derart, dass zumindest ein Abschnitt jeder Wellenlänge der reflektierten Welle 210r durch N Werte abgetastet wird.
Bei der Vorrichtung 100A kann die Anzahl von N Abtastwerten optional gerade sein und die zumindest eine gerade Harmonische weist die Ordnung N/2 auf.
Bei der Vorrichtung 100A ist das Bewegungssignal 115A optional nur aus den N Abtastwerten hergeleitet, die dem zumindest einen Abschnitt jeder abgetasteten Wellenlänge der reflektierten Welle 210r zugeordnet sind.
Bei der Vorrichtung 100A ist die zumindest eine gerade Harmonische bei dem Bewegungssignal 115A optional die zweite Harmonische.
Bei der Vorrichtung 100A umfasst die zumindest eine gerade Harmonische bei dem Bewegungssignal 115A optional wiederum die nullte Harmonische, die einen Versatz darstellt.
Ein Beispiel bezieht sich auf eine Vorrichtung 100 zum Detektieren einer Bewegung eines Objekts in einem Zielraum, wobei sich das Objekt in einem Abstand von einer Bilderfassungsvorrichtung befindet, die ausgebildet ist, um den Abstand zu messen und um ein Sensorsignal bereitzustellen, das auf den Abstand hinweist. Das Sensorsignal 105 ist in eine Zerlegung zerlegbar, die nur ungerade Harmonische umfasst, wenn das Objekt in Ruhe ist. Die Vorrichtung 100 umfasst ein Bestimmungsmodul 110, das ausgebildet ist, um das Sensorsignal 105 zu empfangen und um zumindest ein Bewegungssignal 115 zu erzeugen, das von zumindest einer geraden Harmonischen der Zerlegung des Sensorsignals 105 abhängt, und ein Detektionsmodul 120, das ausgebildet ist, um die Bewegung des Objekts basierend auf dem zumindest einen Bewegungssignal 115 zu detektieren, und, wenn die Bewegung detektiert worden ist, um ein Detektionssignal 125, das die Bewegung des Objekts anzeigt, bereitzustellen.
1B zeigt eine weitere Vorrichtung 100B zum Detektieren einer Bewegung eines Objekts in einem Zielraum, die ein Kombinationsmodul 110B und ein Detektionsmodul 120B umfasst. Das Objekt befindet sich in einem Abstand von einer Bilderfassungsvorrichtung (nicht gezeigt und kann oder kann nicht Teil der Vorrichtung 100B sein), die ausgebildet ist, um eine Welle zu emittieren und eine reflektierte Welle zu empfangen, die an dem Objekt reflektiert wird, um ein Bild von dem Objekt zu erfassen. Die Bilderfassungsvorrichtung ist ferner ausgebildet, um ein Sensorsignal bereitzustellen, das von der reflektierten Welle abhängt, wobei die emittierte Welle eine vorbestimmte Wellenlänge umfasst und das Bild eine Mehrzahl von Pixeln umfasst. Das Kombinationsmodul 110B ist ausgebildet, um das Sensorsignal 105 als eine Mehrzahl von Abtastwerten zu empfangen, die der vorbestimmten Wellenlänge zugeordnet sind, und um eine Kombination 115B der Mehrzahl von Abtastwerten zu bilden, derart, dass die Kombination 115B einen vorbestimmten Wert umfasst, wenn das Objekt in Ruhe ist. Das Detektionsmodul 120B ist ausgebildet, um eine Abweichung von dem vorbestimmten Wert der Kombination 115B zu detektieren, was die Bewegung des Objekts anzeigt, wobei das Detektionsmodul 120B ferner ausgebildet ist, um ein Detektionssignal 125 auszugeben, das die detektierte Abweichung von dem vorbestimmten Wert als ein Signal anzeigt, das die Bewegung des Objekts anzeigt.
Bei der Vorrichtung 100B kann die Kombination 115B von Abtastwerten optional eine gerade Harmonische in einer diskreten Fourier-Zerlegung der Mehrzahl von Abtastwerten darstellen, die aus dem Sensorsignal 105 hergeleitet sind.
Bei der Vorrichtung 100B ist die Kombination 115B von Abtastwerten optional eine Funktion, die von einer alternierenden Summe von aufeinanderfolgenden Abtastwerten abhängt, die innerhalb einer Periode der vorbestimmten Wellenlänge genommen wurden.
Bei der Vorrichtung 100B ist das Detektionsmodul 120B optional wiederum ausgebildet, um eine weitere Kombination der Mehrzahl von Abtastwerten zu erzeugen, die von der Summe aufeinanderfolgender Abtastwerte abhängt, die innerhalb einer Periode der vorbestimmten Wellenlänge genommen wurden.
Bei der Vorrichtung 100A oder der Vorrichtung 100B kann das Detektionsmodul 120A, B ferner ausgebildet sein, um eine Richtung der Bewegung zu detektieren. Diese Detektion kann basierend auf der nullten Harmonischen oder der jeweiligen Kombination von Abtastwerten (z. B. der Summe) durchgeführt werden.
Die Vorrichtung 100A oder die Vorrichtung 100B, wie sie in 1A, 1B dargestellt sind, kann zum Beispiel in ein System 300, wie es in 2 gezeigt wird, eingegliedert sein. Im Einzelnen umfasst das System 400 von 2 eine Bilderfassungsvorrichtung 200, die mit der Vorrichtung 110A gekoppelt ist, um das Sensorsignal 105 bereitzustellen, wobei die Bilderfassungsvorrichtung 200 ausgebildet sein kann, um ein dreidimensionales Bild des Zielraumes zu erfassen (d. h. einschließlich Tiefeninformationen von Objekten in dem Zielraum). Um die Tiefe herzuleiten, umfasst die Bilderfassungsvorrichtung 200 einen Wellenemitter 220 und einen Wellenempfänger 230. Der Wellenemitter 220 ist ausgebildet, um eine Welle 210e in den Zielraum mit einem Objekt 102 in einem Abstand B zu emittieren. Die emittierte Welle 210e breitet sich zu dem Objekt 102 aus, wird zumindest teilweise an dem Objekt 102 reflektiert und kehrt zu der Bilderfassungsvorrichtung 200 als reflektierte Welle 210r zurück. Der Wellenempfänger 230 ist ausgebildet, um die reflektierte Welle 210r von dem Objekt 102 zu empfangen. Die Vorrichtung 100B kann in dem System 400 in gleicher Weise enthalten sein wie die Vorrichtung 100A, d. h. die Vorrichtung 100A kann durch die Vorrichtung 100B ersetzt werden.
Das Objekt 102 befindet sich innerhalb des Zielraumes in dem Abstand B von der Bilderfassungsvorrichtung 200 vor einem Hintergrund 500, der die emittierte Welle 210e ebenfalls reflektieren kann. Die Welle 210 braucht eine Zeitdauer für ihre Ausbreitung entlang ihres Pfades zu und von dem Objekt 102, die verwendet werden kann, um den Abstand B unter Verwendung der Ausbreitungsgeschwindigkeit der Welle zu berechnen. Wenn die Welle zum Beispiel ein Lichtsignal oder ein anderes elektromagnetisches Wellensignal (wie beispielsweise ein Infrarotwellen- oder ein Funkwellensignal) ist, ist die Ausbreitungsgeschwindigkeit die Lichtgeschwindigkeit, während zum Verwenden akustischer Wellen die Ausbreitungsgeschwindigkeit die Geschwindigkeit von akustischen Wellen ist, die sich zum Beispiel in der Luft ausbreiten.
Das reflektierte Wellensignal 210r wird mit dem emittierten Wellensignal 210e korreliert, weil das reflektierte Wellensignal 210r eine verzögerte Version des emittierten Wellensignals 210e ist, das an dem Objekt reflektiert wird. Solange das Objekt 102 in Ruhe ist und sich nicht bewegt, weisen sowohl das emittierte Wellensignal 210e als auch das reflektierte Wellensignal 210r die gleiche Frequenz auf. Beim Ankommen an dem Wellenempfänger 230 kann die Zeitdauer, die das Wellensignal gebraucht hat, um sich von der Bilderfassungsvorrichtung zu dem Objekt 102 zu bewegen und von dem Objekt 102 zu der Bilderfassungsvorrichtung 200 zurückzukehren, basierend auf der Phasenverschiebung des ankommenden Signals der reflektierten Welle 210r an dem Wellenempfänger 230 im Vergleich zu der emittierten Welle 210e gemessen werden. Weitere Einzelheiten werden in Verbindung mit 3 dargelegt.
Die Bilderfassungsvorrichtung 200 leitet Informationen über zumindest einen Teil des empfangenen Wellensignals 210r (oder eines Signals, das auf diesem Wellensignal basiert) an die Vorrichtung 100A (oder die Vorrichtung 100B) weiter. Zusätzlich können zumindest einige Informationen ebenfalls von dem Lichtemitter 220 an die Vorrichtung 100A (oder die Vorrichtung 100B) gehen. Um zum Beispiel in der Lage zu sein, eine Phasenverschiebung des reflektierten Wellensignals 210r im Vergleich zu dem emittierten Wellensignal 210e zu berechnen, kann zumindest ein Signal, das die Phase der emittierten Welle 210 zu dem Zeitpunkt der Emission (z. B. ein Nulldurchgang des emittierten Lichtsignals 211) anzeigt, als Teil des Sensorsignals 105 an die Vorrichtung 100A (oder die Vorrichtung 100B) weitergeleitet werden, oder kann irgendwie (z. B. als Sensorantwortfunktion) in das Sensorsignal 105 eingegliedert werden. Die Bilderfassungsvorrichtung 200 kann ferner ein Verarbeitungsmodul 240 umfassen, das ausgebildet ist, um das reflektierte Wellensignal 210r und das emittierte Wellensignal 210e (oder das Signal, das anzeigend für seine Phase ist) zu empfangen, und kann ferner ausgebildet sein, um eine Korrelationsfunktion (die Sensorantwortfunktion (SRF)) basierend auf den empfangenen Signalen zu bestimmen. Die Korrelationsfunktion kann als ein diskreter Satz von Abtastwerten x[n] erhalten werden, die durch Abtasten der Korrelationsfunktion (siehe Gleichungen unten) erhalten wurden. Bei einem anderen Beispiel kann das Abtasten der Sensorantwortfunktion durch ein optionales Abtastmodul durchgeführt werden, das in der Vorrichtung 100A, B enthalten ist, in welchem Fall Signale von dem Wellenempfänger 230 und dem Wellenemitter 220 zu der Vorrichtung 100A (oder der Vorrichtung 100B) weitergeleitet werden können, ohne durch das Verarbeitungsmodul 240 vorverarbeitet zu werden, um die Sensorantwortfunktion zu erzeugen. Die Verarbeitungseinheit 240 kann ferner angepasst sein, um die Phasendifferenz zwischen dem emittierten Wellensignal 210e und dem reflektierten Wellensignal 210r und, basierend darauf, den Abstand B zu bestimmen.
Das Sensorsignal 105 aus der Bilderfassungsvorrichtung 200 kann in das Bestimmungsmodul 110A (oder Kombinationsmodul 110B) eingegeben werden, um das Bewegungssignal 115 zu erzeugen, das an das Detektionsmodul 120A, B weitergeleitet wird. Das Detektionsmodul 120A, B ist dann ausgebildet, um eine Komponente des Bewegungssignals 115 zu detektieren, die anzeigend für eine Bewegung des Objekts 102 ist. Diese Bewegung kann sich entweder auf eine Bewegung in einer Längsrichtung (d. h. in der Ausbreitungsrichtung der Welle 210) oder auf eine Querbewegung (senkrecht zu der sich ausbreitenden Welle 210) beziehen. Obwohl sich für eine Querbewegung der Abstand B zu dem Objekt 102 nicht ändert, kann diese Querbewegung zu einer plötzlichen Abstandsänderung führen, wenn die Welle 210 plötzlich an dem Hintergrund und nicht an dem Objekt (an dem Rand des Objekts 210) reflektiert wird. Daher führen diese Querbewegungen insbesondere zu Bewegungsartefakten, die die vorliegende Offenbarung detektiert.
Das Sensorsignal 105 kann abgetastet und in eine Vielzahl von Harmonischen unter Verwendung einer diskreten Fourier-Analyse zerlegt werden. Solange sich das Objekt 102 nicht bewegt und in Ruhe ist, sind zum Beispiel nur ungerade Harmonische in dem Sensorsignal 105 enthalten. Bei einem solchem Aufbau zeigt das Erscheinungsbild von zumindest einem Beitrag einer geraden Harmonischen in der Zerlegung des Sensorsignals 105 eine Bewegung des Objekts 102 an und kann somit zum Beispiel als Detektionssignal 125 verwendet werden. Daher kann das Bestimmungsmodul 110A (oder Kombinationsmodul 110B) eine oder mehrere gerade Harmonische X[2k], oder Funktionen f derselben, als das Bewegungssignal 115 zum Beispiel durch Bilden bestimmter Kombinationen der Abtastwerte x[n] erzeugen.
Das System 400, wie es in 2 dargestellt wird, kann ferner eine optionale Maskierungseinheit 150 umfassen, die ausgebildet ist, um das Detektionssignal 125 zu verwenden, um zumindest Teile des durch die Bilderfassungsvorrichtung 200 aufgenommenen Bildes zu filtern oder zu transformieren, um Bewegungsartefakte in dem Bild zu eliminieren. Die Bilderfassungsvorrichtung 200 kann ferner das Bild Pixel für Pixel erfassen und ein Bild erzeugen, das eine Mehrzahl von Pixeln umfasst. Für jedes der Pixel werden separate Sensorsignale 105 an die Vorrichtung 100A (oder die Vorrichtung 100B) weitergeleitet, um zu detektieren, ob das jeweilige Pixel Gegenstand eines Bewegungsartefakts ist, so dass die Maskierungseinheit 150 das jeweilige Pixel entsprechend behandeln kann.
Bei weiteren Beispielen ist die Bilderfassungsvorrichtung 200 daher ausgebildet, um ein Bild zu erfassen, das eine Mehrzahl von Pixeln umfasst, und wobei das Bestimmungsmodul 110A (oder Kombinationsmodul 110B) ausgebildet ist, um das Sensorsignal 105 zu empfangen und das Bewegungssignal 115 für jedes Pixel der Mehrzahl von Pixeln zu erzeugen, ohne sich auf benachbarte Pixel der Mehrzahl von Pixeln zu stützen.
Allerdings umfasst das System 400 möglicherweise nicht alle gezeigten und beschriebenen Komponenten. Nachfolgend sind einige weitere Beispiele für das System 400 definiert. Das System 400 kann zumindest die Vorrichtung 100A (oder die Vorrichtung 100B); und eine Bilderfassungsvorrichtung 200 zum Erfassen eines dreidimensionalen Bildes eines Zielraumes mit einem Objekt 102 umfassen. Die Bilderfassungsvorrichtung 200 kann ein signalemittierendes Modul 220, das ausgebildet ist, um ein Wellensignal 210e in den Zielraum zu emittieren, und ein signalempfangendes Modul 230, das ausgebildet ist, um ein reflektiertes Wellensignal 210 zu empfangen, das von dem Objekt 102 reflektiert wird, umfassen, wobei die Bilderfassungsvorrichtung 200 ausgebildet ist, um das Sensorsignal 105, das von der reflektierten Welle 210r abhängt, und eine Information, die anzeigend für die Phase des emittierten Wellensignals 210e, bereitzustellen.
Wiederum optional umfasst das System 400 ferner eine Verarbeitungseinheit 240, die ausgebildet ist, um eine Phasendifferenz zwischen dem emittierten Wellensignal 210e und dem reflektierten Wellensignal 210r zu bestimmen und um, basierend darauf, optional den Abstand B zwischen dem System und dem Objekt 102 in dem Zielraum zu bestimmen.
Bei System 400 ist die Bilderfassungsvorrichtung 200 optional ausgebildet, um das Sensorsignal 105 als eine Mehrzahl von Abtastwerten bereitzustellen, derart, dass zumindest ein Abschnitt jeder Wellenlänge der reflektierten Welle 210r durch N Werte abgetastet wird.
Bei System 400 ist das lichtemittierende Modul 220 optional ausgebildet, um ein Wellensignal 210e als ein moduliertes Signal unter Verwendung eines Trägersignals zu emittieren, wobei die Verarbeitungseinheit 240 wiederum optional einen Demodulator umfasst, der ausgebildet ist, um das modulierte Signal herzuleiten, wobei das modulierte Signal eine vorbestimmte Wellenlänge aufweist.
Das System 400 ist optional ausgebildet, um den Abstand B des Objekts 102 bis zu einem maximalen Abstand zu detektieren, wobei die vorbestimmte Wellenlänge optional ausgewählt ist, derart, dass sie länger als der maximale Abstand (d. h. länger als zweimal der maximale Abstand) ist.
Das Objekt 102 befindet sich optional vor einem Hintergrund 500, wobei das System 400 wiederum optional ein Maskierungsmodul 150 umfasst, das ausgebildet ist, um jeden Pixelwert, für den das zumindest eine Bewegungssignal 115A (oder Kombination 115B) einen Wert umfasst, der kleiner oder größer als ein vorbestimmter Schwellenwert ist, auf einen Pixelwert des Hintergrundes 500 einzustellen.
Bei dem System 400 ist das signalempfangende Modul 230 optional ausgebildet, um mehrere Rahmen von Bildern des Zielraumes zu erfassen, wobei die Vorrichtung 100A oder 100B optional ausgebildet ist, um die Bewegung des Objekts 102 innerhalb jedes Rahmens der Mehrzahl von Rahmen zu detektieren. Die Detektion der Bewegung kann erfolgen, ohne sich auf Informationen, die in vorausgehenden oder nachfolgenden Rahmen vorhanden sind, zu stützen.
3 stellt einen Abstandsschätzungsalgorithmus dar, wobei die Phase der Grundwelle (erste Harmonische) berechnet wird und die Abstandsinformationen aus diesem Wert rekonstruiert werden. Im Einzelnen zeigt 3 eine typische Form einer Sensorantwortfunktion als ein Beispiel für das Sensorsignal 105, die die Korrelation zwischen der reflektierten Welle 210r und der emittierten Welle 210e darstellen kann.
Die gezeigte Sensorantwortfunktion kann die Form einer Harmonischen umfassen, die mit der emittierten Welle 210e in Bezug stehen kann oder nicht. Allgemein kann die emittierte Welle 210e mit einem Hochfrequenzträgersignal moduliert werden und stellt das modulierte Niedrigfrequenz-Signal dar. Um eine hohe Empfindlichkeit bei der interessierenden Abstandsregion sicherzustellen, kann die Wellenlänge des Niederfrequenzsignals ausgewählt werden, derart, dass ein typischer Abstand B innerhalb einer Wellenlänge (z. B. in dem Bereich von 5 % bis 90 % der Wellenlänge) ist. Daher kann die Sensorantwortfunktion, wie sie in 3 gezeigt wird, aus der reflektierten Welle nach einer Demodulation hergeleitet werden.
Die Sensorantwortfunktion (gemessen in Einheiten des niederwertigsten Bits (LSB = least significant bit)) kann für jedes Pixel abgetastet werden, das möglicherweise benötigt wird, um die jeweilige Wellenform des Signals, das durch den Wellenempfänger 230 erhalten wird, zu rekonstruieren. In dem vorliegenden Fall werden vier äquidistante Abtastwerte für die Phasenwinkel bei 301 (z. B. 0°), 302 (z. B. 90°), 303 (z. B. 180°) und 304 (z. B. 360°) genommen (die sich auf jeweilige Abtastbeispiele oder Zeitpunkte beziehen). Bei anderen Beispielen kann das empfangene Signal durch mehr oder weniger Abtastwerte abgetastet werden. Zum Beispiel kann die Zahl N von Abtastwerten pro Wellenlänge (z. B. der emittierenden Welle 210e) N = 3, 4, 6, 8 oder jegliche andere, ganze Zahl (größer als 3) sein.
Zusätzlich werden Phaseninformationen, die sich auf die emittierte Welle 210e beziehen, erhalten, um die Phasenverschiebung korrekt zu bestimmen. Zum Beispiel können die Phaseninformationen identifiziert werden, indem (eine Grundwelle und) das Maximum oder Minimum der SRF bestimmt wird. Alternativ dazu können die Phaseninformationen mit einem Nulldurchgang (z. B. durch Vernachlässigen eines Gleichstromversatzes (DC = direct current) kann ein Gleichstromversatz den Nulldurchgang verschieben) des jeweiligen Signals identifiziert werden, so dass die Phase der emittierten Welle 210e mit Linie 310 identifiziert werden kann, was impliziert, dass Linie 310 der Zeit entspricht, als die emittierte Welle 210e einen Phasenwinkel von 360° aufwies. Dagegen hat sich die reflektierte Welle 210r von der Bilderfassungsvorrichtung 200 zu dem Objekt 102 und von dem Objekt 102 zurück bewegt, so dass das Maximum, das Minimum und/oder der Nulldurchgang zu der späteren Zeit 320 auftritt. Diese Phasenverschiebung gibt den Abstand B. Die gezeigte Sensorantwortfunktion, einschließlich der Phasenverschiebung, kann durch die Verarbeitungseinheit 240 bestimmt werden.
Nachfolgend werden die Bewegungsartefakte bei der Laufzeit-Bilderzeugung detaillierter erklärt. Die Tatsache, dass N Abtastwerte der Sensorantwortfunktion sequenziell und nicht gleichzeitig erfasst werden, scheint eine konsistente Messung nur für den Fall zu erlauben, wenn der Abstand zu dem Objekt 102, der durch ein Pixel beobachtet wird, während der Abtastprozedur konstant bleibt. Wenn sich dieser Abstand während dieses Abtastzeitraums ändert, kann die Sensorantwortfunktion inkonsistent werden und Tiefenartefakte könnten eingeführt werden und können unter Verwendung der vorliegenden Offenbarung eliminiert werden.
Der Problempunkt von Bewegungsartefakten adressiert insbesondere den Bereich der Objektdetektion, -erkennung und -verfolgung, was ein Hauptanwendungsgebiet von z. B. Laufzeitkameras ist. Bei diesem Szenario können ein oder mehrere Objekte in dem Vordergrund, die sich potenziell mit einer bestimmten Geschwindigkeit bewegen, erkannt und in Echtzeit verfolgt werden. Es ist offensichtlich, dass aufgrund verfälschter Informationen Bewegungsartefakte den angewandten Algorithmus umfassend in Frage stellen können.
4 zeigt ein Tiefenbild einer sich normal bewegenden Hand, das typische Bewegungsartefakte zeigt, d. h. die Hand ist als ein Beispiel für das Objekt 102 dargestellt, das sich vor dem Hintergrund 500 bewegt. Da sich die Kontur der sich bewegenden Hand 102 auf bestimmte Pixel bezieht, und sich der detektierte Abstand zu dem Objekt 102 / zu dem Hintergrund 500 schnell ändert (von dem Abstand der Hand zu dem Hintergrund oder umgekehrt), unterliegen diese Pixel oder diese Punkte des Bildes Bewegungsartefakten, die die vorliegende Offenbarung detektiert. Die Bewegungsartefakte sind in 4 durch verschwommene Grenzen der gezeigten Hand 102 sichtbar und die Vorrichtung 100A, B ist in der Lage, die jeweiligen Pixel zu identifizieren, um eine entsprechende Maskierung verzerrter Pixel zu ermöglichen.
Wie es vorher dargelegt wurde, treten die Bewegungsartefakte auf, wenn sich der Abstand, der von einem Pixel erfasst wurde, während der Abtastprozedur ändert, und diese Artefakte beziehen sich auf eine Modifikation bei der Sensorantwortfunktion.
5 stellt eine Sensorantwortfunktion SRF eines Objekts in einem großen Abstand A (der obere Graph 510 von 5) im Vergleich zu einem Objekt in einem kleinen Abstand B (der untere Graph 520 in 5) dar. Dazu ist anzumerken, dass, aufgrund der Tatsache, dass die Intensität der emittierten Welle 210e mit dem Quadrat des Abstandes abnimmt, es eine allgemeine Annahme ist, dass größere Abstände Sensorantwortfunktionen mit niedrigeren Amplituden ergeben. Umgekehrt verursachen nahe beieinanderliegende Punkte, wie sie in dem unteren Graph 520 gezeigt sind, im Allgemeinen hohe Amplituden bei der Sensorantwortfunktion.
Die zwei Beispiele der Sensorantwortfunktion in 5 beziehen sich auf den Fall, in dem sich der Abstand des Objekts nicht ändert. Wenn sich allerdings zu den Zeitpunkten, zu denen die Abtastwerte erworben werden, der beobachtete Abstand von A auf B (oder umgekehrt) geändert hat, kann die tatsächliche erfasste Sensorantwortfunktion als eine lineare Kombination (d. h. als eine lineare Ausblendung) der zwei darunterliegenden Sensorantwortfunktionen modelliert werden. Diese Annahme gilt aufgrund der Linearität des optischen Kanals, der ausreichend hohen Linearität des Pixels selbst, und ist eine Folge der „Kontinuität“ des sich bewegenden, physischen Objekts 102.
6 zeigt die sich ergebende Sensorantwortfunktion, d. h. wenn die Sensorantwortfunktion 510 mit der Sensorantwortfunktion 520 kombiniert wird (die auch in 6 gezeigt sind), wobei der gezeigte Graph 620 einer Bewegung des Objekts von dem Abstand A zu dem Abstand B entspricht und der Graph 610 einer Bewegung von dem Abstand B zu dem Abstand A entspricht. Daher kann beobachtet werden, dass die Sensorantwortfunktion in jede Richtung des Übergangs unsymmetrisch (d. h. asymmetrisch) wird.
Die Sensorantwortfunktion kann unter Verwendung einer Fourier-Analyse zerlegt werden, so dass die Sensorantwortfunktion als eine Überlagerung von Harmonischen (d. h. einer Mehrzahl von sin- und cos-Funktionen mit unterschiedlichen Wellenlängen oder Frequenzen) darstellbar ist. Sobald die Sensorantwortfunktion asymmetrisch wird, z. B. sie unter Verwendung von nur ungeraden Harmonischen nicht darstellbar ist, wird das Spektrum somit verzerrt, was impliziert, dass (i) die Phase der Grundwelle keine gültigen Informationen mehr über den Abstand ergibt, und (ii) gerade Harmonische in das Spektrum eingeführt werden. Diese zwei Vorkommnisse sind kausal verknüpft. Folglich stellen gerade Harmonische in dem Spektrum eine verlässliche Information darüber bereit, ob die Abstandsinformationen gültig sind oder nicht. Anders ausgedrückt, sie können ein Maß für die Bewegungsartefakte bereitstellen.
Zusätzlich verschiebt sich der Mittelwert aller Abtastwerte der Sensorantwortfunktion, sobald Bewegungsartefakte auftreten. Dieser Mittelwert wird als sogenannter Gleichstromversatz bezeichnet. Obwohl dieser Mittelwert idealerweise null ist, ist er bei Implementierungen in der realen Welt jedoch ungleich Null. Noch schlimmer, der Gleichstromversatz hängt potenziell willkürlich von der Sensorantwortfunktionsamplitude ab. Dennoch kann er bei besonders sorgfältigem Umgang ebenfalls zuverlässige Informationen über Bewegungsartefakte bereitstellen. Einfachheitshalber und wenn nicht anders angegeben ist im Rest dieser Offenlegung der Gleichstromversatz in dem Begriff „gerade Harmonische“ enthalten. Dies ist auch dadurch begründet, dass der Gleichstromversatz sich auf den 0. Bin der diskreten FourierTransformation (siehe unten) bezieht und den konstanten Teil definiert, der eine gerade Paritätssymmetrie aufweist.
7 stellt das in dieser Offenbarung verwendete Verhältnis zwischen dem Erscheinungsbild von Bewegungsartefakten und dem Auftreten von geraden Harmonischen in einer Zerlegung, wie zum Beispiel der Fourier-Zerlegung (oder einer diskreten Fourier-Analyse oder -Transformation (DFT = discrete Fourier transformation)), dar.
Wie es zuvor darlegt wurde, kann die Korrelation zwischen dem reflektierten Wellensignal 210r und dem emittierten Wellensignal 210e durch eine Korrelationsfunktion ausgedrückt werden und diese Korrelationsfunktion - obwohl sie nicht berechnet oder im Detail bekannt ist - weist die Eigenart auf, dass sie in Erregungen von Harmonischen zerlegt werden kann, was für jedes Pixel des Bildes separat gemacht werden kann, d. h. ohne weitere Kenntnisse über die benachbarten Pixelwerte zu haben. In ähnlicher Weise kann die Bilderfassungsvorrichtung 200 ferner ausgebildet sein, um mehrere Bilder (z. B. als Teil eines Videosignals) zu erfassen und diese mehreren Bilder können auch Rahmen genannt werden (z. B. jedes der Bilder kann einen Rahmen definieren). Für diesen Fall kann die Vorrichtung auch ausgebildet sein, um das Bewegungssignal 115 und das Detektionssignal 125 für jeden Rahmen zu bestimmen, ohne weitere Kenntnisse über die vorherigen Pixelwerte zu haben.
Insbesondere solange sich das Objekt nicht bewegt, können nur ungerade Harmonische in dieser Zerlegung vorhanden sein (z. B. wenn Verzerrungen aufgrund von Rausch- oder Signalverarbeitung vernachlässigt werden). Wenn das Objekt 102 beginnt sich zu bewegen, können sowohl ungerade als auch gerade Harmonische Teil der Fourier-Zerlegung sein. Daher ist die Tatsache, dass nicht nur eine Art der Harmonischen in der Fourier-Zerlegung vorhanden ist, ein klares Anzeichen für eine Bewegung des Objekts 102 und kann als ein Indikator für die Bewegung des Objekts verwendet werden.
Folglich ist der Kern dieser Offenbarung ein Einzel-Rahmen- und pixelbasierter, chipintegrierter Algorithmus zum Messen von Bewegungsartefakten, basierend auf der Berechnung gerader Harmonischer der SRF.
Sehr allgemein formuliert ist ein hergeleiteter Gütefaktor (FoM = figure of merit) für Bewegungsartefakte dann jede Funktion, die durch die geraden Harmonischen der SRF (die durch N äquidistante Abtastwerte gegeben ist) parametrisiert ist, z. B. ${FoM}_{MA} = ƒ (X [0], X [2], X [4], \dots, X [⌊ N / 2 ⌋])$
wobei X[k] sich auf den k. Bin der N-Punkt-DFT der SRF bezieht, d. h. $X [k] = \frac{1}{N} \sum_{n = 0}^{N - 1} x [n] e^{- j \frac{2 ð}{N} k n} \dots k, n \in {0,1, \dots, N - 1} .$
In diesem Zusammenhang stellt n einen Zeitindex dar und k stellt einen Frequenzindex dar. Die Funktion ƒ, die den FoM definiert, kann als das Bewegungssignal 115 der Vorrichtung 100A, B angesehen werden und kann frei gewählt werden. Im einfachsten Fall transformiert die Funktion ƒ die geraden Harmonischen nicht, so dass der FoM durch eines der X[2k] (k=0,1,2, ...) gegeben ist. Bei anderen Beispielen können bestimmte gerade Harmonische durch die Funktion ƒ verstärkt werden, wenn sie von besonderem Interesse sind. Die Funktion ƒ kann zum Beispiel mit polynomischem oder exponentiellem Verhalten implementiert werden, oder kann auch eine Stufenfunktion sein, die eine Schwelle implementiert, über die hinaus eine Bewegung detektiert wird, so dass Rauschen gefiltert werden kann. Diese Schwelle kann für unterschiedliche Harmonische unterschiedlich sein.
Im Ausdruck (2) bezeichnet x[n] die SRF mit dem Abtastindex n, genommen an Referenzphasen $\frac{n}{N} \cdot 360 °$
bzw. $2 ð \frac{n}{N} rad .$
Die Abtastwerte x[n] können als Sensorsignale 105 genommen werden, die in die Vorrichtung 100A, B eingegeben werden, und diese Abtastwerte können von jeglicher Bilderfassungsvorrichtung 200 genommen werden, mit der die Vorrichtung 100A, B gekoppelt ist. Es wird darauf hingewiesen, dass eine N-Punkt-DFT nur gültige Frequenzkomponenten von bis zu [N/2] ergibt.
Die Offenbarung kann auf jeglichem ToF-Bildaufnehmer (d. h. Bilderfassungsvorrichtung 200) implementiert werden, der Rohdaten der SRF als Ausgabe liefert. Eine Realisierung auf einem ToF-System, das mit vier Referenzphasen arbeitet, kann besonders einfach sein. Bei diesem Fall werden die 0. und 2. Harmonische wie folgt berechnet $X [0] = \frac{1}{4} (x [0] + x [1] + x [2] + x [3]),$
$X [2] = \frac{1}{4} (x [0] - x [1] + x [2] - x [3])$
was nur sehr grundlegende, arithmetische Operationen erfordert. Für dieses Beispiel (mit N = 4) können zwei Beobachtungen aus der Fourier-Analyse hervorgehoben werden:
Die zweite Harmonische ist die einzige gerade Harmonische, die berechnet werden kann, und enthält Aliasing-Komponenten aller gerader Harmonischen.
Die zweite Harmonische ist immer reellwertig.
Beobachtung (i) kann einen positiven Effekt haben oder nicht, aber offensichtlich vereinfacht Beobachtung (ii) insbesondere die Berechnung aufgrund des Fehlens komplexer Werte.
Bei einem Beispiel können zwei sehr grundlegende FoM, die das Bewegungssignal 115 definieren, unter Verwendung der Identitätsfunktion für Funktion ƒ in Gleichung (1) definiert werden, d. h. ${FoM}_{MA,4ph_0} = X [0] = \frac{1}{4} (x [0] - x [1] + x [2] - x [3]),$
${FoM}_{MA,4ph_2} = X [2] = \frac{1}{4} (x [0] - x [1] + x [2] - x [3]) .$
Daher kann das Bewegungssignal 115 einfach die Summe oder alternierende Summe der aufeinanderfolgenden Abtastwerte sein. Dazu ist anzumerken, dass keine Absolutwert- oder jeglichen anderen Operationen an den Abtastwerten durchgeführt werden können, so dass das Bewegungssignal 115 durch einfache Berechnungen hergeleitet werden kann.
Bei einem anderen Beispiel kann der Wert N unterschiedlich sein. Zum Beispiel kann N als 8 ausgewählt werden, in welchem Fall die vierte Harmonische reellwertig wäre und als Bewegungssignal 115 geeignet sein kann. Allgemein kann N als geradwertig ausgewählt werden und die Harmonische der Ordnung N/2 kann als Bewegungssignal 115 ausgewählt werden.
Bei wiederum einem anderen Beispiel können diese Werte allerdings unterschiedlich ausgewählt werden. Durch Auswählen einer geradwertigen Zahl von Abtastwerten N kann ein Mischen von geraden und ungeraden Harmonischen aufgrund von Aliasing-Effekten vermieden werden.
Dieses einfache Ergebnis basiert auf der Tatsache, dass gerade Harmonische ein Maß für Bewegungsartefakte sind - sie sind nicht nur eine Schätzung. Der Berechnungsalgorithmus ist statisch und erfordert keine probabilistische(n) Betrachtungen und/oder Parametrisierung. Der angewandte Algorithmus kann chipintegriert auf sehr unkomplizierte Weise implementiert werden. Die Berechnung gerader Harmonischer benötigt weder zusätzliche Speichervorrichtungselemente noch ist eine komplexe Arithmetik erforderlich. Außerdem funktioniert der Ansatz auf einer Pro-Pixel-Basis, somit sind keine Kenntnisse über benachbarte Pixel erforderlich. Der Ansatz basiert einzig auf N Abtastwerten eines aktuellen Rahmens, somit benötigt er keine Informationen über vergangene/zukünftige Rahmen und ist somit speicherlos. Das Maß ist durchgehend und nicht diskret (wie beispielsweise für auf Ereignisdetektion basierende Algorithmen). Folglich enthält sie Informationen über die Schwere von Bewegungsartefakten. Informationen über die Richtung (nah-nach-fern/fern-nach-nah) können ebenfalls extrahiert werden.
Das Potential dieser Offenbarung ist weiterhin offensichtlich aus den in 8 bis 10 gezeigten Ergebnissen.
8 ist ein Tiefenbild einer sich nicht bewegenden Hand 102 (links), während in der Mitte der sich ergebende FoM_{MA,4ph_0} (Gleichstromversatz oder 0. Harmonische) und rechts der sich ergebende FoM_{MA,4ph_2} (2. Harmonische) dargestellt sind.
9 ist ein Tiefenbild einer sich normal bewegenden Hand 102 (links), während wiederum in der Mitte der sich ergebende FoM_{MA,4ph_0} (Gleichstromversatz) und rechts der sich ergebende FoM_{MA,4ph_2} (2. Harmonische) dargestellt sind.
10 ist ein Tiefenbild einer sich stark bewegenden Hand 102 (links), während wiederum in der Mitte der sich ergebende FoM_{MA,4ph_0} (Gleichstromversatz) und rechts der sich ergebende FoM_{MA,4ph_}2 (2. Harmonische) dargestellt sind.
Aus diesen 8 bis 10 kann man herleiten, dass die Informationen, die in der 2. Harmonischen vorhanden sind, in räumlicher Hinsicht wesentlich präziser als der Gleichstromversatz erscheinen, wobei die Richtung der Bewegung (fern-nach-nah gegenüber nah-nach-fern) konsistenter in dem Gleichstromversatz enthalten ist. Allerdings lässt sich bei dem Szenario mit der sich nicht bewegenden Hand 102 sehen, dass der Gleichstromversatz stark durch sich ändernde Amplituden der SRF beeinflusst ist. Außerdem zeigt 8 (Mitte), dass der Gleichstromversatz kein starkes Anzeichen für Bewegungsartefakte ist, weil er selbst für eine Hand in Ruhe (sich nicht bewegende Hand) ungleich Null bleibt, während die zweite Harmonische ein Signal proportional zu dem Bewegungsgrad erzeugt.
Das Verhalten des vorgeschlagenen FoM wurde auf einem standardmäßigen, vierphasigen ToF-System für unterschiedliche Szenarien (keine Bewegung / normale Bewegung / starke Bewegung) bewertet, siehe 8 bis 11. Der Gleichstromversatz der Pixel ist potenziell ungleich Null, so dass eine anfängliche Versatzkalibrierung mit dem Hintergrundbild (d. h. ohne die Hand) durchgeführt werden kann.
Um das Potential des vorgeschlagenen FoM der vorliegenden Offenbarung weiter zu zeigen, sind eine kurze Übersicht und Verhaltensbeurteilung eines Kompensationsalgorithmus bereitgestellt.
Angesichts des aktuellen Szenarios einer sich bewegenden Hand vor einem entfernten Hintergrund kann zum Beispiel entweder der Übergang „fern-nach-nah“ (d. h. von dem Hintergrund zu der Hand) oder „nah-nach-fern“ (d. h. von der Hand zu dem Hintergrund) detektiert werden. Nach der Detektion kann eine Ersetzung der jeweiligen Pixel vorgenommen werden. Zum Beispiel können die Tiefenwerte der betroffenen Pixel durch Hintergrundinformationen (depth_background; depth = Tiefe, background = Hintergrund)], wenn diese Informationen bekannt sind, oder ansonsten durch einen anderen Wert als den Tiefenwert der Hand ersetzt werden.
Bei der Detektionsprozedur kann eine entsprechende Binärschwelle (FOM_THRESHOLD; FOM = Gütefaktor (figure of merit), threshold = Schwelle) auf den FoM der 2. Harmonischen angewandt werden, was eine Maske ergibt, bei der Artefakte unterdrückt werden können oder nicht. Zum Beispiel gilt für jedes Pixel an der Position (x, y)

          if(FoM(x,y) > FOM_THRESHOLD)
          depth(x,y) = depth_background(x,y),

was den Tiefenwert des jeweiligen Pixels auf den Hintergrundwert einstellt, wenn zum Beispiel die zweite Harmonische X[2] größer als die Binärschwelle ist.

11 zeigt die Ergebnisse dieses sehr einfachen Unterdrückungsalgorithmus für jedes Szenario (Zeilen). Die oberste Zeile zeigt die sich nicht bewegende Hand, die mittlere Zeile die sich normal bewegende Hand und die untere Zeile die sich stark bewegende Hand. Die Bilder in der äußersten linken Spalte sind die jeweiligen Tiefenbilder und die Bilder in der zweiten Spalte (von links) sind verarbeitete Tiefenbilder. Die Bilder in den rechten Spalten zeigen das Ergebnis der sehr grundlegenden, binären Segmentierung mit einer entsprechenden Schwelle, d. h. die dritte Spalte (von links) zeigt das Segmentierungsergebnis für die Originaltiefenbilder und die vierte Spalte (von links) zeigt die verarbeiteten Segmentierungsergebnisse. Diese Segmentierung kann wiederum erhalten werden, indem Pixelwerte, für die FoM (z. B. X[2]) größer als die Schwelle ist, auf die Hintergrundwerte eingestellt werden. Die Segmentierungsergebnisse in beiden Spalten auf der rechten Seite können durch eine einfache, binäre Segmentierung erhalten werden (um die Werte auf „0“ für den Hintergrund oder auf „1“ für die Hand einzustellen), z. B. definiert durch:

          if(depth(x,y) < DEPTH_THRESHOLD)
          hand_segmented(x,y) = 1; // Hand

           else

          hand_segmented(x,y) = 0; // Background. 


          (segmented = segmentiert)

Die verarbeiteten Spalten (die zweite und vierte Spalte) in 11 zeigen an, dass Bewegungsartefakte gemäß dem vorliegenden Algorithmus unterdrückt wurden. Es ist offensichtlich, dass Bewegungsartefakte deutlich reduziert sind, selbst im Fall einer sich stark bewegenden Hand.

Die beschriebene Implementierung verwendet statische Informationen über den Hintergrund, die wahrscheinlich entweder nicht geeignet (sich bewegender Hintergrund) oder nicht durchführbar (Speichergrenzen) sind. Es kann hervorgehoben werden, dass ein Konzept eines ausgefeilteren und effizienteren Unterdrückungsalgorithmus entwickelt werden kann. Es benötigt keinen zusätzlichen Speicher, sondern stützt sich einzig auf Tiefeninformationen, die von einem vergangenen Rahmen noch in dem Speicher sind.

12 zeigt ein Flussdiagramm eines Verfahrens 700 zum Detektieren einer Bewegung eines Objekts 102 in einem Zielraum, wobei das Objekt 102 sich in einem Abstand B von einer Bilderfassungsvorrichtung 200 befindet, die ausgebildet ist, um den Abstand B zu messen und um ein Sensorsignal 105 bereitzustellen, das anzeigend für den Abstand B ist. Das Sensorsignal 105 ist in eine Zerlegung zerlegbar, die das Verwenden ungerader Harmonischer umfasst, wenn das Objekt 102 in Ruhe ist. Das Verfahren 700 umfasst das Empfangen S110 des Sensorsignals 105; das Erzeugen S120 von zumindest einem Bewegungssignal 115, das von zumindest einer geraden Harmonischen abhängt, in der Zerlegung des Sensorsignals 105; und das Detektieren S130 der Bewegung des Objekts 102 basierend auf dem zumindest einen Bewegungssignal 115 und das Bereitstellen eines Detektionssignals 125, das die Bewegung des Objekts 102 anzeigt.

Bei Verfahren 700 ist die Bilderfassungsvorrichtung 200 optional ausgebildet, um ein Bild zu erfassen, das eine Mehrzahl von Pixeln umfasst, und wobei das Sensorsignal 105 optional Pixelwerte für jedes Pixel der Mehrzahl von Pixeln umfasst, wobei zumindest einer der Schritte des Empfangens S110, des Erzeugens S120 und des Detektierens S130 optional basierend einzig auf Pixelwerten eines Pixels ausgeführt wird.

Zusammenfassend beschreibt diese Offenbarung einen schnellen und stabilen Weg, um die beschriebenen Bewegungsartefakte zu messen, einzig basierend auf N Abtastwerten der Pixelausgabe, das bedeutet, ohne zusätzliche Kenntnisse, wie beispielsweise vergangene Rahmen, Pixelumgebung usw., zu benötigen. Die Berechnung kann chipintegriert und in Echtzeit ausgeführt werden, und dient als eine Basis für Korrekturalgorithmen.

Gemäß der vorliegenden Offenbarung weist die Vorrichtung 100A, B somit eine geringe Komplexität auf und benötigt keine vergangenen oder benachbarten Abtastwerte oder Pixel, und ergibt kein binäres Maß für Bewegungsartefakte, sondern stellt ein quasi-kontinuierliches Maß bereit, das das Vorhandensein von Bewegungsartefakten anzeigt. Somit benötigt die Vorrichtung gemäß der vorliegenden Offenbarung keine hohen Rechenressourcen und kann in Echtzeit-Anwendungen anwendbar sein, wo hohe Rahmenraten gefordert sind.

Die Vorrichtung 100A, B kann ein oder mehrere zusätzliche, optionale Merkmale umfassen, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren, oben beschriebenen Beispielen erwähnt sind.

Das Verfahren 700 kann ein oder mehrere zusätzliche, optionale Schritte umfassen, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren, oben beschriebenen Beispielen erwähnt sind.

Ein Beispiel bezieht sich auf ein Verfahren 700 zum Detektieren einer Bewegung eines Objekts 102 in einem Zielraum, wobei sich das Objekt 102 in einem Abstand B von einer Bilderfassungsvorrichtung 200 befindet, die ausgebildet ist, um den Abstand B zu messen und um ein Sensorsignal 105 bereitzustellen, das anzeigend für den Abstand B ist. Das Sensorsignal 105 ist in eine Zerlegung zerlegbar, was ein Verwenden von nur ungeraden Harmonischen umfasst, wenn das Objekt 102 in Ruhe ist. Das Verfahren 700 umfasst das Empfangen S110 des Sensorsignals 105; das Erzeugen S120 von zumindest einem Bewegungssignal 115, das von zumindest einer geraden Harmonischen abhängt, in der Zerlegung des Sensorsignals 105; und das Detektieren S130 der Bewegung des Objekts 102 basierend auf dem zumindest einen Bewegungssignal 115 und, wenn die Bewegung detektiert worden ist, das Bereitstellen eines Detektionssignals 125, das die Bewegung des Objekts 102 anzeigt.

Beispiele können weiterhin ein Computerprogramm mit einem Programmcode zum Durchführen eines der obigen Verfahren bereitstellen, wenn das Computerprogramm auf einem Computer oder Prozessor ausgeführt wird. Ein Fachmann würde leicht erkennen, dass Schritte verschiedener oben beschriebener Verfahren durch programmierte Computer durchgeführt werden können. Hierbei sollen einige Beispiele auch Programmspeichervorrichtungen, z. B. Digitaldatenspeichermedien abdecken, die maschinen- oder computerlesbar sind und maschinenausführbare oder computerausführbare Programme von Anweisungen codieren, wobei die Anweisungen einige oder alle der Handlungen der oben beschriebenen Verfahren durchführen. Die Programmspeichervorrichtungen können z. B. Digitalspeicher, magnetische Speichermedien wie beispielsweise Magnetplatten und Magnetbänder, Festplattenlaufwerke oder optisch lesbare Digitaldatenspeichermedien sein. Auch sollen die Beispiele Computer programmiert zum Durchführen der Handlungen der oben beschriebenen Verfahren oder (feld-) programmierbare Logik-Arrays ((F)PLA - (Field) Programmable Logic Arrays) oder (feld-) programmierbare Gate-Arrays ((F)PGA - (Field) Programmable Gate Arrays) programmiert zum Durchführen der Handlungen der oben beschriebenen Verfahren abdecken.

Durch die Beschreibung und Zeichnungen werden nur die Grundsätze der Offenbarung dargestellt. Es versteht sich daher, dass der Fachmann verschiedene Anordnungen ableiten kann, die, obwohl sie nicht ausdrücklich hier beschrieben oder dargestellt sind, die Grundsätze der Offenbarung verkörpern und in ihrem Sinn und Rahmen enthalten sind. Weiterhin sollen alle hier aufgeführten Beispiele grundsätzlich nur Lehrzwecken dienen, um den Leser beim Verständnis der Grundsätze der Offenbarung und der durch den (die) Erfinder beigetragenen Konzepte zur Weiterentwicklung der Technik zu unterstützen, und sollen als ohne Begrenzung solcher besonders aufgeführten Beispiele und Bedingungen dienend aufgefasst werden. Weiterhin sollen alle hiesigen Aussagen über Grundsätze, Aspekte und Beispiele der Offenbarung wie auch besondere Beispiele derselben deren Entsprechungen umfassen.

Als „Mittel für...“ (Durchführung einer gewissen Funktion) bezeichnete Funktionsblöcke sind als Funktionsblöcke umfassend Schaltungen zu verstehen, die jeweils zum Durchführen einer gewissen Funktion eingerichtet sind. Daher kann ein „Mittel für etwas“ ebenso als „Mittel eingerichtet für oder geeignet für etwas“ verstanden werden. Ein Mittel eingerichtet zum Durchführen einer gewissen Funktion bedeutet daher nicht, dass ein solches Mittel notwendigerweise die Funktion durchführt (in einem gegebenen Zeitmoment).

Funktionen verschiedener in den Figuren dargestellter Elemente einschließlich jeder als „Mittel“, „Mittel zur Bereitstellung eines Sensorsignals“, „Mittel zum Erzeugen eines Sendesignals“ usw. bezeichneter Funktionsblöcke können durch die Verwendung dedizierter Hardware wie beispielsweise „eines Signalanbieters“, „einer Signalverarbeitungseinheit“, „eines Prozessors“, „einer Steuerung“, usw. wie auch als Hardware fähig der Ausführung von Software in Verbindung mit zugehöriger Software bereitgestellt werden. Weiterhin könnte jede hier als „Mittel“ beschriebene Instanz als „ein oder mehrere Module“, „eine oder mehrere Vorrichtungen“, „eine oder mehrere Einheiten“, usw. implementiert sein oder diesem entsprechen. Bei Bereitstellung durch einen Prozessor können die Funktionen durch einen einzigen dedizierten Prozessor, durch einen einzelnen geteilten Prozessor oder durch eine Vielzahl einzelner Prozessoren bereitgestellt werden, von denen einige geteilt sein können. Weiterhin soll ausdrückliche Verwendung des Begriffs „Prozessor“ oder „Steuerung“ nicht als ausschließlich auf zur Ausführung von Software fähige Hardware bezogen ausgelegt werden, und kann implizit ohne Begrenzung Digitalsignalprozessor- (DSP-) Hardware, Netzprozessor, anwendungsspezifische integrierte Schaltung (ASIC - Application Specific Integrated Circuit), feldprogrammierbare Logikanordnung (FPGA - Field Programmable Gate Array), Nurlesespeicher (ROM - Read Only Memory) zum Speichern von Software, Direktzugriffsspeicher (RAM - Random Access Memory) und nichtflüchtige Speicherung einschließen. Auch kann sonstige Hardware, herkömmliche und/oder kundenspezifische, eingeschlossen sein.

Der Fachmann sollte verstehen, dass alle hiesigen Blockschaltbilder konzeptmäßige Ansichten beispielhafter Schaltungen darstellen, die die Grundsätze der Offenbarung verkörpern. Auf ähnliche Weise versteht es sich, dass alle Flussdiagramme, Ablaufdiagramme, Zustandsübergangsdiagramme, Pseudocode und dergleichen verschiedene Prozesse darstellen, die im Wesentlichen in computerlesbarem Medium dargestellt und so durch einen Computer oder Prozessor ausgeführt werden, ungeachtet dessen, ob ein solcher Computer oder Prozessor ausdrücklich dargestellt ist.

Weiterhin sind die nachfolgenden Ansprüche hiermit in die detaillierte Beschreibung aufgenommen, wo jeder Anspruch als getrenntes Beispiel für sich stehen kann. Wenn jeder Anspruch als getrenntes Beispiel für sich stehen kann, ist zu beachten, dass - obwohl ein abhängiger Anspruch sich in den Ansprüchen auf eine besondere Kombination mit einem oder mehreren anderen Ansprüchen beziehen kann - andere Beispiele auch eine Kombination des abhängigen Anspruchs mit dem Gegenstand jedes anderen abhängigen oder unabhängigen Anspruchs einschließen können. Diese Kombinationen werden hier vorgeschlagen, sofern nicht angegeben ist, dass eine bestimmte Kombination nicht beabsichtigt ist. Weiterhin sollen auch Merkmale eines Anspruchs für jeden anderen unabhängigen Anspruch eingeschlossen sein, selbst wenn dieser Anspruch nicht direkt abhängig von dem unabhängigen Anspruch gemacht ist.

Es ist weiterhin zu beachten, dass in der Beschreibung oder in den Ansprüchen offenbarte Verfahren durch eine Vorrichtung mit Mitteln zum Durchführen jeder der jeweiligen Handlungen dieser Verfahren implementiert sein können.

Weiterhin versteht es sich, dass die Offenbarung vielfacher, in der Beschreibung oder den Ansprüchen offenbarter Handlungen oder Funktionen nicht als in der bestimmten Reihenfolge befindlich ausgelegt werden sollten. Durch die Offenbarung von vielfachen Handlungen oder Funktionen werden diese daher nicht auf eine bestimmte Reihenfolge begrenzt, es sei denn, dass diese Handlungen oder Funktionen aus technischen Gründen nicht austauschbar sind. Weiterhin kann in einigen Beispielen eine einzelne Handlung mehrere Teilhandlungen einschließen oder in diese aufgebrochen werden. Solche Teilhandlungen können eingeschlossen sein und Teil der Offenbarung dieser Einzelhandlung bilden, sofern sie nicht ausdrücklich ausgeschlossen sind.

Claims

Eine Vorrichtung (100A) zum Detektieren einer Bewegung eines Objekts in einem Zielraum, wobei sich das Objekt in einem Abstand von einer Bilderfassungsvorrichtung befindet, die ausgebildet ist, um den Abstand zu messen und um ein Sensorsignal bereitzustellen, das auf den Abstand hinweist, wobei das Sensorsignal (105) in eine Zerlegung zerlegbar ist, die ungerade Harmonische umfasst, wenn das Objekt in Ruhe ist, die Vorrichtung umfassend: ein Bestimmungsmodul (110A), das ausgebildet ist, um das Sensorsignal (105) zu empfangen und um zumindest ein Bewegungssignal (115) basierend auf zumindest einer geraden Harmonischen der Zerlegung des Sensorsignals zu erzeugen; ein Detektionsmodul (120A), das ausgebildet ist, um die Bewegung des Objekts basierend auf dem zumindest einen Bewegungssignal (115) zu detektieren und um ein Detektionssignal (125) bereitzustellen, das die Bewegung des Objekts anzeigt; und wobei die Bilderfassungsvorrichtung ausgebildet ist, um ein Bild zu erfassen, das eine Mehrzahl von Pixeln aufweist, und wobei das Bestimmungsmodul (110A) ausgebildet ist, um das Sensorsignal zu empfangen und um das Bewegungssignal (115) für jedes Pixel der Mehrzahl von Pixeln zu erzeugen, ohne sich auf benachbarte Pixel der Mehrzahl von Pixeln zu stützen.
Die Vorrichtung gemäß Anspruch 1, wobei die Bilderfassungsvorrichtung ausgebildet ist, um eine Welle zu emittieren, um eine reflektierte Welle, die an dem Objekt reflektiert wird, zu empfangen und um das Sensorsignal (105) als eine Sensorantwortfunktion bereitzustellen, wobei die Vorrichtung ferner ein Abtastmodul umfasst, das ausgebildet ist, um das Sensorsignal abzutasten, derart, dass zumindest ein Teil jeder Wellenlänge der reflektierten Welle durch N Werte abgetastet wird.
Die Vorrichtung gemäß Anspruch 2, wobei die Anzahl von N Abtastwerten gerade ist und die zumindest eine gerade Harmonische die Ordnung N/2 aufweist.
Die Vorrichtung gemäß Anspruch 2 oder 3, wobei das Bewegungssignal (115) nur aus den N Abtastwerten, die dem zumindest einen Teil jeder abgetasteten Wellenlänge der reflektierten Welle zugeordnet sind, hergeleitet ist.
Die Vorrichtung gemäß einem der vorangehenden Ansprüche, wobei die zumindest eine gerade Harmonische in dem Bewegungssignal (115) die zweite Harmonische ist.
Die Vorrichtung gemäß einem der vorangehenden Ansprüche, wobei die zumindest eine gerade Harmonische in dem Bewegungssignal (115) ferner die nullte Harmonische umfasst, die einen Versatz darstellt.
Eine Vorrichtung (100B) zum Detektieren einer Bewegung eines Objekts in einem Zielraum, wobei sich das Objekt in einem Abstand von einer Bilderfassungsvorrichtung befindet, die ausgebildet ist, um eine Welle zu emittieren und eine reflektierte Welle zu empfangen, die an dem Objekt reflektiert wird, um ein Bild von dem Objekt zu erfassen, wobei die Bilderfassungsvorrichtung ferner ausgebildet ist, um ein Sensorsignal bereitzustellen, das von der reflektierten Welle abhängt, wobei die emittierte Welle eine vorbestimmte Wellenlänge umfasst und das Bild eine Mehrzahl von Pixeln umfasst, die Vorrichtung umfassend: ein Kombinationsmodul (110B), das ausgebildet ist, um das Sensorsignal als eine Mehrzahl von Abtastwerten, die der vorbestimmten Wellenlänge zugeordnet sind, zu empfangen und um eine Kombination der Mehrzahl von Abtastwerten zu bilden, derart, dass die Kombination einen vorbestimmten Wert umfasst, wenn das Objekt in Ruhe ist; ein Detektionsmodul (120B), das ausgebildet ist, um eine Abweichung von dem vorbestimmten Wert der Kombination zu detektieren, die die Bewegung des Objekts anzeigt, wobei das Detektionsmodul ferner ausgebildet ist, um ein Detektionssignal auszugeben, das die detektierte Abweichung von dem vorbestimmten Wert als ein Signal anzeigt, das die Bewegung des Objekts anzeigt; und wobei die Bilderfassungsvorrichtung ausgebildet ist, um ein Bild zu erfassen, das eine Mehrzahl von Pixeln aufweist, und wobei das Kombinationsmodul ausgebildet ist, um das Sensorsignal zu empfangen und um ein Bewegungssignal (115) für jedes Pixel der Mehrzahl von Pixeln zu erzeugen, ohne sich auf benachbarte Pixel der Mehrzahl von Pixeln zu stützen.
Die Vorrichtung gemäß Anspruch 7, wobei die Kombination von Abtastwerten eine gerade Harmonische in einer diskreten Fourier-Zerlegung der Mehrzahl von Abtastwerten darstellt, die aus dem Sensorsignal hergeleitet sind.
Die Vorrichtung gemäß Anspruch 7 oder 8, wobei die Kombination von Abtastwerten eine Funktion ist, die von einer alternierenden Summe von aufeinanderfolgenden Abtastwerten abhängt, die innerhalb einer Periode der vorbestimmten Wellenlänge genommen wurden.
Die Vorrichtung gemäß einem der Ansprüche 7 bis 9, wobei das Detektionsmodul (120B) ferner ausgebildet ist, um eine weitere Kombination der Mehrzahl von Abtastwerten zu erzeugen, die von der Summe aufeinanderfolgender Abtastwerte abhängt, die innerhalb einer Periode der vorbestimmten Wellenlänge genommen wurden.
Die Vorrichtung gemäß einem der Ansprüche 7 bis 10, wobei das Detektionsmodul (120B) ferner ausgebildet ist, um eine Richtung der Bewegung zu detektieren.
Ein System (300), umfassend: eine Vorrichtung (100A, 100B) zum Detektieren einer Bewegung eines Objekts in einem Zielraum, wobei sich das Objekt in einem Abstand von einer Bilderfassungsvorrichtung befindet, die ausgebildet ist, um den Abstand zu messen und um ein Sensorsignal bereitzustellen, das auf den Abstand hinweist, wobei das Sensorsignal in eine Zerlegung zerlegbar ist, die ungerade Harmonische umfasst, wenn das Objekt in Ruhe ist, die Vorrichtung umfassend: ein Bestimmungsmodul (110A), das ausgebildet ist, um das Sensorsignal zu empfangen und um zumindest ein Bewegungssignal (115) basierend auf zumindest einer geraden Harmonischen der Zerlegung des Sensorsignals zu erzeugen; und ein Detektionsmodul (120A), das ausgebildet ist, um die Bewegung des Objekts basierend auf dem zumindest einen Bewegungssignal (115) zu detektieren und um ein Detektionssignal bereitzustellen, das die Bewegung des Objekts anzeigt; und eine Bilderfassungsvorrichtung (200) zum Erfassen eines dreidimensionalen Bildes eines Zielraumes mit einem Objekt, wobei die Bilderfassungsvorrichtung ein signalemittierendes Modul, das ausgebildet ist, um ein Wellensignal in den Zielraum zu emittieren, und ein signalempfangendes Modul, das ausgebildet ist, um ein reflektiertes Wellensignal zu empfangen, das von dem Objekt reflektiert wird, umfasst, wobei die Bilderfassungsvorrichtung (200) ausgebildet ist, um das Sensorsignal, das von der reflektierten Welle abhängt, und eine Information, die auf die Phase des emittierten Wellensignals hinweist, bereitzustellen, und wobei die Bilderfassungsvorrichtung ausgebildet ist, um ein Bild zu erfassen, das eine Mehrzahl von Pixeln aufweist, und wobei das Bestimmungsmodul (110A) ausgebildet ist, um das Sensorsignal zu empfangen und um das Bewegungssignal (115) für jedes Pixel der Mehrzahl von Pixeln zu erzeugen, ohne sich auf benachbarte Pixel der Mehrzahl von Pixeln zu stützen.
Das System gemäß Anspruch 12, das ferner eine Verarbeitungseinheit umfasst, die ausgebildet ist, um eine Phasendifferenz zwischen dem emittierten Wellensignal und dem reflektierten Wellensignal zu bestimmen, und um, basierend darauf, den Abstand zwischen dem System und dem Objekt in dem Zielraum zu bestimmen.
Das System gemäß Anspruch 13, wobei das signalemittierende Modul ausgebildet ist, um das Wellensignal als ein moduliertes Signal unter Verwendung eines Trägersignals zu emittieren, wobei die Verarbeitungseinheit ferner einen Demodulator umfasst, der ausgebildet ist, um das modulierte Signal zu demodulieren, wobei das modulierte Signal eine vorbestimmte Wellenlänge aufweist.
Das System gemäß Anspruch 14, wobei das System ausgebildet ist, um den Abstand des Objekts bis zu einem maximalen Abstand zu detektieren, und wobei die vorbestimmte Wellenlänge ausgewählt ist, derart, dass sie nicht länger als zweimal der maximale Abstand ist.
Das System gemäß einem der Ansprüche 12 bis 15, wobei sich das Objekt in einem weiteren Abstand zu einem Hintergrund befindet, wobei das System ferner ein Maskierungsmodul umfasst, das ausgebildet ist, um jeden Pixelwert, für den das zumindest eine Bewegungssignal (115) einen Wert umfasst, der kleiner oder größer als ein vorbestimmter Schwellenwert ist, auf einen Pixelwert des Hintergrundes einzustellen.
Das System gemäß einem der Ansprüche 12 bis 16, wobei das signalempfangende Modul ausgebildet ist, um mehrere Rahmen von Bildern des Zielraumes zu erfassen, und wobei die Vorrichtung ausgebildet ist, um die Bewegung des Objekts innerhalb eines jeden Rahmens der Mehrzahl von Rahmen zu detektieren.
Ein Verfahren (700) zum Detektieren einer Bewegung eines Objekts in einem Zielraum, wobei sich das Objekt in einem Abstand von einer Bilderfassungsvorrichtung befindet, die ausgebildet ist, um den Abstand zu messen und ein Sensorsignal bereitzustellen, das auf den Abstand hinweist, wobei das Sensorsignal in eine Zerlegung zerlegbar ist, die ungerade Harmonische umfasst, wenn das Objekt in Ruhe ist, das Verfahren umfassend: Empfangen (S110) des Sensorsignals, das eine beliebige Anzahl von im Wesentlichen äquidistant abgetasteten Werten pro Rahmen umfasst; Erzeugen (S120) von zumindest einem Bewegungssignal (115) basierend auf zumindest einer Harmonischen eines zweiten Typs in der Zerlegung des Sensorsignals für jeden Rahmen; Detektieren (S130) der Bewegung des Objekts basierend auf dem zumindest einen Bewegungssignal (115) und Bereitstellen eines Detektionssignals, das die Bewegung des Objekts anzeigt; und wobei die Bilderfassungsvorrichtung (200) ausgebildet ist, um ein Bild zu erfassen, das eine Mehrzahl von Pixeln umfasst, und wobei das Sensorsignal Pixelwerte für jedes Pixel der Mehrzahl von Pixeln umfasst, wobei zumindest einer der Schritte des Empfangens, Erzeugens und Detektierens basierend nur auf Pixelwerten eines Pixels ausgeführt wird.