-
Die
Erfindung betrifft ein Verfahren zur Detektion und Verfolgung von
Objekten in Bildsequenzen, wobei anhand einer Bilderfassungsvorrichtung zumindest
zwei Bilder stereoskopisch erfasst und verarbeitet werden und anhand
eines Filters eine Schätzung und/oder Vorhersage eines
Objektzustands ausgeführt wird.
-
Aus
dem Stand der Technik ist es allgemein bekannt, dass in Systemen
zur bildbasierten Detektion und Verfolgung von Objekten gemäß "Barth,
A., Franke, U.: Where will the oncoming vehicle be the next second?
IEEE Intelligent Vehicles Symposium 2008, Eindhoven, Netherlands" oftmals
Kalmanfilter oder gemäß "Schmidt,
J. et al.: 3D scene segmentation and object tracking in multiocular
image sequences; Proc. 5th Int. Conf. an Computer Vision Systems
2007, Bielefeld, Germany" Partikelfilter zum Einsatz
kommen. Anhand dieser Techniken wird ein Zustand des Objekts, d.
h. dessen Positions- und/oder Bewegungsparameter, über
die Zeit unter Annahme eines Bewegungsmodells auf Basis einer aus
Stereo-Bildpaaren extrahierten 3D-Punktewolke sowie optischer Flussinformation
geschätzt. Zur Bestimmung der Positions- und Bewegungsinformation wird
insbesondere von einer Gaußschen Normalverteilung von Messfehlern
in drei Raumrichtungen – gegebenenfalls mit unterschiedlichen
Standardabweichungen, ausgegangen – wobei die Standardabweichungen
insbesondere als unabhängig von den Raumkoordinaten selbst
angenommen werden. Sowohl der Kalmanfilter als auch der Partikelfilter
basieren auf einem Prinzip einer Prädiktion des Objektzustands
anhand von geschätzten Zustandsparametern und einem Vergleich
der geschätzten mit gemessenen Zustandsparametern.
-
Weiterhin
wird der Objektzustand beispielsweise gemäß "Hahn,
M., Krüger, L., Wähler, C.: 3D Action Recognition
and Long-term Prediction of Human Motion; In: A. Gasteratos, M.
Vincze, J. Tsotsos (eds.): Proc. Int. Conf. an Computer Vision Systems, Santorini, Greece.
Lecture Notes in Computer Science 5008, pp. 23–32, Springer-Verlag
Berlin Heidelberg 2008" anhand einer Prädiktion
mit einem einfachen Bewegungsmodell ermittelt, wie es sich beispielsweise
bei Annahme einer konstanten Geschwindigkeit oder Beschleunigung
ergibt.
-
Aus
der
DE 10 2007
052 762 A1 ist ein Verfahren zur raumzeitlichen Bestimmung
einer Lage und einer Orientierung eines Objekts bekannt. Bei dem
Verfahren werden auf ein raumzeitliches Stereoverfahren, ein Clusteringverfahren
und eine Modellanpassung folgende Constraint Lines zu einer Anzahl
von Punkten des Objekts in einem uv-Raum gebildet, wobei ein Cluster
von Schnittpunkten aus Paaren von Beschränkungslinien im
uv-Raum gebildet wird. Weiterhin werden translatorische Bewegungskomponenten
ermittelt, wobei eine translatorische Bewegungskomponente des Objekts
in einer radialen Richtung gebildet wird und ein Betrag einer Winkelgeschwindigkeit
des Objekts durch Division einer translatorischen Geschwindigkeitsdispersion
durch das Produkt eines eine Vorzugsrichtung des Objekts bezeichnenden
Vektors mit dem Sinus eines Winkels ermittelt wird.
-
Der
Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem
Stand der Technik verbessertes Verfahren zur Detektion und Verfolgung
von Objekten in Bildsequenzen anzugeben.
-
Die
Aufgabe wird erfindungsgemäß mit einem Verfahren
gelöst, welches die im Anspruch 1 angegebenen Merkmale
aufweist.
-
Vorteilhafte
Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei
dem Verfahren zur Detektion und Verfolgung von Objekten in Bildsequenzen
werden anhand einer Bilderfassungsvorrichtung zumindest zwei Bilder
stereoskopisch erfasst und verarbeitet und anhand eines Filters
wird eine Schätzung und/oder Vorhersage eines Objektzustands
ausgeführt.
-
Erfindungsgemäß werden
Zustandsdaten des Objekts dreidimensional verarbeitet, wobei eine erste
horizontale Koordinate und eine zweite vertikale Koordinate einer
Position des Objekts ermittelt werden und eine dritte Koordinate
aus einem Kehrwert einer Entfernung des Objekts zu der Bilderfassungsvorrichtung
gebildet wird.
-
Da
Messwerte der Entfernung, welche proportional zum Kehrwert einer
als normalverteilt angenommenen Disparität, nicht normalverteilt
sind, ergibt aufgrund der Verwendung des Kehrwerts der Entfernung
bei dem erfindungsgemäßen Verfahren in besonders
vorteilhafter Weise, dass eine laterale Größe
des Objekts in Richtung der ersten und der zweiten Koordinate bei
sich verändernder Entfernung konstant bleibt, während
gleichzeitig die Messwerte für die dritte Koordinate normalverteilt
sind.
-
Ausführungsbeispiele
der Erfindung werden im Folgenden anhand von Zeichnungen näher
erläutert.
-
Dabei
zeigen:
-
1 schematisch
ermittelte Zustandshypothesen eines Objekts nach dem Stand der Technik, und
-
2 schematisch
ermittelte Zustandshypothesen eines Objekts, wobei eine dritte Koordinate aus
einem Kehrwert einer Entfernung des Objekts zu einer Bilderfassungsvorrichtung
gebildet wird.
-
Einander
entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen
versehen.
-
In
den 1 und 2 sind jeweils durch ein SMC-Filter-Verfahren
(SMC = Sequentielle Monte Carlo Methode) ermittelte, zufällig
gestreute Zustandshypothesen dargestellt, wobei gemäß 1 nach
dem Stand der Technik eine dritte Koordinate z aus einer Entfernung
des Objekts zu einer Bilderfassungsvorrichtung gebildet wird und
gemäß 2 eine dritte Koordinate z–1 aus einem Kehrwert einer Entfernung
des Objekts zu einer Bilderfassungsvorrichtung gebildet wird. Im
Folgenden wird die Erfindung anhand beider Figuren näher
erläutert.
-
Die
nicht näher dargestellte Bilderfassungsvorrichtung ist
beispielsweise an und/oder in einem ebenfalls nicht näher
dargestellten Fahrzeug angeordnet und umfasst zumindest zwei Bilderfassungseinheiten
zur stereoskopischen Erfassung einer Umgebung des Fahrzeugs und
in dieser vorhandener Objekte. Die Bilderfassungsvorrichtung umfasst
weiterhin zumindest eine Bildverarbeitungseinheit, mittels welcher
die erfassten Bilder stereoskopisch verarbeitet werden, so dass
eine dreidimensionale Repräsentation des Objekts in seinem
Kontext erzeugbar ist.
-
Zur
Schätzung und/oder Vorhersage eines Objektzustands ist
ein Filter vorgesehen, wobei der Filter insbesondere ein SMC-Filter – im
Weiteren auch als Partikelfilter bezeichnet – ist, mittels
welchem anhand einer sequenziellen Monte-Carlo-Methode die Schätzung
des Objektzustands ausgeführt wird.
-
Ein
dreidimensionaler Szenenraum ist durch die Koordinaten x, y, z aufgespannt.
Dabei wird angenommen, dass die beiden Bilderfassungseinheiten derart
ausgebildet sind, dass die erfassten Bilddaten in einer Standard-Epipolargeometrie
aufgenommen werden. Hierbei sind die Koordinaten x und y direkt proportional
zu so genannten Pixelkoordinaten, welche allgemein als ”u” und ”v” bezeichnet
werden. Somit sind auch die Messwerte und Messfehler für
die Koordinaten x und y normalverteilt, da die Pixelkoordinaten
als normalverteilt angenommen werden.
-
Die
Messwerte und Messfehler der dritten Koordinate z, welche aus der
Entfernung des Objekts bzw. eines Bildpunkts des Objekts zu der
Bilderfassungsvorrichtung gebildet werden, sind jedoch nicht normalverteilt,
wobei die Entfernung proportional zum Kehrwert einer als normalverteilt
angenommenen Disparität ist. Die Disparität wird
dabei gemäß eines oder mehrerer aus dem Stand
der Technik zahlreich bekannten Verfahren gebildet.
-
Da
die Entfernung nicht normalverteilt ist, ist es vorteilhaft, die
Zustandsgrößen des Objekts in den Koordinaten
x, y, z–1 zu beschreiben, d. h.
dass die dritte Koordinate z–1 aus
dem Kehrwert der Entfernung gebildet wird. Dieser Ansatz bietet
den Vorteil, dass eine laterale Größe des Objekts
in Richtung der Koordinaten x und y, d. h in Richtung einer Breiten- und
Höhenausdehnung des Objekts, bei sich verändernder
Entfernung konstant bleibt, während gleichzeitig die Messwerte
und Messfehler für die dritte Koordinate z–1 gauß-
bzw. normalverteilt sind.
-
Im
dreidimensionalen Szenenraum sind Objekte, wie z. B. Personen oder
Fahrzeuge, vorteilhaft durch aufrechte Zylinder mit kreisförmiger
oder elliptischer Grundfläche modellierbar, wobei Zylinder
mit elliptischer Grundfläche den Vorteil haben, dass deren
Hauptachsen Informationen über eine räumliche Orientierung
des Objekts enthalten.
-
Ist
eine Ausdehnung des Objekts in Richtung der Koordinate z klein gegenüber
der Entfernung des Objekts zu der Kamera, entsteht bei der Transformation
des Zylinders mit der elliptischen Grundfläche von dem
dreidimensionalen Szenenraum mit den Koordinaten x, y, z in den
dreidimensionalen Szenenraum mit den Koordinaten x, y, z–1 näherungsweise ebenfalls
ein Zylinder mit elliptischer Grundfläche, so dass das
einfache Modell des Zylinders auch im dreidimensionalen Szenenraum
mit den Koordinaten x, y, z–1 verwendet
werden kann.
-
Die
durch den Partikelfilter gestreuten Bewegungshypothesen zeigen,
bei Zugrundelegung realistischer Annahmen über das Bewegungsverhalten des
Objekts, häufig eine Normalverteilung im dreidimensionalen
Szenenraum mit den Koordinaten x, y, z, jedoch nicht im dreidimensionalen
Szenenraum mit den Koordinaten x, y, z–1.
-
Das
in zur Erzeugung der in 1 dargestellten Zustandshypothese
verwendete Bewegungsmodell basiert auf einer Bewegung mit einem
Geschwindigkeitsbetrag, dessen Fehler normalverteilt ist, sowie
einem ebenfalls normalverteilten Azimutwinkel, der die Bewegungsrichtung
repräsentiert.
-
Im
dreidimensionalen Szenenraum mit den Koordinaten x, y, z–1 sind die Fehler jedoch nicht
normalverteilt, so dass jede gestreute Hypothese individuell vom
dreidimensionalen Szenenraum mit den Koordinaten x, y, z in den
dreidimensionalen Szenenraum mit den Koordinaten x, y, z–1 transformiert werden muss. Diese
Transformation ist in 2 beispielhaft dargestellt.
-
In ähnlicher
Weise ist es vorteilhaft, mit einem trajektorienbasierten Verfahren,
wie es beispielsweise aus "Hahn, M., Krüger,
L., Wähler, C.: 3D Action Recognition and Longterm Prediction
of Human Motion; In: A. Gasteratos, M. Vincze, J. Tsotsos (eds.):
Proc. Int. Conf. an Computer Vision Systems, Santorini, Greece.
Lecture Notes in Computer Science 5008, pp. 23–32, Springer-Verlag
Berlin Heidelberg 2008" bekannt ist, im Szenenraum
mit den Koordinaten x, y, z prädizierte Objektzustände
in den Szenenraum mit den Koordinaten x, y, z–1 zu
transformieren, um dort dann den Partikelfilter zur Schätzung des
aktuellen Objektzustands anzuwenden. Eine solche trajektorienbasierte
Prädiktion des Objektzustands als Grundlage für
die Hypothesengenerierung erlaubt es, gegebenenfalls in Kombination
mit aus einfachen Modellen, wie z. B. Stillstand oder konstanter
Geschwindigkeit, erzeugten zusätzlichen Hypothesen, die
Schätzung des Objektzustandes mit einer geringeren Anzahl
von Partikeln, d. h. Hypothesen, durchzuführen, als dies
bei Verwendung der aus einfachen Bewegungsmodellen allein abgeleiteten
Hypothesen möglich wäre. Dies führt zu
einer signifikanten Verringerung des für die Zustandsschätzung
benötigten Rechenaufwands, was insbesondere für
den Einsatz des erfindungsgemäßen Verfahrens und dessen
Weiterbildungen in so genannten Embedded-Hardwaresystemen im Fahrzeug
von Bedeutung ist.
-
Da
eine solche trajektorienbasierte Prädiktion speziell für
längere Zeiträume genauere Zustandsprädiktionen
liefert als einfache Bewegungsmodelle, erhöht sich zudem
die Stabilität der Objektverfolgung im Falle von Verdeckungen
der Bilderfassungseinheiten oder Detektionsfehlern.
-
Eine
Rückprojektion des Objektzustands in die Ausgangsbilder
erlaubt zum einen die Extraktion geeigneter zweidimensionaler Bildmerkmale,
wie z. B. Grauwerthistogrammen, so genannten Histograms of Oriented
Gradients und/oder so genannte Attention-Maße, zur Validierung
der Zustandsschätzung oder zur Gewichtung der Partikel.
Darüber hinaus kann, ebenfalls durch Rückprojektion
des Objektzustands ins Bild, ein Objekttyp, wie z. B. ein Fahrzeug,
Motorrad oder Fußgänger durch Klassifikation bestimmt
werden, wie es beispielsweise aus "Wähler,
C.: Neuronale Zeitverzögerungsnetzwerke für die
Bildsequenzanalyse und ihre Anwendung in fahrzeuggebundenen Bildverarbeitungssystemen; Fortschritt-Berichte
VDI, Reihe 10, Nr. 645, 2000" bekannt ist.
-
Eine
besonders vorteilhafte Ausgestaltung dieses Verfahrens besteht darin,
das für die Zustandsschätzung verwendete Bewegungsmodell
entsprechend dem Objekttyp zu wählen, der beispielsweise
mit dem in "Wähler, C.: Neuronale Zeitverzögerungsnetzwerke
für die Bildsequenzanalyse und ihre Anwendung in fahrzeuggebundenen
Bildverarbeitungssystemen; Fortschritt-Berichte VDI, Reihe 10, Nr.
645, 2000" verwendeten Klassifikationsverfahren bestimmt
wird.
-
Um
eine Robustheit des Verfahrens gegenüber Fehlklassifikationen
zu erzielen, werden bei Verwendung des Partikelfilters in vorteilhafter
Weise vom Klassifikator ermittelte Klassenzugehörigkeitswahrscheinlichkeiten
für den Objekttyp als modellspezifische relative Häufigkeiten
verwendet. So werden Bewegungsmodelle unwahrscheinlicher Objekttypen
nicht verworfen, sondern lediglich mit reduzierter Wahrscheinlichkeit
zur Hypothesengenerierung verwendet, so dass bei vorübergehend
falscher Objektklassifikation stets auch noch aus dem korrekten Objekttyp
abgeleitete Zustandshypothesen vorhanden sind.
-
- x
- Erste
Koordinate
- y
- Zweite
Koordinate
- z
- Dritte
Koordinate
- z–1
- Dritte
Koordinate
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 102007052762
A1 [0004]
-
Zitierte Nicht-Patentliteratur
-
- - ”Barth,
A., Franke, U.: Where will the oncoming vehicle be the next second?
IEEE Intelligent Vehicles Symposium 2008, Eindhoven, Netherlands” [0002]
- - ”Schmidt, J. et al.: 3D scene segmentation and object
tracking in multiocular image sequences; Proc. 5th Int. Conf. an
Computer Vision Systems 2007, Bielefeld, Germany” [0002]
- - ”Hahn, M., Krüger, L., Wähler,
C.: 3D Action Recognition and Long-term Prediction of Human Motion;
In: A. Gasteratos, M. Vincze, J. Tsotsos (eds.): Proc. Int. Conf.
an Computer Vision Systems, Santorini, Greece. Lecture Notes in
Computer Science 5008, pp. 23–32, Springer-Verlag Berlin
Heidelberg 2008” [0003]
- - ”Hahn, M., Krüger, L., Wähler,
C.: 3D Action Recognition and Longterm Prediction of Human Motion;
In: A. Gasteratos, M. Vincze, J. Tsotsos (eds.): Proc. Int. Conf.
an Computer Vision Systems, Santorini, Greece. Lecture Notes in
Computer Science 5008, pp. 23–32, Springer-Verlag Berlin
Heidelberg 2008” [0027]
- - ”Wähler, C.: Neuronale Zeitverzögerungsnetzwerke
für die Bildsequenzanalyse und ihre Anwendung in fahrzeuggebundenen
Bildverarbeitungssystemen; Fortschritt-Berichte VDI, Reihe 10, Nr.
645, 2000” [0029]
- - ”Wähler, C.: Neuronale Zeitverzögerungsnetzwerke
für die Bildsequenzanalyse und ihre Anwendung in fahrzeuggebundenen
Bildverarbeitungssystemen; Fortschritt-Berichte VDI, Reihe 10, Nr.
645, 2000” [0030]