-
Die Erfindung betrifft ein Verfahren
zum Auffinden und Darstellen der Konturen von sich bewegenden Objekten
in Bildsequenzen einer Videokamera, insbesondere einer Wärmebildkamera.
-
Bei einem bekannten Verfahren dieser
Art (H.-H. Nagel, A. Gehrke: Bildbereichsbasierte Verfolgung von
Straßenfahrzeugen
durch adaptive Schätzung
und Segmentierung von Optischen-Fluss-Feldern,
20. DAGM-Symposium 1998, 314 ff.) werden die Verschiebungsvektoren
eines sich bewegenden Objektes als sog. optischer Fluss ermittelt.
Die Einhüllende
paralleler Vektoren führt
zur als konvex angenommenen Objektkontur. Das System wird durch
adaptive Schätzung
stabilisiert. Durch manuelle Auswahl eines Bildausschnitts wird
die Verfolgung eines Fahrzeugs gestartet.
-
Bei diesem Verfahren ist das Auffinden
und Darstellen der Objektkonturen mit einem extrem hohen Rechenaufwand
verbunden. Die Objektkonturen werden als konvex angenommen, obwohl
gerade partiell konkave Konturen den Bildhintergrund vom Objekt
separieren und eine Objektdefinition erleichtern.
-
Es ist ein Verfahren zur Bildverbesserung
von optischen Bildern durch digitale Nachverarbeitung bekannt, bei
dem das im digitalisierten Bild vorhandene Bildrauschen durch eine
geeignete Verarbeitung in der Fourierebene beseitigt und das Bild
wieder rücktransformiert
wird (A. Hoyer, M. Schlindwein "Bildverbesserung durch
digitale Nachverarbeitung",
Philips techn. Rundschau 38, 311–323, 1979, Nr. 11/12, Seiten
3201321). Hierbei werden durch eine inverse Fouriertransformation
definierte Fourierkoeffizienten berechnet, deren Gesamtheit das
Fourierbild ergibt. Die Bildverarbeitung in der Fourierebene besteht
darin, die Fourierkoeffizienten zu modifizieren und anschließend das
veränderte "gewöhnliche" Bild mit Hilfe der
Fouriertransformation zu berechnen. Die Modifikationen der Fourierkoeffizienten
besteht darin, dass alle Fourierkoeffizienten, die einen Schwellwert überschreiten
(alternativ einen Schwellwert unterschreiten) auf Null gesetzt werden.
Im ersten Fall wird das Bildrauschen unterdrückt. Im alternativen Fall erhält man Bilder,
in denen die Konturen – und
in einem gewissen Maße
auch das Bildrauschen – verstärkt sind.
(hier
schließen
an: Seite 2–11
der ursprünglich
eingereichten Unterlagen)
-
Der Erfindung liegt die Aufgabe zugrunde,
ein Verfahren der eingangs genannten Art anzugeben, das mit geringem
Rechenaufwand ein Konturenauffindung und -darstellung der Objekte
realisiert, in welcher das sich bewegende Objekt sehr gut vom Bildhintergrund
separiert ist.
-
Die Aufgabe ist durch die Merkmale
des Patentanspruchs 1 gelöst.
-
Das erfindungsgemäße Verfahren hat den Vorteil,
daß die
erzeugte Kontur das Objekt unter Ausschluß des in diesem Bereich vorhandenen
Bildhintergrunds umschließt
und auch konkave Konturen realisiert, so daß das Objekt sehr deutlich
vom Bildhintergrund abgehoben wird. Damit läßt sich das Objekt sehr gut
identifizieren. Da die Grobkontur nicht nur das Objekt, sondern
auch die gesamte Objekttrajektorie während der Bildsequenz einhüllt, die
Feinkontur dagegen nur das Objekt im aktuellen Einzelbild charakterisiert,
lassen sich aus den Konturen auch dynamische Eigenschaften des Objekts,
wie Geschwindigkeit und Fahrtrichtung, erkennen, die in der zweidimensionalen
Bildebene quantitativ berechnet und in der dritten Raumebene qualitativ abgeschätzt werden
können.
Die Objektverfolgung erfolgt automatisch, eine interaktive Objektverfolgungs-Initialisierung
ist nicht erforderlich. Der Hardwareaufwand zur Realisierung des
Verfahrens ist gering und erfordert neben der Video- bzw. Wärmebildkamera
nur einen handelsüblichen
Bilddigitalisierer und einen Büro-PC. Das
Verfahren erlaubt Echtzeitverarbeitung von ca. 10 Videobilder pro
Sekunde und kann ohne spürbaren
Rechenmehraufwand auf die gleichzeitige Erfassung mehrerer Objekte
ausgedehnt werden.
-
Das erfindungsgemäße Verfahren ist wenig rauschempfindlich
und eignet sich daher besonders für Wärmebildkameras, wo bekannte
Verfahren wegen ihrer Rauschempfindlichkeit versagen.
-
Zweckmäßige Ausführungsformen des erfindungsgemäßen Verfahrens
mit vorteilhaften Weiterbildungen und Ausgestaltungen der Erfindung
ergeben sich aus den weiteren Ansprüchen.
-
Gemäß einer vorteilhaften Ausführungsform
der Erfindung wird die sog. Kulisse, d.h. der reale Bildhintergrund
ohne dem davor sich bewegenden Objekt, dadurch gewonnen, daß gemäß einer
vorteilhaften Ausführungsform
der Erfindung in jedem die gleichen Verfahrensschritte enthaltenden
Zyklus mit dem Bildinhalt des in der Zeitfolge letzten Einzelbilds,
von dem der Bildinhalt des von der Grobstruktur umschlossenen Bildbereichs
eliminiert ist, der Bildinhalt des ebenfalls um den Bildinhalt innerhalb
der Grobstruktur bereinigten letzten Einzelbildes aus den vorangegangenen
Zyklus überschrieben
wird. Das so überschriebene
Einzelbild wird in dem nachfolgenden Zyklus als Kulisse verwendet.
-
Gemäß einer vorteilhaften Ausführungsform
der Erfindung sind die frequenzbandspezifischen Schwellwerte an
das in dem jeweiligen Frequenzband vorhandene Rauschen derart angepaßt, daß sie gerade oberhalb
der Rauschleistung liegen. Die Schwellwerte werden dabei automatisch
vorgegeben, so daß die durch
die FFT erlangte Rauschminimierung laufend selbstkalibrierend ist.
Hierzu wird in einer bevorzugten Ausführungsform der Erfindung in
jedem Zyklus die Rauschleistung als diejenigen Teile des Leistungsspektrums
bestimmt, deren Leistung die frequenzbandspezifischen Schwellwerte
nicht übersteigt.
Mit der den Bildsegmenten zugeordneten Rauschleistung wird die im
vorangegangenen Zyklus in Zuordnung zu den Bildsegmenten bestimmte
Rauschleistung überschrieben
und mit der überschriebenen
Rauschleistung werden die frequenzbandabhängigen Schwellwerte für den nachfolgenden
Zyklus festgelegt.
-
Wünscht
man eine sehr hohe Ortsauflösung
der Objektkontur, so wird gemäß einer
bevorzugten Ausführungsform
der Erfindung als Bildsegment jeder Bildpunkt oder Pixel des Einzelbildes
verwendet und für
jeden Pixel in der beschriebenen Weise die Zeit-FFT durchgeführt. Begnügt man sich
dagegen mit einer niedrigeren Ortsauflösung, so können die Einzelbilder auch
noch vor der Verarbeitung unterabgetastet werden, indem nach einer
vorteilhaften Ausführungsform
der Erfindung als Bildsegment eine Anzahl von in unterschiedlicher
Ordnung benachbarten Bildpunkten des Einzelbilds verwendet wird.
Die Bildinhalte dieser Anzahl Bildpunkte werden gemittelt und der
Mittelwert als Bildinhalt des Bildsegments herangezogen.
-
Das erfindungsgemäße Verfahren ist anhand eines
in der Zeichnung dargestellten Ausführungsbeispiels im folgenden
näher beschrieben.
Es zeigen:
-
1 ein
zeitliches Ablaufschema der einzelnen Verfahrensschritte zur Konturenauffindung
und -darstellung eines sich bewegenden Objekts innerhalb eines von
laufend wiederholten Zyklen,
-
2 und 3 jeweils einen Ausschnitt
eines durch eine FFT gewonnenen Leistungsspektrums einer Bildsequenz
für zwei
verschiedene Frequenzbänder,
-
4 ein
Einzelbild einer Kamera mit das Objekt bzw. die Objekttrajektorie
einhüllender
Feinkontur (weiß)
und Grobkontur (schwarz),
-
5 eine
den statischen Bildhintergrund darstellende aktualisierte Kulisse,
-
6 eine
schematische Darstellung einer gewonnenen Objektkontur (Grobkontur
schwarz, Feinkontur weiß)
für vier
verschiedene Beispiele einer möglichen
Objektbewegung.
-
Das nachstehend anhand der Zeichnung
erläuterte
Verfahren zum Auffinden und Darstellen der Konturen von sich bewegenden
Objekten in Bildsequenzen einer Laufbildkamera eignet sich sowohl
für Bilder
von Videokameras als auch wegen seiner relativ geringen Rauschempfindlichkeit
besonders für
Wärmebilder
von Wärmebild-
oder Infrarot-Kameras, wo bekannte Verfahren wegen ihrer Rauschempfindlichkeit
versagen. Das fortlaufend durchgeführte Verfahren setzt sich aus
einer Vielzahl von zeitlich unmittelbar aufeinanderfolgenden Verarbeitungszyklen
zusammen. In jedem Verarbeitungszyklus werden die gleichen Verfahrensschritte
in der gleichen Reihenfolge durchgeführt.
-
In 1 sind
die einzelnen Verfahrenschritte für den n-ten Zyklus in zeitlicher
Aufeinanderfolge nach einer Art Ablaufschema dargestellt. Dem n-ten
Zyklus ist der (n – 1)-te
Zyklus vorausgegangen und dem n-ten Zyklus folgt der (n + 1)-te
Zyklus nach, ebenso wie dem (n – 1)-ten
Zyklus der (n – 2)-te
Zyklus vorausgegangen ist und dem (n + 1)-ten Zyklus der (n + 2)-te Zyklus folgt,
usw. In jedem Zyklus wird entsprechend dem Ablaufschema in 1 wie folgt vorgegangen:
Die Bildinhalte von N zeitlich aufeinanderfolgenden Einzelbildern
werden nach Abspeichern in einem Einzelbildspeicher (Block 10)
Fourier-transformiert (Block 11). Die Anzahl N Einzelbilder
beträgt
mindestens vier, kann aber in einer 2er-Potenz erhöht werden,
so daß die
Anzahl der Einzelbilder allgemein 2N mit
N ≥ 2 gewählt wird.
-
Die Fourier-Transformation der Bildinhalte über N Einzelbilder,
bei welcher zweckmäßiger Weise
auf die bekannte Fast-Fourier-Transformation (FFT) zurückgegriffen
wird, erfolgt in der Weise, daß für die Bildpunkte
oder Pixel von N Einzelbildern mit den gleichen Bildkoordinaten
das Leistungsspektrum gebildet wird. Damit steht zur Bildung eines
jeden Leistungsspektrums der Anzahl N der Einzelbilder entsprechende
Zahl von Stützstellen
zur Verfügung.
Dieser Vorgang wird laufend wiederholt, bis alle Bildpunkte oder
Pixel der Einzelbilder abgearbeitet sind. Als Ergebnis erhält man eine
Vielzahl von Leistungsspektren, die durch ihre Bildkoordinaten dem
Video- oder Wärmebild
zugeordnet werden können.
Wird eine weniger hohe Ortsauflösung
gefordert, so werden die Einzelbilder unterabgetastet, d.h., das
jeweils eine gleiche Anzahl von in unterschiedlicher Ordnung benachbarten
Pixeln eines Einzelbildes zu einem Bildsegment zusammengefaßt werden,
dessen Bildinhalt gemittelt wird. Die Mittelwerte werden dann als
die Bildinhalte der Bildsegmente der Zeit-FFT unterzogen. Die Anzahl
die zu einem Bildsegment zusammengefaßten benachbarten Pixel ist
entsprechend der gewünschten
Ortsauflösung
zu wählen.
Alle ein Einzelbild ergebende Bildsegmente umfassen aber die gleiche Anzahl
von Pixeln oder Bildpunkten.
-
Die frequenzabhängigen Beträge der Leistungsspektren werden
nunmehr mit Schwellwerten verglichen (Block 12), die für Frequenzbänder des
Leistungsspektrums spezifisch vorgegeben werden (Block 20). Diese
Schwellwerte werden für
jedes Frequenzband automatisch so gewählt, daß sie gerade oberhalb des Systemrauschens,
d.h. dem Rauschspektrum, in diesem Frequenzband, liegen und werden
in jedem Zyklus aktualisiert. Die Schwellwertüberschreitungen der Beträge des Leistungsspektrums
pro Frequenzband (Block 13) werden in Zuordnung zu den
Bildkoordinaten der Bildsegmente oder Bildpunkte in das in der zeitlichen
Folge letzter Einzelbild, also in das N-te Einzelbild eingefügt (Block 14).
Die Einhüllende
der Schwellwertüberschreitungen
ergeben in dem letzten Einzelbild eine sog. Grobkontur. Die Grobkontur
umhüllt
dabei in der Bildebene nicht nur das Objekt sondern die gesamte
Objekttrajektorie.
-
In 2 und 3 ist ein Beispiel für Schwellwertüberschreitungen
für zwei
verschiedene Frequenzbänder
innerhalb der Leistungsspektren dargestellt, und zwar einmal eine
Grundfrequenz (2) und
einmal für die
doppelte Grundfrequenz (3),
jeweils als Mittenfrequenz eines Frequenzbands.
-
Die frequenzabhängigen Beträge der Leistungsspektren, die
nicht die frequenzbandabhängigen Schwellwerte übersteigen,
stellt die Rauschleistungen außerhalb
der Grobkontur dar und wird – wie
nachstehend noch näher
erläutert
wird – zur
Aktualisierung der Schwellwerte in dem nächsten Zyklus verwendet.
-
In einem nächsten Verfahrensschritt innerhalb
des Zyklusses n wird in dem von der Grobkontur umschlossenen Bildbereich
eine den statischen Bildhintergrund bildende adaptive Kulisse, die
in dem vorhergehenden Zyklus (n – 1) aktualisiert worden ist,
von den Bildinhalt des letzten Einzelbildes, im Ausführungsbeispiel
des vierten Teilbildes, subtrahiert (Block 15). Das Ergebnis
ist eine in das letzte Einzelbild innerhalb der Grobkontur eingefügte Feinkontur.
Der von der Feinkontur umschlossene Bildinhalt charakterisiert das
Objekt in seiner aktuellen Position (Block 16 und 17).
-
In 4 ist
ein Beispiel eines aktuellen Einzelbildes mit einer Grobkontur 23 (in 4 schwarz) und einer Feinkontur
24 (in 4 weiß) dargestellt. Da nach dem
vorstehend beschriebenen ausschließlich die adaptive Kulisse,
also der von sich bewegenden Objekten befreite Bildhintergrund,
von dem aktuellen Einzelbild subtrahiert wird, wobei die adaptive
Kulisse in einem unmittelbar vorausgegangenen Zyklus aktualisiert
worden ist, stellt der Bildinhalt der Feinkontur das Objekt ohne
den dahinter liegenden Bildhintergrund dar, so daß das Objekt
sich deutlich von dem Hintergrund abhebt. Durch die partiell konkave
Kontur wird dieser Effekt verstärkt
und die Objektidentifikation erleichtert.
-
In 5 ist
die im vorausgegangenen Zyklus (n – 1) aktualisierte bzw. adaptierte
Kulisse in einem Beispiel dargestellt. Da im Beispiel nur ein einziges
bewegtes Objekt in einer ansonsten statischen Umgebung angenommen
worden ist, zeigt die Kulisse nur den statischen Bildhintergrund.
Das in 4 enthaltende,
sich bewegende Objekt ist eliminiert. Die Kulisse K(n + 1) für den dem
n-ten Zyklus nachfolgenden Zyklus (n + 1) wird in dem n-ten Zyklus
aktualisiert bzw. adaptiert, indem mit dem Bildinhalt des in der
Zeitfolge letzten Einzelbildes (im Ausführungsbeispiel mit dem Bildinhalt
des vierten zur Fourier-Transformation herangezogenen Einzelbildes),
aus dem der Bildinhalt des von der Grobstruktur umschlossenen Bildbereichs
eliminiert ist (Block 18), der Bildinhalt der im vorangegangenen
Zyklus (n – 1)
aktualisierten Kulisse K(n) überschrieben
wird (Block 19). Das so überschriebene Einzelbild bildet
die Kulisse K(n + 1) für
die Verarbeitung im nachfolgenden Zyklus (n + 1). In gleicher Weise
ist im Zyklus (n – 1)
die im Zyklus n herangezogene adaptive Kulisse K(n) gewonnen worden,
wobei dort wiederum die aktualisierte Kulisse K(n – 1) aus
den vorangegangenen Zyklus (n – 2) überschrieben
worden ist. Überschreiben
bedeutet, daß alle
Pixel oder Bildpunkte der im Vorauszyklus aktualisierten Kulisse
durch die Pixel des letzten Einzelbildes ersetzt werden. Da in dem
letzten Einzelbild der Bildinhalt des von der Grobkontur umschlossenen
Bildbereichs eliminiert ist, bleibt in diesem Bereich der Bildinhalt
der aktualisierten Kulisse erhalten.
-
Wie bereits eingangs erwähnt ist,
sind die Schwellwerte (Block 20) für den Abgleich mit dem Leistungsspektrum
(Block 12) für
jedes Frequenzband so festgelegt, daß sie gerade oberhalb des Systemrauschens
in diesem Frequenzband liegen, wobei die Schwellwerte in jedem Zyklus
aktualisiert werden. Hierzu werden im n-ten Zyklus zusätzlich im
Leistungsspektrum, also in der Fourier-Transformierten, diejenigen
frequenzabhängigen
Beträge
bestimmt, die die frequenzabhängigen
Schwellwerte nicht übersteigen
(Block 21). Bezogen auf die Bildkoordinaten ist dies überall dort
der Fall, wo der statische Bildhintergrund nicht von dem sich bewegenden
Objekt überdeckt
wird. Mit dieser Rauschleistung wird die im vorangegangenen Zyklus
(n – 1)
ermittelte Rauschleistung R(n) überschrieben.
Das Ergebnis ist die überschriebene
Rauschleistung R(n + 1), die im nachfolgenden Zyklus (n + 1) zur
Bildung der aktuellen Schwellwerte herangezogen werden. Zur Festlegung der
frequenzabhängigen
Schwellwerte (Block 20) für die Bewertung der Fourier-Transformierten
(Block 12) wird die im Zyklus (n – 1) überschriebene Rauschleistung
R(n) herangezogen, die in gleicher Weise wie für den Zyklus n beschrieben
im Zyklus (n – 1)
aktualisiert worden ist. Damit ist die durch die FFT erzielte Rauschbewertung
selbstkalbrierend.
-
Aus der in 4 entnehmbaren Relativlage von Grobkontur
(23) und Feinkontur (24), kann eine qualitative
und quantitative Aussage über
das Bewegungsverhalten des detektierten Objektes im Raum getroffen werden.
Zur Verdeutlichung sind in 6 für vier verschiedene
Beispiele einer möglichen
Objektbewegung eine wie beschrieben bestimmte Grobkontur (23)
und Feinkontur (24) schematisch dargestellt. Im Beispiel
der 6a fährt das Objekt schnell von
links nach rechts, weil die die Objekttrajektorie einschließende Grobkontur (23)
recht langgestreckt ist. Im Ausführungsbeispiel
der 6b fährt das Objekt langsam von
rechts nach links, wobei die qualitative Aussage über die
Geschwindigkeit durch die wesentlich verkürzte Grobkontur (23)
belegt ist. Im Ausführungsbeispiel
der 6c entfernt sich das Objekt nach
links hinten in die Tiefe der Bildebene und im Ausführungsbeispiel
der 6d kommt das Objekt direkt auf
den Betrachter zu.
-
Eine quantitative Aussage über die
Objektgeschwindigkeit und die Objektrichtung kann nur in der Bildebene
getroffen werden. Hier kann die Objektgeschwindigkeit v
2D in
der Bildebene mit Betrag und Richtung gemäß
|v2D| = 2⋅[(xgrob – xfein)2 + (ygrob – yfein)2]1/2⋅r/N (1) berechnet werden (Block
23 und
24)
, wobei x
Grob, y
Grob die
Bildkoordinaten der Grobkontur und x
fein,
y
fei
n die Bildkoordinaten
des Schwerpunkts der Feinkontur sind, sowie r die Bildrate und N
die Anzahl der FFT-Stützpunkte,
also die Anzahl der bei der Fourier-Tranformation verwendeten Einzelbilder,
ist.
-
Die dritte Komponente einer Raumbewegung
eines Objekts, die in die Tiefe der Bildebene oder aus dieser heraus
gerichtet ist, kann nur wie vorstehend beschrieben qualitativ angegeben
werden (Block 25).
