WO2010083970A1

WO2010083970A1 - Verfahren zur bestimmung von korrespondenzen von bildpunkten in stereoskopisch aufgenommenen bildern

Info

Publication number: WO2010083970A1
Application number: PCT/EP2010/000248
Authority: WO
Inventors: Uwe Franke; Stefan Gehrig; Stefan Hahn
Original assignee: Daimler Ag
Priority date: 2009-01-26
Filing date: 2010-01-18
Publication date: 2010-07-29
Also published as: DE102009006125A1

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten (P1, P2) in stereoskopisch mittels Kameras aufgenommenen Bildern (B1, B2), bei dem anhand eines Vergleiches von Koordinaten korrespondierender Bildpunkte (P1, P2) der Bilder (B1, B2) ein Disparitätsbild (D) ermittelt wird. Dabei werden in einer Bildvorverarbeitung bei horizontal nebeneinander angeordneten Kameras mittels eines Kantenfilters horizontale Kanten (H1, H2) aus den stereoskopisch aufgenommenen Bildern (B1, B2) gefiltert.

Description

Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern

Die Erfindung betrifft ein Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch mittels Kameras aufgenommenen Bildern, bei dem anhand eines Vergleiches von Koordinaten korrespondierender Bildpunkte der Bilder ein Disparitätsbild ermittelt wird.

Systeme zu stereoskopischen Bilderfassung erfordern eine präzise Kalibrierung der Kameras, da bereits geringste Kalibrierfehler, auch als Dekalibrierungen bezeichnet, zu einer ungenauen dreidimensionalen Rekonstruktion aus zweidimensionalen Bildern, vor allem an Kanten, welche parallel zu einer Stereobasislinie verlaufen, führen.

Aus der JP 2001 116 545 A ist eine Vorrichtung zur Erfassung von Objekten in einer Umgebung eines Fahrzeuges bekannt. Dabei sind zwei Kameras an dem Fahrzeug angeordnet, anhand welcher Bilddaten von Objekten einer Fahrzeugumgebung erfassbar sind. Zur Filterung von Kanten aus den Bilddaten ist ein Kantenfilter vorgesehen, wobei auf Kantenlinien ein Suchbereich gesetzt wird. Weiterhin ist eine stereoskopische Zuordnungseinheit zur Zuordnung von Bilddaten eines linken und eines rechten Bildes und einer Z-Koordinate zu dem spezifizierten Suchbereich vorgesehen, wobei die Z- Koordinate einen Abstand jedes Kantenpunktes einer vertikalen Kantenlinie von der jeweiligen Kamera darstellt und aus einer Parallaxe der Kameras ermittelt wird. Für eine horizontale Kantenlinie, für welche die Parallaxe der Kameras nicht ermittelbar ist, ist eine Interpolationseinheit vorgesehen, anhand derer die Z-Koordinate basierend auf den vertikalen Kantenlinien interpoliert wird. Allen Kantenpunkten, welche horizontale Kantenlinien und Umrisskantenlinien des Objektes umfassen, sind dreidimensionale Koordinaten zuordbar. Ferner ist eine Objekterkennungseinheit vorgesehen, mittels welcher eine Größe, eine Form und eine Lage des Objektes aus den Koordinaten des Kantenbildes ableitbar sind. Weiterhin ist aus einer Kontinuität der horizontalen und vertikalen Kantenlinien ein Einbezug des Objektes einschätzbar.

Die US 2007/0291992 A1 offenbart eine Vorrichtung zur Entfernungsmessung, welche eine Bildverarbeitung nutzt. Mittels der Vorrichtung ist eine Entfernung zu einem Objekt, welches viele schiefe Kanten aufweist, ermittelbar. Zu der Ermittlung der Entfernung wird zumindest ein von zwei erfassten Bildern horizontal verkleinert, so dass die schrägen Kanten vertikalen Kanten ähneln, aus welchen charakteristische Endpunkte ermittelt werden. Aus einem Vergleich von Koordinaten der charakteristischen Endpunkte in beiden Bildern wird eine Entfernung zu dem Objekt ermittelt.

Ferner ist aus "H. Hirschmüller: Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information; 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, pp. 807-814" ein Semi-Global- Matching-Algorithmus bekannt, welcher darauf basiert, Transinformation (mutual information) als Ähnlichkeitskriterium zu nutzen. Transinformation oder mutual information ist ein Maß, das die Stärke des statistischen Zusammenhangs zweier Größen, in diesem Fall zweier Bilder angibt. Dabei wird für jede der Größen die Entropie, meist die Shannonentropie und die Vereinigungsentropie (englisch: Joint entropy) beider Größen ermittelt. Die Transinformation ergibt sich aus der Summe der Entropien der Größen abzüglich ihrer Vereinigungsentropie. Weiterhin wird ein Disparitätsbild anhand einer Akkumulation von Kosten entsprechend einer Ähnlichkeit von einzelnen Bildpunkten in zwei erfassten Bildern erzeugt. Sprünge von Disparitäten werden mit Straftermen belegt, wobei ein kleiner Strafterm berücksichtigt wird, wenn sich die Disparität zwischen benachbarten Bildpunkten geringfügig ändert und ein großer Strafterm, wenn eine sprungartige Änderung der Disparität zwischen benachbarten Bildpunkten vorliegt. Man spricht hierbei auch von einer Glattheitsbeschränkung (smoothness constraint).

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in mindestens zwei stereoskopisch aufgenommenen Bildern anzugeben, anhand welchem eine qualitativ hochwertige dreidimensionale Rekonstruktion auch bei nicht optimaler Kalibrierung von Kameras möglich ist.

Die Erfindung wird erfindungsgemäß durch ein Verfahren gelöst, welches die in den beiden unabhängigen Ansprüchen 1 und 2 Verfahrens angegebenen Merkmale aufweist.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche. Bei dem erfindungsgemäßen Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in mindestens zwei stereoskopisch mittels Kameras aufgenommenen Bildern wird anhand eines Vergleiches von Koordinaten korrespondierender Bildpunkte der Bilder ein Disparitätsbild ermittelt. Erfindungsgemäß werden in einer Bildvorverarbeitung bei horizontal nebeneinander angeordneten Kameras mittels eines Kantenfilters horizontale Kanten aus den stereoskopischen Bildern gefiltert. Aufgrund des Herausfilterns der horizontalen Kanten werden auch bei Dekalibrierungen der Kameras sehr gute Ergebnisse bei der dreidimensionalen Rekonstruktion erreicht, da bei horizontal nebeneinander angeordneten Kameras eine Erzeugung von Ungenauigkeiten an horizontalen Kanten, welche in diesem Fall parallel zu der Stereobasislinie verlaufen, durch Dekalibrierungen vermieden werden.

Alternativ oder zusätzlich werden entsprechend einer Ähnlichkeit der korrespondierenden Bildpunkte in den stereoskopisch aufgenommenen Bildern Kosten horizontal, vertikal und diagonal akkumuliert, wobei die Kosten entlang von Kanten erhöht werden. Hieraus resultiert in vorteilhafter Weise, dass Tiefensprünge (=Sprünge der Disparitäten) entlang von horizontalen Kanten verhindert werden und somit ebenfalls eine hohe Robustheit gegenüber Dekalibrierungen horizontal nebeneinander angeordneter Kameras erreicht wird, da angenommen wird, dass sich derartige Strukturen immer in einer gleichen Entfernung bzw. in sich langsam ändernder Entfernung zu den Kameras befindet, was in der Praxis sehr gut zutrifft.

Daraus folgend eignet sich das erfindungsgemäße insbesondere zu einem Einsatz in einem Fahrzeug, bei welchem beispielsweise durch Erschütterungen geringfügige Dekalibrierungen der Kameras auftreten können. Auch ergibt sich in besonders vorteilhafter Weise, dass eine Qualität und Dichte der dreidimensionalen Rekonstruktion steigt sowie eine geringe Anzahl falscher Korrespondenzen zwischen Bildpunkten der stereoskopisch erfassten Bilder sinkt.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.

Dabei zeigt: Fig. 1 schematisch einen ersten Verfahrensablauf zur Bestimmung von

Korrespondenzen von Bildpunkten in stereoskopisch mittels Kameras aufgenommenen Bildern.

Die einzige Figur 1 zeigt einen ersten Verfahrensablauf zur Bestimmung von Korrespondenzen von Bildpunkten P1 , P2 (auch Pixel genannt) in stereoskopisch mittels nicht näher dargestellter, horizontal nebeneinander angeordneten Kameras aufgenommenen Bildern.

Dabei werden in einem ersten Verfahrensschritt S1 , welcher als Bildvorverarbeitung vor einer eigentlichen Bildverarbeitung stattfindet, mittels eines nicht näher dargestellten Kantenfilters horizontale Kanten H1 , H2 aus den stereoskopischen aufgenommenen Bildern B1 , B2 gefiltert. Bei dem Kantenfilter handelt es sich insbesondere um einen Sobel-Operator, einen Prewitt-Operator oder einen anderen geeigneten, aus der Literatur bekannten Kantenfilter, welcher vorzugsweise nur auf vertikale Kanten V1 , V2 anspricht, so dass die horizontalen Kanten H1 , H2 in einfacher Art und Weise gefiltert werden können.

Zur eigentlichen Bildverarbeitung werden die Bilder B1 , B2, welche nur noch vertikale Kanten V1 , V2 aufweisen, in einem zweiten Verfahrensschritt S2 derart verarbeitet, dass mittels zumindest eines der zahlreichen aus dem Stand der Technik bekannten Stereoalgorithmen Koordinaten des Bildpunktes P1 des einen Bildes B1 mit Koordinaten des als potentiell korrespondierend betrachteten Bildpunktes P2 des anderen Bildes B2 verglichen werden. Aus einem Abstand der Bildpunkte P1 und P2 zueinander, einer so genannten Disparität wird der Abstand eines Objektes, welches die Bildpunkte P1 und P2 aufweist, zu den Kameras bestimmt. Nach diesem Algorithmus werden Disparitäten für alle Bildpunkte der Bilder B1 , B2, welche auf den vertikalen Kanten V1 und V2 liegen, erzeugt und ein Disparitätsbild D bzw. eine Disparitätskarte erzeugt, welche eine dreidimensionale Repräsentation des Objekts in seinem Kontext darstellen. Auf diese Weise kann die Entfernung und räumliche Lage des Objekts im Verhältnis zu den Kameras ermittelt werden.

Alternativ zu der Filterung der horizontalen Kanten H1 , H2 mittels des Kantenfilters werden die stereoskopisch erfassten Bilder B1 , B2 im ersten Verfahrensschritt S1 mittels eines Semi-Global-Matching-Algorithmus gemäß "H. Hirschmüller: Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information; 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, pp. 807-814" abgetastet und Kosten entsprechend der Ähnlichkeit der Bildpunkte P1 , P2 horizontal, vertikal und diagonal akkumuliert. Die Kostenberechnung basiert dabei auf einer Berechnung der Transinformation auf die einzelnen Bildpunkte P1 , P2 der Bilder B1 , B2 bezogen.

Abweichend zu dem aus "H. Hirschmüller: Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information; 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, pp. 807-814" bekannten Semi-Global-Matching-Algorithmus, bei welchem Sprünge in Disparitäten benachbarter Bildpunkte, wie sie beispielsweise an Grauwertkanten auftreten, je nach ihrer Größe mit einem kleinen oder einem großen Strafterm belegt werden, werden erfindungsgemäß die Kosten entlang von Kanten H1 , H2, V1 , V2 erhöht, da sich an diesen die Disparitäten nur gering ändern. Somit sind alle Kanten H1 , H2, V1 , V2, jedoch insbesondere die horizontalen Kanten H1 , H2 erfassbar, so dass die horizontalen Kanten H1 , H2 aufgrund der hohen Kosten nicht bei der Erstellung des Disparitätsbildes D berücksichtigt werden.

Weiterhin werden zusätzlich beide Strafterme an den horizontalen Kanten H1 , H2 deutlich erhöht, so dass glatte Lösungen bevorzugt werden. Diese Vorgehensweise nutzt insbesondere den Aspekt, dass horizontale Kanten H1 , H2 insbesondere dann vorliegen, wenn eine Kamera rechtwinklig auf Flächen blickt.

Zusätzlich ist es möglich, die beiden Verfahren, d. h. mittels der Bildvorverarbeitung die Filterung der horizontalen Kanten H1 , H2 anhand des Kantenfilters und die Erhöhung der Kosten bzw. der Strafterme, zu kombinieren. Dabei wird zunächst die Filterung der horizontalen Kanten H1 , H2 im ersten Verfahrenschritt S1 und anschließend im zweiten Verfahrensschritt S2 die Abtastung der Bilder B1 , B2 mittels des Semi-Global-Matching- Algorithmus und die Erhöhung der Kosten bzw. Strafterme durchgeführt. Diese Kombination stellt ein besonders leistungsfähiges, einfach und schnell durchführbares sowie gegen Dekalibrierungen der Kameras nahezu unempfindliches Verfahren dar, da die horizontalen Kanten H1 , H2 unterdrückt und gleichzeitig die Glattheitsbeschränkung, der so genannte smoothness constraint, welche durch die Berücksichtigung der Strafterme realisiert wird, genutzt werden.

Claims

Patentansprüche

1. Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten (P1 , P2) in stereoskopisch mittels Kameras aufgenommenen Bildern (B1 , B2), bei dem anhand eines Vergleiches von Koordinaten korrespondierender Bildpunkte (P1 , P2) der Bilder (B1 , B2) ein Disparitätsbild (D) ermittelt wird, dadurch gekennzeichnet, dass in einer Bildvorverarbeitung bei horizontal nebeneinander angeordneten Kameras mittels eines Kantenfüters horizontale Kanten (H1 , H2) aus den stereoskopisch aufgenommenen Bildern (B1 , B2) gefiltert werden.

2. Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten (P1 , P2) in stereoskopisch mittels Kameras aufgenommenen Bildern (B1 , B2), bei dem anhand eines Vergleiches von Koordinaten korrespondierender Bildpunkte (P1 , P2) der Bilder (B1 , B2) ein Disparitätsbild (D) ermittelt wird, dadurch gekennzeichnet, dass entsprechend einer Ähnlichkeit der korrespondierenden Bildpunkte (P1 , P2) in den stereoskopisch aufgenommenen Bildern (B1 , B2) Kosten horizontal, vertikal und diagonal akkumuliert werden, wobei die Kosten entlang von Kanten (H1 , H2, V1 , V2) erhöht werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in einer Bildvorverarbeitung bei horizontal nebeneinander angeordneten Kameras mittels eines Kantenfilters horizontale Kanten (H1 , H2) aus den stereoskopischen Bildern (B1 , B2) gefiltert werden und anschließend entsprechend einer Ähnlichkeit der korrespondierenden Bildpunkte (P1 , P2) Kosten horizontal, vertikal und diagonal akkumuliert werden, wobei die Kosten entlang von Kanten (H1 , H2, V1 , V2) erhöht werden. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass bei der Ermittlung der Kosten Strafterme berücksichtigt werden, wobei eine Größe der Strafterme in Abhängigkeit von einer Größe der Disparität benachbarter Bildpunkte vorgegeben wird, wobei bei der horizontalen Akkumulation der Kosten die Strafterme an horizontalen Kanten (H1 , H2) erhöht werden.

Bezugszeichenliste

B1, B2 Bild

D Disparitätsbild

H1, H2 Horizontale Kante

P1, P2 Bildpunkt

S1, S2 Verfahrensschritt

V1, V2 Vertikale Kante