-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Korrektur der bildlichen Darstellung einer Fahrzeugumgebung, wobei mittels wenigstens einer Kamera Bilder der Fahrzeugumgebung erfasst und einem Fahrzeugführer auf einer Anzeigeeinheit angezeigt werden.
-
Eine Vorrichtung zur bildlichen Darstellung zumindest eines Bereichs der Umgebung eines Fahrzeugs ist beispielsweise aus der
DE 197 341 896 C2 bekannt. Die Vorrichtung umfasst dabei zumindest eine Kamera, mit einem Sensor zur Erfassung von Bildinformationen, und zumindest einen Bildschirm, der zur Darstellung der sensorisch erfassten und elektronisch bearbeiteten Bildinformationen ausgebildet und im Innenraum des Fahrzeugs im Sichtbereich des Fahrers angeordnet ist.
-
Weiterhin sind bereits Systeme bekannt, bei denen mittels mehrerer Kameras das gesamte Umfeld des Fahrzeug erfasst wird, und bei denen, aus den mittels der mehreren Kameras erfassten Einzelbildern, ein Gesamtbild der Fahrzeugumgebung generiert und Fahrzeuginsassen zur Anzeige gebracht wird. Derartige Kamerasysteme werden auch als Surround View Systeme bezeichnet, bzw. als Rundumsicht-, Top View oder 360°-Sicht-System.
-
Insbesondere kamerabasierte Spiegelersatzsysteme, wie beispielsweise aus der
DE 10 2007 044 536 A1 bekannt, umfassen eine oder mehrere Bildwiedergabeeinrichtungen, die im Sichtbereich des Fahrzeugführers angeordnet sind und laufend die von Bildaufnahmeeinrichtungen erzeugte Bilddaten wiedergeben. Die Bildaufnahmeeinrichtungen sind dabei meist auf der linken und rechten Seite im Außenbereich des Fahrzeugs angeordnet, beispielsweise im Bereich der A-Säule und mit Blickrichtung nach hinten.
-
Bislang werden Vorrichtungen zur bildlichen Darstellung der Fahrzeugumgebung überwiegend für Funktionen bei niedrigen Fahrzeuggeschwindigkeiten eingesetzt, insbesondere zur Unterstützung bzw. Verbesserung der Sicht des Fahrers beim Rangieren seines Fahrzeugs, z.B. beim Rückwärtsfahren oder beim Ein- bzw. Ausparken.
-
Mit der Markteinführung kamerabasierter Spiegelersatzsysteme sowie mit zunehmendem Einsatz der Vorrichtungen zur bildlichen Darstellung der Fahrzeugumgebung auch bei höheren Fahrzeuggeschwindigkeiten, ergeben sich jedoch verschiedene Probleme, insbesondere bei den bislang eingesetzten Lösungen.
-
Ein wesentliches Problem bei höheren Fahrzeuggeschwindigkeiten, insbesondere bei Kameras mit einem Bildsensor mit zeilen- bzw. spaltenweiser Bilderfassung bzw. Bildauslesung, ist der sogenannte Rolling-Shutter-Effekt.
-
Unter dem Rolling-Shutter-Effekt sind insbesondere Lagefehler von Bildpunkten in Abbildungen zu verstehen, die bei der Aufnahme einer Szene mit einer bewegten Kamera mit nacheinander ausgelesen Bildzeilen oder -spalten entstehen. Dies führt zur Verzerrungen im erfassten bzw. angezeigten Bild. Objekte können dabei insbesondere gestreckt, gestaucht und schief sowie verwaschen bzw. verwischt abgebildet werden.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Lösung anzugeben, insbesondere für den Einsatz der bekannten Vorrichtungen zur bildlichen Darstellung der Fahrzeugumgebung bei höheren Fahrzeuggeschwindigkeiten, wobei der sogenannte Rolling-Shutter-Effekt vermieden und damit die Qualität und Genauigkeit der Darstellung der Fahrzeugumgebung verbessert wird, insbesondere bei höheren Fahrzeuggeschwindigkeiten.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen nach Anspruch 1 sowie durch eine korrespondierende Vorrichtung mit den Merkmalen nach Anspruch 9 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.
-
Das erfindungsgemäße Verfahren dient zur Korrektur der bildlichen Darstellung einer Fahrzeugumgebung. Das Verfahren kann beispielweise bei den aus dem Stand der Technik bekannten Verfahren und Vorrichtungen zum Einsatz kommen, bei denen mittels wenigstens einer an einem Fahrzeug angeordneten Kamera Bilder aus zumindest einem Bereich der Fahrzeugumgebung erfasst werden, und wobei die erfassten Bilder auf wenigstens einer im Sichtbereich des Fahrers des Fahrzeugs angeordneten Anzeigeeinrichtung wiedergegeben werden. Bei dem zumindest einen Bereich der Fahrzeugumgebung handelt es sich insbesondere um einen bestimmten Winkelbereich der Umgebung um das Fahrzeug, beispielsweise ein in Fahrtrichtung vorausliegende Winkel- bzw. Sichtbereich, oder auch ein seitlicher oder rückwärtiger Sichtbereich. Besonders vorteilhaft ist die Anwendung des erfindungsgemäßen Verfahrens, wenn die Bilderfassung mittels einer Kamera erfolgt, die mit einem Bildsensor mit zeilen- oder spaltenweiser Bilderfassung bzw. Bildauslesung ausgebildet ist.
-
Im Rahmen des erfindungsgemäßen Verfahrens erfolgt eine Korrektur der bildlichen Darstellung der Fahrzeugumgebung, insbesondere eine Korrektur von Lagefehlern von Bildpunkten in den erfassten Bildern der Fahrzeugumgebung. Die Korrektur der Lagefehler von Bildpunkten erfolgt dabei erfindungsgemäß zumindest in Abhängigkeit der Geschwindigkeit des Fahrzeugs, insbesondere in Abhängigkeit der Fahrzeuggeschwindigkeit zum Zeitpunkt der Bilderfassung. Hierbei kann, bevorzugt bei der Erzeugung der mittels der Anzeigeeinrichtung anzuzeigenden Bilder, in Abhängigkeit der Fahrzeuggeschwindigkeit, sowie optional in Abhängigkeit weiterer Eingangsgrößen, die Pixelverschiebung, die aufgrund des Rolling-Shutter-Effekts in den mittels der Kamera erfassten Bildern verursacht wird, berechnet werden. Die berechnete Pixelverschiebung kann dann zur Korrektur der Lage der entsprechenden Bildpunkte in den anzuzeigenden Bildern verwendet werden.
-
Das erfindungsgemäße Verfahren hat den wesentlichen Vorteil, dass die Bildqualität, bei der bildlichen Darstellung der Fahrzeugumgebung bei höheren Fahrzeuggeschwindigkeiten, deutlich verbessert wird, insbesondere für die genannten Surround View Systeme sowie für die kamerabasierten Spiegelersatzsysteme. Eine Erhöhung der Bildrate, beispielsweise von 30 fps auf 60 fps, die bislang zur Kompensierung des Rolling-Shutter-Effekts erfolgen muss, ist nicht mehr erforderlich. Weiterhin sind keine kostspieligen Bildsensoren mehr erforderlich, insbesondere keine sogenannten Rolling-Shutter-Bildsensoren, die in der Lage sind, den Rolling Shutter Effekt zumindest teilweise zu kompensieren.
-
Im Rahmen des erfindungsgemäßen Verfahrens können neben der Fahrzeuggeschwindigkeit zur Korrektur der Lagefehlern von Bildpunkten zusätzlich weitere Eingangsgrößen bei der Korrektur der Lagefehler berücksichtigt werden. Zu den zusätzlichen Eingangsgrößen können dabei extrinsische Parameter der Kamera zählen. Unter extrinsischen Kameraparametern sind insbesondere die Position und die Orientierung der Kamera zu verstehen, beispielsweise in einem welt- oder fahrzeugbezogenen Koordinatensystem, einschließlich der X-, Y-, Z-Position sowie des Nick-, Gier- und Wank- bzw. Rollwinkels der Kamera. Weiterhin können zu den Eingangsgrößen intrinsische Parameter der Kamera zählen. Zu den intrischen Kameraparametern zählen insbesondere die Brennweite, die Position des Bildmittelpunktes und die Pixelskalierung der Kamera.
-
Im Rahmen des erfindungsgemäßen Verfahrens kann zur Korrektur der Lagefehler von Bildpunkten zusätzlich die Bewegungsrichtung des Fahrzeugs berücksichtigt werden, beispielsweise in Abhängigkeit des Lenkwinkels und/oder in Abhängigkeit einer ermittelten Quergeschwindigkeit des Fahrzeugs. Dabei kann insbesondere die Bewegungstrajektorie des Fahrzeugs ermittelt und die aufgrund der Bewegungstrajektorie verursachte Pixelverschiebung berechnet werden.
-
Die Korrektur von Lagefehlern kann im Rahmen des erfindungsgemäßen Verfahrens weiterhin in Abhängigkeit eines bekannten Umgebungsmodells der Fahrzeugumgebung erfolgen, insbesondere dann, wenn es sich bei der bildlichen Darstellung der Fahrzeugumgebung nicht um die Anzeige eines real erfassten Kamerabildes handelt, bei dem die Darstellungsperspektive des angezeigten Bildes der Perspektive der Kamera entspricht, sondern um eine Darstellung der Fahrzeugumgebung aus einer virtuellen Perspektive. Bei der virtuellen Perspektive kann es sich beispielsweise um eine Vogelperspektive handeln, d.h. um die Darstellung der Fahrzeugumgebung aus der Perspektive eine virtuellen (real nicht existieren) Kamera oberhalb des Fahrzeugs. Dann kann im Rahmend es erfindungsgemäßen Verfahrens das Umgebungsmodell, das für die Transformation des real erfassten Kamerabildes in die jeweilige virtuelle Perspektive verwendet wird bzw. wurde, ebenfalls für die Korrektur der Lagefehlern der Bildpunkten verwendet werden. Das vorhandene Umgebungsmodell kann dabei insbesondere in Abhängigkeit der Fahrzeuggeschwindigkeit, sowie optional weiterer Eingangsgrößen, korrigiert bzw. angepasst werden.
-
Gemäß einer besonderen Ausgestaltung des erfindungsgemäßen Verfahrens, insbesondere bei ermittelter Geradeausfahrt, d.h. bei im Wesentlichen lenkungsfreier Fahrt, kann die Korrektur der Lagefehler durch einfache spalten- oder zeilenweise lineare Verschiebung der Bildpunkte in Abhängigkeit der Geschwindigkeit des Fahrzeugs erfolgen.
-
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens kann die Korrektur der Lagefehler durch Berechnung der Verschiebung der Lage von Bildpunkten in den erfassten Bildern (4), insbesondere im 2-dimensionalen Kamerabild, gegenüber deren tatsächlichen Lage in der beobachteten Objektszene, d.h. insbesondere der originalen Objektposition, aufgrund der Geschwindigkeit des Fahrzeugs erfolgen.
-
Bei der bildlichen Darstellung der Fahrzeugumgebung handelt es sich insbesondere um eine Echtzeitdarstellung der Fahrzeugumgebung, d.h. insbesondere um ein sogenanntes Livebild.
-
Die Geschwindigkeit und/oder die Bewegungsrichtung des Fahrzeugs können im Rahmen des erfindungsgemäßen Verfahrens insbesondere direkt mittels Bildverarbeitung der mittels der wenigstens einen Kamera erfassten Bilder Fahrzeugumgebung erfolgen, beispielsweise durch Ermittlung von Flussvektoren des optischen Flusses in den Bildern.
-
Die Erfindung betrifft ferner eine Vorrichtung die zur Umsetzung des erfindungsgemäßen Verfahrens ausgebildet ist, insbesondere eine Vorrichtung zur bildlichen Darstellung einer Fahrzeugumgebung, umfassend wenigstens eine Kamera, die zur Erfassung von Bildern aus zumindest einem Bereich der Fahrzeugumgebung ausgebildet ist, und wenigstens eine Anzeigeeinrichtung, die im Sichtbereich eines Fahrers des Fahrzeugs angeordnet und zur Anzeige der erfassten Bilder ausgebildet ist. Die Vorrichtung umfasst dabei vorzugsweise Mittel zur Korrektur von Lagefehlern von Bildpunkten in den Bildern gemäß einem Verfahren nach einem der vorangehend genannten Ausgestaltungen, insbesondere in Abhängigkeit der Geschwindigkeit des Fahrzeugs.
-
Weitere Vorteile sowie optionale Ausgestaltungen gehen aus der Beschreibung und den Zeichnungen hervor. Ausführungsbeispiele sind in den Zeichnungen vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert.
-
Nachfolgend wird unter Bezugnahme auf die 1 bis 4 die Funktionsweise des erfindungsgemäßen Verfahrens zur Korrektur der bildlichen Darstellung einer Fahrzeugumgebung beschrieben.
-
1 zeigt eine mittels einer an einem Fahrzeug angeordneten Kamera 1 zu erfassende Szene. In diesem Fall handelt es sich beispielhaft um einen rechteckigen Bereich der Fahrzeugumgebung 2 in der sich ein Objekt 3 befindet, das als Pfeil dargestellt ist.
-
In den 2 bis 4 sind die mittels der Kamera 1 erfassten Bilder 4 der in 1 dargestellten Szene dargestellt, wobei die Kamera 1 jeweils eine unterschiedliche Anordnung bzw. Ausrichtung zur Fahrtrichtung 5 des Fahrzeugs aufweist.
-
Bei der Kamera 1 handelt es sich insbesondere um eine Kamera 1 mit einem Bildsensor, beispielsweise ein CMOS-Bildsensor, dessen lichtempfindliche Elemente, die auch als Pixel oder Bildpunkte bezeichnet werden können, nicht exakt zum gleichen Zeitpunkt ausgelesen werden. Vielmehr erfolgt eine zeilenweise Auslesung. Der Bildsensor kann dabei beispielsweise eine Auflösung von 1280×800 Bildpunkten aufweisen, d.h. der Bildsensor umfasst insgesamt 800 Bildpunktzeilen L1 bis Ln. Bei zeilenweiser Auslesung und einer Bildrate von 30 Bildern pro Sekunde (Frames/sec bzw. fps), würde dies eine Auslesezeit von 0,33 ms (msec) pro Bild und entsprechend für die 800 Bildpunktzeilen bedeuten. Diese Auslesezeit ist verhältnismäßig kurz. Wie einleitend erwähnt, führt das zeitversetze Auslesen der Bildpunktzeilen L1 bis Ln jedoch bei entsprechend hoher Geschwindigkeit des Fahrzeugs zum sogenannten Rolling-Shutter-Effekt, d.h. zu Lagefehlern von Bildpunkten in den erfassten Bildern 4. Ein Objekt 3 in der Fahrzeugumgebung 2 kann dabei in den erfassten Bildern 4 verzerrt erscheinen, insbesondere gestaucht, gestreckt und/oder krumm sowie unscharf bzw. verwaschen.
-
2 zeigt das erfasste Bild 4, der in 1 dargestellten Szene, mittels einer in Fahrtrichtung 5 des Fahrzeugs ausgerichteten Kamera 1. Aufgrund des bereits beschriebenen Rolling-Shutter-Effekts bei zeilenweiser Bilderfassung, kommt es aufgrund der Eigenbewegung der Kamera 1 zu Lagefehlern von Bildpunkten. Das Objekt 3 erscheint im erfassten Bild 4 gestreckt.
-
3 zeigt das erfasste Bild 4, der in 1 dargestellten Szene, mittels zur Seite, d.h. quer zur Fahrtrichtung 5 des Fahrzeugs, ausgerichteten Kamera 1. Aufgrund des Rolling-Shutter-Effekts kommt es, wie bereits bei der Situation in 2, aufgrund der Eigenbewegung der Kamera 1 zu Lagefehlern von Bildpunkten. Das Objekt 3 erscheint in diesem Fall im erfassten Bild 4 schief.
-
4 zeigt das erfasste Bild 4, der in 1 dargestellten Szene, mittels einer entgegen der Fahrtrichtung 5 des Fahrzeugs ausgerichteten Kamera 1. Aufgrund des Rolling-Shutter-Effekts kommt es, wie bereits bei 2 und 3, aufgrund der Eigenbewegung des Fahrzeugs zu Lagefehlern von Bildpunkten. Das Objekt 3 erscheint in diesem Fall im erfassten Bild 4 gestaucht.
-
Bei dem erfindungsgemäßen Verfahren erfolgt zur Korrektur der Lagefehlern von Bildpunkten, wie diese beispielhaft in 2 bis 4 dargestellt sind, eine Korrektur dieser Lagefehler in Abhängigkeit der Geschwindigkeit des Fahrzeugs, insbesondere im erfassten bzw. erzeugten Bild.
-
Werden beispielsweise, entsprechend 2 bis 4, mittels einer einzelnen Kamera 1 Bilder 1 eines Bereichs der Fahrzeugumgebung erfasst und wird mittels einer Anzeigeeinheit das erfasste Bild angezeigt, insbesondere das real erfasste Kamerabild, kann gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens, die Korrektur der Lagefehler der Bildpunkten durch einfache durch zeilen- oder spaltenweise lineare Verschiebung erfolgen, insbesondere mittels 1-dimensionaler Verschiebung bzw. Filterung für Subpixelgenauigkeit. Dabei müssen insbesondere nur die Pixel einer Zeile bzw. Spalte mit den Pixeln der jeweils darauffolgenden Zeile bzw. Spalte verrechnet bzw. verschoben werden. Dies führt zu einer besonders rechen- und speichereffizienten Lösung.
-
Bei dem in 2 skizzierten Fall würde dies bedeuten, dass die Bildpunktzeilen L1 bis Ln bei der Erzeugung des anzuzeigenden Bildes in vertikaler Richtung, d.h. in Spaltenrichtung, zusammengeschoben würden. Dabei könnte bei der Erzeugung des anzuzeigenden Bildes in Abhängigkeit der Fahrzeuggeschwindigkeit regelmäßig eine oder mehrere Bildpunktzeilen ausgelassen oder zusammengefasst werden.
-
Bei dem in 3 skizzierten Fall würde eine Korrektur durch zeilenweise lineare Verschiebung der Bildpunkte hingegen bedeuten, dass die Bildpunktzeilen L1 bis Ln bei der Erzeugung des anzuzeigenden Bildes in horizontaler Richtung, d.h. in Zeilenrichtung, verschoben werden würden. Dabei könnte bei der Erzeugung des anzuzeigenden Bildes in Abhängigkeit der Fahrzeuggeschwindigkeit mit zunehmender Zeilenfolge L1 bis Ln eine zunehmend große Verschiebung der Bildpunktzeilen durchgeführt werden, in diesem Fall vorzugsweise nach rechts, d.h. in Fahrtrichtung des Fahrzeugs.
-
Bei dem in 4 skizzierten Fall würde eine Korrektur durch zeilenweise und lineare Verschiebung der Bildpunkte bedeuten, dass die Bildpunktzeilen L1 bis Ln bei der Erzeugung des anzuzeigenden Bildes gestreckt bzw. auseinandergezogen würden. Dabei könnte, insbesondere wenn die Bildauflösung der Kamera kleiner oder gleich der Bildauflösung der Anzeigeeinrichtung ist, bei der Erzeugung des anzuzeigenden Bildes in Abhängigkeit der Fahrzeuggeschwindigkeit eine oder mehrere Bildpunktzeilen dupliziert oder es kann beispielsweise aus benachbarten Bildpunktzeilen eine neue zwischengeordnete Bildpunktzeile erzeugt werden.
-
Neben der Geschwindigkeit des Fahrzeugs können erfindungsgemäß noch weitere Eingangsgrößen bei der Korrektur der Lagefehler berücksichtigt werden, beispielswiese die intrinsischen und extrinsischen Kameraparameter sowie die Bewegungsrichtung des Fahrzeugs.
-
Insbesondere dann, wenn es sich bei der bildlichen Darstellung der Fahrzeugumgebung um ein Bild aus einer virtuellen Kameraperspektive handelt, beispielsweise um eine Draufsicht, d.h. um eine bildliche Darstellung der Fahrzeugumgebung aus einer Vogelperspektive, dann die Korrektur der Lagefehler neben der Geschwindigkeit des Fahrzeugs, sowie optional weiterer Eingangsgrößen, zudem ins Abhängigkeit eines Umgebungsmodells der Fahrzeugumgebung erfolgen, insbesondere in Abhängigkeit des Umgebungsmodells für die Erzeugung der virtuellen Kameraperspektive.
-
Bekannte Umgebungsmodelle sind beispielsweise sogenannte Lookup-Tabellen, die bei der Bildverarbeitung für die Transformation eines mittels einer Kamera erfassten realen Bildes, d.h. eines Bild aus einer realen Kameraperspektive, in die Darstellung der erfassten Szene aus der virtuellen Perspektive verwendet werden können. Lookup-Tabellen beschreiben dabei insbesondere welcher Bildpunkt (Pixel) des realen Bildes (von der Kamera erfassten Bild) welche Bildpunktposition im virtuellen Bild (angezeigtes Bild) erhalten soll. Dabei kann beispielsweise grundsätzlich eine ebene (planare), eine gewölbte oder auch eine halbkugelförmige Welt bzw. Bezugsebene (ground plane) angenommen werden, auf welche die Bildpunkte des realen Bildes projiziert bzw. transformiert werden. Alternativ dazu können auch sehr komplexe dreidimensionale Modelle erzeugt und die Bildpunkte auf diese Modelle projiziert werden. In jedem Fall können im Rahmen des erfindungsgemäßen Verfahrens die Umgebungsmodelle in Abhängigkeit der Fahrzeuggeschwindigkeit, sowie optional weiterer Eingangsgrößen, korrigiert bzw. angepasst werden, um die erfindungsgemäße Korrektur der Lagefehler von Bildpunkten zu erreichen. Dabei kann beispielsweise die reale Bewegung der Bildpunkte in der Bezugsebene (ground plane) ermittelt und daraus ein Korrekturfaktor für die Erzeugung des anzuzeigenden Bildes berechnet werden.
-
Bezugszeichenliste
-
- 1
- Kamera
- 2
- Fahrzeugumgebung
- 3
- Objekt
- 4
- Bilder
- 5
- Fahrtrichtung
- L1
- erste Bildpunktzeile
- Ln
- n-te Bildpunktzeile
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 197341896 C2 [0002]
- DE 102007044536 A1 [0004]
