-
Die Erfindung betrifft ein Verfahren zur Erfassung einer Umgebung eines Fahrzeugs nach den Merkmalen des Oberbegriffs des Anspruchs 1.
-
Aus dem Stand der Technik sind, wie in der
DE 102 44 148 A1 beschrieben, ein Verfahren und eine Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs bekannt. Das Verfahren wird durchgeführt mittels einer Kamera, mit der digitale Bilder aufgezeichnet werden und mittels einer DV-Einheit, die dazu dient, die digitalen Bilder mit einem Zeitstempel zu versehen und zwischenzuspeichern. Weiterhin wird die Eigenbewegung des Fahrzeugs erfasst, um auf Grundlage dieser Daten aus den zwischengespeicherten Bildern Bildpaare auszuwählen. Mittels eines Algorithmus zur Stereobildverarbeitung wird auf Grundlage von Bildpaaren ein lokales 3-D-Tiefenbild der seitlichen Umgebung eines Fahrzeugs generiert.
-
Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur Erfassung einer Umgebung eines Fahrzeugs anzugeben, mittels welchem eine vorteilhafte räumliche Darstellung der näheren Umgebung des Fahrzeugs ermöglicht wird.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren zur Erfassung einer Umgebung eines Fahrzeugs mit den Merkmalen des Anspruchs 1 gelöst.
-
Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
-
In einem Verfahren zur Erfassung einer Umgebung eines Fahrzeugs werden mittels einer Kamera digitale Bilder der Umgebung erfasst und eine Eigenbewegung des Fahrzeugs ermittelt.
-
Erfindungsgemäß wird mittels zumindest jeweils zwei erfasster Bilder und mittels aus der Eigenbewegung des Fahrzeugs ermittelter Bewegungsvektoren ein dreidimensionales Umgebungsmodell mit Strukturinformationen der erfassten Umgebung des Fahrzeugs erstellt. Mittels des dreidimensionalen Umgebungsmodells und Intensitätswerten von Bildpunkten der erfassten Bilder wird eine auf einer Anzeigeeinheit auszugebende Darstellung der erfassten Umgebung aus zumindest zwei horizontal und/oder vertikal versetzten Perspektiven und einem fließenden Übergang zwischen den Perspektiven gerendert und auf der Anzeigeeinheit abwechselnd mit einer von der menschlichen Wahrnehmung als angenehm empfundenen Wechselfrequenz zeitlich vorwärts und rückwärts periodisch ablaufend dargestellt, so dass eine dreidimensional wirkende Wiedergabe der erfassten Umgebung erreicht wird.
-
Dabei ist die Darstellung aus zwei vertikal versetzten Perspektiven, d. h. eine periodische Vertikalbewegung der Umgebung in der Darstellung, besonders vorteilhaft. Eine derartige Vertikalbewegung der dargestellten Umgebung wird von der menschlichen Wahrnehmung als leicht zu erfassen und besonders angenehm empfunden, weil sie einer natürlichen Augenbewegung und dadurch einer natürlichen Wahrnehmung der Umgebung während des Laufens entspricht.
-
Die erfindungsgemäße Lösung ist beispielsweise als Einparkassistenzsystem in einem Fahrzeug einsetzbar, wobei durch die abwechselnd vorwärts und rückwärts ablaufende Darstellung auf einfache und kostengünstige Weise und mittels lediglich einer einzelnen Kamera ein dreidimensionaler Eindruck der Umgebung des Fahrzeugs erzeugt wird. Dazu ist beispielsweise eine Kamera verwendbar, welche bereits am Fahrzeug für andere Anwendungszwecke installiert ist.
-
Bei einer Mehrzahl am Fahrzeug installierter Kameras, beispielsweise Kameras eines so genannten Surround-View Systems, welches Kameras in Außenspiegeln des Fahrzeugs mit einem sehr breiten Erfassungsbereich und jeweils eine Kamera an einer Front und einem Heck des Fahrzeugs aufweist, ist beispielsweise von einem Fahrzeugführer eine jeweils bevorzugte Kamera zur Durchführung des Verfahrens auszuwählen. Auf diese Weise ist jeweils die Kamera einsetzbar, deren Erfassungsbereich die Erfassung eines den Fahrzeugführer interessierenden Umgebungsbereichs ermöglicht, beispielsweise einer Parklücke hinter, vor oder neben dem Fahrzeug.
-
Die Darstellung erfolgt auf einer Anzeigeeinheit im Fahrzeug, welche beispielsweise ein Monitor eines Navigationssystems ist. Die Wechselfrequenz, mit welcher die Darstellung abwechselnd vorwärts und rückwärts abgespielt wird, beträgt bevorzugt zwischen 1 Hz und 4 Hz, besonders bevorzugt 2 Hz. Auf diese Weise wird ein dreidimensionaler Eindruck erzeugt, wobei diese Wechselfrequenz von der menschlichen Wahrnehmung als angenehm empfunden wird, so dass die Verkehrssicherheit nicht durch beispielsweise auftretende Schwindelgefühle und Übelkeit beeinträchtigt wird.
-
Ausführungsbeispiele der Erfindung werden anhand einer Zeichnung näher erläutert.
-
Dabei zeigt:
-
1 eine schematische Darstellung eines Fahrzeugs während eines Einparkvorgangs in eine Parkbucht in Draufsicht.
-
1 zeigt eine schematische Darstellung eines Fahrzeugs 1 während eines Einparkvorgangs in eine Parkbucht P in Draufsicht. Das Fahrzeug 1 weist im hier dargestellten Beispiel eine Kamera 2 auf, welche an einem Heckbereich des Fahrzeugs 1 positioniert ist. Diese Kamera 2 ist mit einer Bildverarbeitungseinheit 3 verbunden, welche wiederum mit einer Anzeigeeinheit 4 verbunden ist, die in einem Innenraum des Fahrzeugs 1 positioniert ist. Die Anzeigeeinheit 4 ist beispielsweise ein Monitor eines Navigationssystems des Fahrzeugs 1.
-
Im Verfahren zur Erfassung einer Umgebung U des Fahrzeugs 1 werden mittels der Kamera 2 digitale Bilder der Umgebung U erfasst und des Weiteren wird eine Eigenbewegung B des Fahrzeugs 1 ermittelt. Diese Ermittlung der Eigenbewegung B ist beispielsweise durch eine Auswertung von Daten einer Fahrzeugsensorik möglich, d. h. beispielsweise mittels Daten eines Geschwindigkeitssensors, von Radrehzahlsensoren, eines Lenkwinkelsensors, eines Gierwinkelsensors, eines Gierratensensors, von Neigungssensoren und/oder Daten eines Navigationssystems des Fahrzeugs 1.
-
Des Weiteren ist die Eigenbewegung B des Fahrzeugs 1 alternativ oder zusätzlich auch durch eine Auswertung der erfassten Bilder ermittelbar. Dies erfolgt beispielsweise durch eine Auswertung einer Positionsänderung und/oder einer Größenänderung zumindest eines markanten Objektes in zumindest zwei erfassten Bildern. Ein derartiges markantes Objekt ist beispielsweise eine Fahrbahnmarkierung.
-
Nachdem während der Eigenbewegung B des Fahrzeugs 1, vorzugsweise einer langsamen horizontalen Bewegung, wie sie beispielsweise während eines Einparkvorgangs erfolgt, mittels der Kamera 2 zumindest zwei aufeinander folgende Bilder erfasst wurden, werden diese Bilder in der Bildverarbeitungseinheit 3 verarbeitet. Dabei sind mittels der Eigenbewegung B des Fahrzeugs 1 Abweichungen von Kamerapositionen und Kamerawinkeln zwischen den Bildern ermittelbar.
-
In der Bildverarbeitungseinheit 3 wird mittels einer stereoskopischen Auswertung der Bilder unter Verwendung aus der Eigenbewegung B des Fahrzeugs 1 ermittelter Bewegungsvektoren aus den zumindest zwei erfassten Bildern ein dreidimensionales Umgebungsmodell mit Strukturinformationen der erfassten Umgebung U des Fahrzeugs 1 erzeugt. Mittels dieses dreidimensionalen Umgebungsmodells und Intensitätswerten, d. h. beispielsweise Helligkeits- und/oder Farbwerten von Bildpunkten der erfassten Bilder, wird eine auf der Anzeigeeinheit 4 auszugebende Darstellung der erfassten Umgebung U aus zumindest zwei horizontal und/oder vertikal versetzten Perspektiven und einem fließenden Übergang zwischen den Perspektiven gerendert, d. h. es wird eine kurze Szene bzw. ein kurzer Filmabschnitt erzeugt, dessen Anfangs- und Endbild die erfasste Umgebung U aus den beiden Perspektiven zeigt und welcher eine Darstellung eines fließenden Übergangs zwischen den beiden Perspektiven ermöglicht.
-
Während des Renderns können insbesondere bei einer geringen Anzahl erfasster Bilder und einer großen Änderung der Kameraposition und des Kamerawinkels zwischen den Bildern Disparitätssprünge auftreten, d. h. eine starke Tiefenänderung in Bezug zur Kameraposition bei dicht nebeneinander liegenden Bildpunkten, beispielsweise an Kanten eines erfassten Objektes. Im Bereich derartiger Disparitätssprünge entstehen beim Rendern Bildbereiche, deren Bildpunkte bzw. Intensitätswerte der Bildpunkte, d. h. deren Textur nicht bekannt ist und aus den erfassten Bildern nicht ermittelt werden kann, weil diese Bereiche des Objektes auf keinem der erfassten Bilder abgebildet sind. Derartige Bereiche ohne solche Bildinformationen ergeben sich insbesondere auch bei einer mittels des dreidimensionalen Modells simulierten periodischen Vertikalbewegung der Szene zwischen zwei oder mehreren vertikal versetzten Perspektiven, besonders dann, wenn die Bilder aufgrund der Eigenbewegung B des Fahrzeugs 1 und daraus resultierend der Bewegung der Kamera 2 aus horizontal versetzten Perspektiven erfasst wurden und durch das Rendern daraus die vertikal bewegte Darstellung erzeugt werden muss.
-
Diese Bildbereiche können unter Verwendung eines oder mehrerer aus der Bildverarbeitung bekannter Texturextrapolationsverfahren erzeugt und gefüllt werden. D. h. die Textur dieser Bildbereiche wird unter Verwendung beispielsweise angrenzender Bildbereiche extrapoliert. Auf diese Weise wird eine möglichst realistische Darstellung der Umgebung U ermöglicht.
-
In einer weiteren Ausführungsform des Verfahrens können diese Bildbereiche jedoch auch mit einer Farbe gefüllt werden, beispielsweise mit Schwarz oder mit einer auffälligen Farbe. Dies verringert einen Verarbeitungsaufwand in der Bildverarbeitungseinheit 3, wodurch diese einfacher und kostengünstiger ausführbar ist und die Darstellung schneller gerendert werden kann.
-
Des Weiteren ist auf diese Weise ein Fahrzeugführer für mögliche Gefahrenpunkte sensibilisierbar, welche in der Darstellung nicht exakt abgebildet sind und welche aufgrund der Disparitätssprünge, d. h. aufgrund einer plötzlichen starken Tiefenänderung in Bezug zur Kamera 2 beispielsweise ein Gegenstand in der Parkbucht P sein könnten, welche ein Hindernis darstellen könnten. Des Weiteren treten derartige Disparitätssprünge beispielsweise auch an einem oberen Rand einer Bordsteinkante K auf, so dass auch dieser Rand farblich markiert wird, wodurch der Fahrzeugführer gewarnt wird.
-
Um eine Genauigkeit des Renderns zu erhöhen und derartige Bildbereiche, für die keine Texturinformationen vorliegen, zu minimieren, können jedoch auch zwischen den beiden Bildern weitere Bilder erfasst und verarbeitet werden.
-
Ist die Darstellung gerendert, wird sie auf der Anzeigeeinheit 4 abwechselnd mit einer vorgegebenen Wechselfrequenz zeitlich vorwärts und rückwärts periodisch ablaufend dargestellt. Die Wechselfrequenz wird derart vorgegeben, dass sie von der menschlichen Wahrnehmung als angenehm empfundenen wird. Durch die abwechselnd zeitlich vorwärts und rückwärts periodisch ablaufende Darstellung wird eine dreidimensional wirkende Wiedergabe der erfassten Umgebung U erreicht, da die Umgebung U mittels eines kurzen simulierten Kameraschwenks bzw. einer kurzen simulierten Kamerafahrt vorwärts und rückwärts in schneller Abfolge dargestellt wird. Dieses Hin- und Zurückschwenken, wobei Objekte in der erfassten Umgebung U jeweils aus leicht veränderten Perspektiven dargestellt werden, vermittelt einen dreidimensionalen Eindruck der Umgebung U und der Objekte in der Umgebung U des Fahrzeugs 1.
-
Dabei ist die Darstellung aus zwei vertikal versetzten Perspektiven, d. h. eine periodische Vertikalbewegung der Umgebung U in der Darstellung, besonders vorteilhaft. Eine derartige Vertikalbewegung der dargestellten Umgebung U wird von der menschlichen Wahrnehmung als leicht zu erfassen und besonders angenehm empfunden, weil sie einer natürlichen Augenbewegung und dadurch einer natürlichen Wahrnehmung der Umgebung U während des Laufens entspricht.
-
Die vorgegebene Wechselfrequenz, mit welcher die Darstellung abwechselnd zeitlich vorwärts und rückwärts abläuft, beträgt vorzugsweise zwischen 1 Hz und 4 Hz, besonders bevorzugt 2 Hz. Durch dieses schnelle aufeinander folgende Abspielen der Darstellung zeitlich vorwärts und rückwärts wird die Umgebung U für die menschliche Wahrnehmung dreidimensional dargestellt, wobei diese Wechselfrequenz aber von der menschlichen Wahrnehmung noch als angenehm empfunden wird, so dass die Verkehrssicherheit nicht durch beispielsweise auftretende Schwindelgefühle und Übelkeit des Fahrzeugführers beeinträchtigt wird.
-
Bei einer fortgesetzten Eigenbewegung B des Fahrzeugs 1 wird zweckmäßigerweise nach einer vorgegebenen Zeit und/oder nach Erreichen eines vorgegebenen Ausmaßes der fortgesetzten Eigenbewegung B eine weitere Darstellung aus weiteren erfassten Bildern gerendert und auf der Anzeigeeinheit 4 ausgegeben, d. h. die Darstellung der Umgebung U des Fahrzeugs 1 wird fortlaufend an die tatsächlich von der Kamera 2 erfasste Umgebung U angepasst. Auf diese Weise wird eine Kollision des Fahrzeugs 1 mit einem Hindernis aufgrund einer zu stark zeitversetzten Darstellung verhindert.
-
In einer besonders vorteilhaften Ausführungsform des Verfahrens wird die gerenderte Darstellung in der Bildverarbeitungseinheit 3 oder in einer nicht dargestellten Speichereinheit gespeichert und erst zu einem späteren Zeitpunkt auf der Anzeigeeinheit 4 dargestellt. Beispielsweise wird dem Fahrzeugführer während des Einparkvorgangs, solange sich das Fahrzeug 1 bewegt, die Umgebung U so angezeigt, wie sie von der Kamera 2 erfasst wird, um eine Irritation des Fahrzeugführers zu vermeiden. Während sich das Fahrzeug 1 bewegt, erhält der Fahrzeugführer dabei bereits durch das sich durch die Eigenbewegung B des Fahrzeugs 1 verändernde Kamerabild einen räumlichen Eindruck der Umgebung U. Sobald das Fahrzeug 1 zum Stillstand gekommen ist, wird die gerenderte Darstellung auf der Anzeigeeinheit 4 wiedergegeben.
-
Dabei werden beispielsweise Bilder gerendert, welche auf einem letzten Abschnitt der Eigenbewegung B des Fahrzeugs 1 von der Kamera 2 erfasst wurden, beispielsweise auf den letzten zehn Zentimetern, und diese gerenderte Darstellung wird nach dem Stillstand des Fahrzeugs 1 auf der Anzeigeeinheit 4 entsprechend wiedergegeben, so dass der Fahrzeugführer einen zusätzlichen dreidimensionalen Eindruck des Umfeldes U des Fahrzeugs 1 erhält. Auf diese Weise kann der Fahrzeugführer beispielsweise einen noch verbleibenden Abstand zu einem Hindernis besser einschätzen, um danach den Einparkvorgang fortzusetzen.
-
Zur Durchführung des Verfahrens ist beispielsweise eine Kamera 2 verwendbar, welche bereits am Fahrzeug 1 für andere Anwendungszwecke installiert ist. Bei einer Mehrzahl am Fahrzeug 1 installierter Kameras 2, beispielsweise Kameras 2 eines so genannten Surround-View Systems, welches Kameras 2 in Außenspiegeln des Fahrzeugs 1 mit einem sehr breiten Erfassungsbereich und jeweils eine Kamera 2 an einer Front und, wie hier dargestellt, im Heckbereich des Fahrzeugs 1 aufweist, kann beispielsweise von einem Fahrzeugführer eine jeweils bevorzugte Kamera 2 zur Durchführung des Verfahrens ausgewählt werden. Auf diese Weise ist jeweils die Kamera 2 einsetzbar, deren Erfassungsbereich die Erfassung eines den Fahrzeugführer interessierenden Umgebungsbereichs U ermöglicht, im dargestellten Beispiel die Parkbucht P hinter dem Fahrzeug 1.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Kamera
- 3
- Bildverarbeitungseinheit
- 4
- Anzeigeeinheit
- B
- Eigenbewegung
- K
- Bordsteinkante
- P
- Parkbucht
- U
- Umgebung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
