-
Die
Erfindung betrifft ein Verfahren und eine Vorrichtung zur luftbildgestützten Umgebungserfassung
bei Kraftfahrzeugen.
-
In
modernen Kraftfahrzeugen werden zunehmend mehr Assistenzsysteme
eingesetzt, welche auf Kartinformation zugreifen. Beispielsweise
kommen dabei Navigationssysteme oder Systeme, welche den Fahrer
vor engen Kurven warnen zum Einsatz. Neuere Systeme basieren auf
einer Kombination aus Kartendaten und Daten von Fahrzeugsensoren
zur Umgebungserfassung. Beispielsweise werden Informationen über die
Krümmung
der Fahrspur aus Kartendaten abgerufen, um eine kamerabasierte Fahrspurerkennung,
insbesondere bei schlechter Sicht, zu verbessern. Auch werden beispielsweise
Geometriedaten der Fahrzeugumgebung aus Kartendaten herangezogen
um die Funktionsweise von Fahrzeugregelsystemen zu verbessern, beispielsweise
von Abstandsregelsystemen (ACC-Systemen).
Kartendaten liefern dabei in vorteilhafter Weise Informationen über die
statistische Fahrzeugumgebung, jedoch weisen diese häufig den
Nachteil auf, dass sie ungenau und veraltet sind. Die Aktualisierung
von Kartendaten ist mit hohen Kosten verbunden und wird deshalb
von den Herstellern nur im Laufe von Monaten bzw. Jahren durchgeführt.
-
In
der
JP 2001050754
A wird ein Navigationssystem für Kraftfahrzeuge gezeigt. Dieses
Navigationssystem soll sich gegenüber bisherigen Navigationssystemen,
bei denen Karteninformationen hinterlegt sind, dadurch auszeichnen,
dass dessen Genauigkeit hinsichtlich der Korrespondenz der Navigationsinformation
und der aktuellen Fahrzeugposition verbessert wird. Hierbei wird
verbesserte Navigationsinformation geliefert, indem Luftbilder der
Erdoberfläche
aufgenommen und angezeigt werden. Bei den Luftbildern handelt es
sich dabei um Bildaufnahmen, welche mittels Flugzeug oder von Satelliten
gewonnnen und sodann im Navigationssystem abgespeichert werden.
-
DE 102004048347 A1 beschreibt
ein Fahrerassistenzsystem, womit dem Fahrer eines Kraftfahrzeugs
der weitere Straßenverlauf
positionsrichtig auf einem Fahrzeugdisplay dargestellt wird. Hierbei werden
die Fahrbahn und der Straßenverlauf
mittels eines bildgebenden Sensors erfasst und erkannt. Der außerhalb
des Sichtfeldes des bildgebenden Sensors liegende Straßenverlauf
wird aus den Straßenkartendaten
einer Navigationsvorrichtung des Kraftfahrzeugs ermittelt. Die Navigationsdaten
werden dabei verbessert, indem die Straßenkartendaten und die Bildinformationen
positionsrichtig zusammengeführt
werden. Diese werden sodann auf einer Bildanzeige dargestellt, um
damit eine Vorhersage des Straßenverlaufs
zu ermöglichen.
-
Der
Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren und eine
Vorrichtung zur luftbildgestützten
Umgebungserfassung bei Kraftfahrzeugen zu schaffen, womit hinsichtlich
der Zuverlässigkeit
und der Genauigkeit eine verbesserte Umgebungserfassung möglich wird.
-
Die
Aufgabe wird gemäß der Erfindung
durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 sowie
eine Vorrichtung mit den Merkmalen des Patentanspruchs 12 gelöst. Vorteilhafte
Ausgestaltungen und Weiterbildungen werden in den Unteransprüchen aufgezeigt.
-
Gemäß der Erfindung
werden ein Verfahren und eine Vorrichtung zur luftbildgestützten Umgebungserfassung
bei Kraftfahrzeugen bereitgestellt. Die Vorrichtung umfasst im Wesentlichen
einen Fahrzeugsensor zur Erfassung von Umgebungsbildern, eine Kommunikationseinheit
womit weitere Bildinformation abgerufen werden sowie eine Rechnereinheit zur
Verarbeitung von Bildaufnahmen bzw. Bildinformation. Im Rahmen des
erfindungsgemäßen Verfahrens
werden fahrzeugbezogene Bildaufnahmen, welche die Fahrzeugumgebung
beinhalten, mittels wenigstens eines Fahrzeugsensors erfasst. Im
Rahmen der Umgebungserfassung wird weitere Bildinformation aus Luftbildaufnahmen
und/oder Bildaufnahmen wenigstens eines stationär angeordneten Bildsensors
herangezogen. Dabei werden die fahrzeugbezogenen Bildaufnahmen durch
die weitere Bildinformation ergänzt.
Hierdurch wird eine luftbildgestützte Umgebungserfassung
bei Kraftfahrzeugen, welche eine verbesserte Umgebungserfassung
hinsichtlich der Zuverlässigkeit
und der Genauigkeit aufweist, erst möglich. Durch die Ergänzung fahrzeugbezogener
Bildaufnahmen mit weiterer Bildinformation aus Luftbildaufnahmen
und/oder stationär
angeordneter Bildsensoren wird in besonders vorteilhafter Weise die
Qualität
der Umgebungserfassung gegenüber
einer rein fahrzeugbezogenen Umgebungserfassung deutlich verbessert.
Dabei wird nicht nur eine höhere Genauigkeit
und Zuverlässigkeit
bei der Umgebungserfassung erzielt, sondern auch die Fahrzeugumgebung
vollständig
ohne Abschattungen erfasst. Bei einer rein fahrzeugbezogenen Umgebungserfassung können im
Gegensatz dazu in Abhängigkeit von
der Position der jeweils eingesetzten Bilderfassungseinheit Abschattungen
in erfassten Umgebungsbildern enthalten sein. Bei einer rein fahrzeugbezogenen Umgebungserfassung
ist daher nur bei großem
Aufwand durch den Einsatz einer Vielzahl an Bildsensoren oder durch
entsprechende Verfahren zum Verfolgen (Tracking) von Objektbewegungen
eine abschattungsfreie Erfassung der Fahrzeugumgebung möglich. Bei
einer Ergänzung
fahrzeugbezogener Bildaufnahmen mit Bildinformationen aus Luftbildaufnahmen
wird selbst beim Einsatz eines einzigen Bildsensors möglich, eine
abschattungsfreie Umgebungserfassung ermöglicht. Der Fahrer kann somit
den kompletten Umgebungsbereich des Fahrzeugs einsehen. In vorteilhafter
Weise werden beim Einsatz der Erfindung keine Kartendaten benötigt. Anstelle
Informationen aus Luftbildaufnahmen zu entnehmen und daraus digitalisierte
Karteninformationen zu generieren und anschließend die Karteninformationen
für den Einsatz
im Fahrzeug in aufwendiger Weise zu vektorisieren, werden im Rahmen
der Erfindung die Bildinformationen von Luftbildaufnahmen bzw. von
stationär
angeordneten Bildsensoren direkt genutzt, um die mittels wenigstens
eines Fahrzeugsensors erfassten fahrzeugbezogenen Bildaufnahmen
in vorteilhafter Weise zu ergänzen.
Im Zusammenhang mit dieser Erfindung kann es sich bei einem Fahrzeugsensor
zur Erfassung von Umgebungsbildern und bei einem stationär angeordneten
Bildsensor um eine beliebige Art von Bildsensor handeln. Beispielsweise
gehören
hierzu Kamera-, Radar- und Lidarsensoren.
-
In
einer gewinnbringenden Weise handelt es sich bei einer Ergänzung von
fahrzeugbezogenen Bildaufnahmen und der weiteren Bildinformation
dabei um eine Bildfusion. Die Verarbeitung der fahrzeugbezogenen
Bildaufnahmen und der Luftbildaufnahmen bzw. der Bildaufnahmen einer
stationären Bildaufnahmeeinheit
findet dabei vorzugsweise im Fahrzeug statt. Im Rahmen der Bildauswertung
wird daraus die Umgebung des Fahrzeugs vermessen und Parameter aus
der Fahrzeugumgebung, wie z.B. der Straßenverlauf, bestimmt. Hierbei
besteht die Möglichkeit
die Bildinformationen unterschiedlicher Arten von Bildsensoren bzw.
unterschiedlicher Arten von Bildquellen zu fusionieren. Die Bildinformationen werden
dabei beispielsweise derart verarbeitet, sodass diese sich auf ein
gemeinsames Bezugskoordinatensystem beziehen und deren Größen wie
z.B. Abbildungsmaßstab,
Farben, Helligkeit usw. miteinander in Bezug gesetzt werden können. Beispielsweise
werden die Luftbildaufnahmen mit Bildinformationen einer Kamera
oder eines Radarsensors zeitgleich im Fahrzeug ausgewertet.
-
Auch
kann es sich bei der Ergänzung
von fahrzeugbezogenen Bildaufnahmen und der weiteren Bildinformation
um eine Überlagerung
von Bildern oder Bildinformationen handeln. Hierbei werden vorzugsweise
Bilder gleicher Größe positionsrichtig überlagert,
wobei Bilder mit unterschiedlicher Größe beispielsweise im Rahmen
einer Vorverarbeitung entsprechend skaliert oder ausgeschnitten
werden. Zur positionsrichtigen Überlagerung
wird sodann beispielsweise eine Objekterkennung durchgeführt, wobei
die positionsrichtige Überlagerung
in Abhängigkeit
gleicher Merkmale, die in den einzelnen Bildern enthalten sind,
erfolgt. Bei der positionsrichtigen Überlagerung hat es sich dabei
besonders bewährt Merkmale
wie z.B. die unmittelbare Fahrzeugumgebung mit der Fahrbahnoberfläche, Markierungen, Fahrspurränder, Gebäudekanten
usw. heranzuziehen. Weiterhin besteht auch die Möglichkeit, dass zur Ergänzung von
fahrzeugbezogenen Bildaufnahmen mit der weiteren Bildinformation
einzelne Bildaufnahmen zusammengesetzt werden. Beim Zusammensetzen
wenigstens einer fahrzeugbezogenen Bildaufnahme mit der Bildinformation
einer Luftbildaufnahme bzw. der Bildinformation wenigstens eines
stationär
angeordneten Bildsensors wird aufgrund der unterschiedlichen Perspektiven
eine lückenlose
und abschattungsfreie Umgebungserfassung möglich, was mit einer einzelnen
fahrzeugbezogenen Bildaufnahme nicht der Fall wäre.
-
In
einer weiteren gewinnbringenden Weise der Erfindung wird die weitere
Bildinformation über eine
geeignete Kommunikationsschnittstelle an das Fahrzeug übertragen.
Beispielsweise kann es sich hierbei um eine drahtlose Kommunikationsverbindung
handeln, wie z.B. eine Bluetooth oder WLAN Verbindung mittels der
die Bildinformationen an das Fahrzeug übertragen werden. Dabei kann
die Kommunikationsverbindung ununterbrochen bestehen, sodass die
Umgebungsbilder fortwährend
aktualisiert werden. Auch kann die Aktualisierung in bestimmten Zeitintervallen,
z.B. beim Aufenthalt in der Werkstatt oder in der Garage erfolgen,
wobei die Bildinformationen im Fahrzeug in einer Speichereinheit
hinterlegt sind. Es können
aber auch andere Kommunikationsverbindungen im Zusammenhang mit
der Erfindung genutzt werden, wie z.B. optische Verbindung oder Telefonverbindungen,
diese eignen sich besonders dann falls lokal an einem bestimmten
Ort Umgebungsinformation in Form von Bildinformation gezielt abgerufen
werden soll.
-
Bei
der weiteren Bildinformation handelt es sich dabei vorzugsweise
um Bildaufnahmen, welche mittels Satellit, Flugzeug oder stationär angeordneten
Bildsensoren gewonnen werden. Die mittels Satellit oder Flugzeug
gewonnen Bildinformationen oder Bildaufnahmen von der Erdoberfläche mit
zugehörigem
Höhenprofil
werden beispielsweise bereits in Verbindung mit so genannten Geografischen
Informationssystemen (GIS) eingesetzt. Auch sind im Zusammenhang
mit den weiteren Bildinformationen stationär angeordnete Bildsensoren
möglich,
derartige Sensoren werden z.B. im Bereich von Verkehrskreuzungen
oder Tunneln bereits eingesetzt. Bei der Bestimmung der stationären Fahrzeugumgebung
ist die stationär
gewonnene Bildinformation gegenüber einer
rein fahrzeugbezogenen Bildaufnahme in den allermeisten Fällen genauer.
Auch sind die mittels einer stationär angeordneten Bilderfassungseinheit
gewonnenen Bildinformationen in der Regel aktueller als im Fahrzeug
hinterlegte Karteninformationen.
-
Im
Zusammenhang mit der Erfindung ist es von großem Vorteil, falls die weitere
Bildinformation mit hoher Genauigkeit registriert ist. Die Luftbildaufnahmen
müssen
dabei mit hoher Genauigkeit registriert sein, was bei Satellitenbildern
bereits üblich
ist. Falls die Bildaufnahmen nicht genau genug registriert sind,
besteht z.B. die Gefahr dass Fehler in der Position des Straßenverlaufs
aufgrund eines nicht genau genug erfassten Höhenprofils entstehen. Auch
müssen
stationär
angeordnete Bildsensoren entsprechend kalibriert sein, damit eine
Verlässlichkeit
der erfassten Umgebungsinformation gewährleistet werden kann. Weiterhin
ist es daher vorteilhaft, falls die fahrzeugbezogenen Bildaufnahmen
und/oder die weitere Bildinformation im Fahrzeug korrigiert werden.
Dadurch können
etwaige Ungenauigkeiten bei der Bilderfassung anschließend im
Fahrzeug mittels geeigneter Algorithmen ausgeglichen werden. Hierzu wird
bei einer besonders bevorzugten Ausgestaltung der Erfindung im Rahmen
der Korrektur eine Objekterkennung durchgeführt. Aufgrund der Objekterkennung
können
dabei Abweichungen anhand von Merkmalen die in den fahrzeugbezogenen
Bildaufnahmen und in den weiteren Bildaufnahmen enthalten sind bzw.
anhand deren Positionen auf einfache und zuverlässige Weise bestimmt werden.
-
Auch
kann es sich bei der weiteren Bildinformation um Bildinformation
aus fahrzeugexternen Datenbanken und/oder dem Internet handeln.
Der Zugriff auf das Internet ist bei heutigen Fahrzeugen bereits
möglich,
beispielsweise werden im Internet Software und Portale zum Abruf
von Umgebungsinformation bereits angeboten, z.B. "Google Earth". Auch sind in diesem
Zusammenhang Bezahldienste möglich,
die beispielsweise per Mobiltelefon abrufbar sind.
-
Die
weitere Bildinformation zu einer einzigen Umgebungsszene kann in
vorteilhafter Weise auch aus wenigstens zwei unabhängigen Bildquellen stammen,
um damit die Zuverlässigkeit
der weiteren Bildinformation zu bestimmen. Durch die Erfassung der
weiteren Bildinformation mittels zweier unabhängiger Bildquellen ist es möglich, dass
das Erkennungsverfahren der Umgebungserfassung selbständig feststellt,
ob die damit erfasste Bildinformation konsistent und korrekt ist.
Beispielsweise stimmt die Bildaufnahme einer Kamera nach einer baulichen Veränderung
einer Straße
nicht mit einer mittels Satellit zuvor erfassten Bildinformation überein.
Ein Fehler bei der fahrzeugbezogenen Bilderfassung lässt sich
nicht mit der Satellitenaufnahme in Deckung bringen, wohingegen
Bildinformationen zweier unabhängiger
Bildquellen für
die weitere Bildinformation in Deckung gebracht werden können, falls
diese konsistent und damit korrekt sind. Andernfalls würde eine
Abweichung auf eine fehlerhafte Erfassung der Umgebungsinformation
hinweisen.
-
Verwendung
des Verfahrens zur luftbildgestützten
Umgebungserfassung bei Kraftfahrzeugen nach einem der Patentansprüche 1 bis
11 oder der Vorrichtung zur luftbildgestützten Umgebungserfassung bei
Kraftfahrzeugen nach Patentanspruch 12 zur exakten Bestimmung der
absoluten Fahrzeugposition. Durch den Einsatz der Erfindung wird
es sogar möglich,
die genaue Fahrzeugposition in einem vorgegebenen Koordinatensystem
genau zu bestimmen. Beispielsweise lässt sich mit gängigen GPS-Systemen
ohne Referenzsignal nur eine Genauigkeit im Bereich von mehreren
Metern bei der Positionsbestimmung erzielen. Durch die Auswertung
von fahrzeugbezogenen Bildaufnahmen in Verbindung mit der weiteren
Bildinformation von Luftbildaufnahmen bzw. ortsfest angeordneten
Bildsensoren wird demgegenüber
eine Genauigkeit im Bereich von wenigen Zentimetern möglich. Neben
der höheren Genauigkeit
bietet ein Einsatz der Erfindung den Vorteil, dass die damit durchführbare Umgebungserfassung überall weltweit
einsetzbar ist. Demgegenüber stehen
beispielsweise GPS-Daten nur in bestimmten Bereichen und teilweise
nur mit eingeschränkter
Auflösung
zur Verfügung.
-
Verwendung
des Verfahrens zur luftbildgestützten
Umgebungserfassung bei Kraftfahrzeugen nach einem der Patentansprüche 1 bis
11 oder der Vorrichtung zur luftbildgestützten Umgebungserfassung bei
Kraftfahrzeugen nach Patentanspruch 12 zur exakten Bestimmung der
Relativposition zwischen Fahrzeugen. Falls zwei oder mehr Kraftfahrzeuge
mit der erfindungsgemäßen Vorrichtung
und dem erfindungsgemäßen Verfahren
ausgestattet sind und diese jeweils fahrzeugbezogene Bildaufnahmen
sowie weitere Bildinformation aus Luftbildaufnahmen bzw. eines stationär angeordneten Bildsensors
erfassen und verarbeiten, besteht durch eine gemeinsame Auswertung
dieser Bildaufnahmen bzw. Bildinformation damit die Möglichkeit
die Relativposition zwischen diesen Kraftfahrzeugen exakt zu bestimmen.
Beispielsweise bestimmen zwei sich begegnende Kraftfahrzeuge anhand
der gemeinsamen Bildinformation ihre relative Position zueinander.
Darüber
hinaus besteht z.B. auch die Möglichkeit,
dass neben der relativen Position zwischen den Fahrzeugen für jedes
Fahrzeug anhand der gemeinsamen Bildinformation dessen Abstand zum
Fahrspurrand bestimmt wird.