-
Die Erfindung betrifft ein Verfahren zum kamerabasierten Erkennen wenigstens einer Fahrspur in einem entgegen einer Fahrtrichtung eines Fahrzeugs ausgerichteten ersten Sichtbereich nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug, welches das Verfahren nutzt.
-
Um bei einer teil- oder vollautomatisierten Steuerung von Fahrzeugen Manöver gefahrlos durchführen zu können, werden für eine Umgebungserkennung hochpräzise Sensordaten benötigt, welche einer Fahrzeugsteuereinheit zur Steuerung des Fahrzeugs übermittelt werden. Hierzu zählen beispielsweise Informationen von in der Nähe befindlichen weiteren Verkehrsteilnehmern, einem Straßenverlauf oder stationären Umgebungsobjekten. Liegen diese Informationen vor, kann die Fahrzeugsteuereinheit eine Trajektorie für das Fahrzeug unter Vermeidung von Kollisionen berechnen.
-
Ein Teilbereich der Umgebungserkennung stellt dabei das Erfassen von Abständen dar. Hierzu werden beispielsweise Radarsensoren, Lidare, Ultraschallsensoren und/oder Kameras eingesetzt. In Abhängigkeit des Sensortyps können zu verschiedenen Situationen Probleme bei einer Messgrößenerfassung auftreten. So können insbesondere Radarsensoren und Ultraschallsensoren bei Regen, insbesondere bei dem Auftreten von Spritzwasserfontänen, falsche Abstandsinformationen liefern. Tritt Nebel auf, ist die Sichtweite von Kameras eingeschränkt, wodurch diese entfernte Objekte nicht erkennen können. Ein weiteres Problem im Zusammenhang des Einsatzes von Kameras sind Reflektionen, welche beispielsweise bei tiefstehender Sonne auftreten können, da hier helles von der Sonne ausgestrahltes Licht direkt in die Kamera einfällt und somit einen von der Kamera umfassten optischen Sensor blendet. In diesem Fall ist eine korrekte Umgebungserkennung mit Hilfe von Kameras nicht möglich. Bei einem solchen Systemausfall kann das Durchführen von Manövern wie Fahrspurwechseln eingeschränkt oder nicht durchführbar sein.
-
Aus der
DE 10 2017 116 213 A1 ist ein Verfahren und eine Vorrichtung zur Fahrspurerkennung mit einer Rückfahrkamera bekannt. Dabei erfasst eine an einer Rückseite eines Fahrzeugs angebrachte Rückfahrkamera einen rückseitigen Bereich hinter dem Fahrzeug und erzeugt Kamerabilder, welche von einem künstlichen neuronalen Netz zur Erkennung von Fahrspuren und Bereitstellen von Fahrspurinformationen ausgewertet werden. Die dabei erzeugten Fahrspurinformationen werden anschließend einem Fahrerassistenzsystem als zusätzliche Ressource zum Steuern des Fahrzeugs bereitgestellt. Als weitere Ressource werden dem Fahrerassistenzsystem Sensordaten bereitgestellt, welche von einer weiteren Kamera, einem Lidar, einem Radar, einem Ultraschallsystem oder einer Infrarotkamera erzeugt werden. Die mit Hilfe verschiedener Sensortypen erzeugten Sensordaten können dabei für eine Gegenvalidierung von den Sensoren erzeugter Messdaten fusioniert werden. Ferner können die Fahrspurinformationen mit einer Cloud geteilt werden, wobei sie mit Positionsdaten versehen werden, damit weitere Fahrzeuge die erzeugten Fahrspurinformationen eines jeweiligen örtlichen Abschnitts vorab nutzen können. Die Sensordatenfusion umfasst dabei auch eine Fusionierung mit Hilfe wenigstens zweier Kameras erzeugter Daten. Nachteilig ist dabei jedoch, dass die Kamerabilder ausschließlich unter optimalen Bedingungen erzeugbar sind, wodurch eine Durchführung des offenbarten Verfahrens bei widrigen optischen Bedingungen, wie ein Blenden der Kameras durch eine tiefstehende Sonne, nicht möglich ist.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur kamerabasierten Erkennung wenigstens einer hinter einem Fahrzeug liegenden Fahrspuren anzugeben, welches eine Fahrspurerkennung auch bei widrigen optischen Bedingungen wie einer Blendung einer rückwärtigen, die hinter dem Fahrzeug liegenden Fahrspuren erfassenden Kamera, ermöglicht.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum kamerabasierten Erkennen wenigstens einer Fahrspur in einem entgegen einer Fahrtrichtung eines Fahrzeugs ausgerichteten ersten Sichtbereich mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein Fahrzeug, welches das Verfahren nutzt, ergeben sich auch aus den hiervon abhängigen Ansprüchen.
-
Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art erfindungsgemäß dadurch gelöst, dass die zweite Kamera in Fahrtrichtung vorausliegende Fahrspurmarkierungen erfasst und diese mit Hilfe von Geometrie-Informationen und Odometrie-Informationen aus dem zweiten Sichtbereich in den ersten Sichtbereich transponiert werden.
-
Im Falle, dass in einem Bereich hinter dem Fahrzeug eine starke Lichtquelle vorliegt, welche die erste vom Fahrzeug umfasste Kamera blendet, beispielsweise eine tiefstehende Sonne oder direkt auf die erste Kamera ausgerichtete Schweinwerfer eines hinter dem Fahrzeug fahrenden weiteren Fahrzeugs, ist mit Hilfe des Verfahrens eine Erkennung von hinter dem Fahrzeug befindlichen Fahrspuren weiterhin möglich. Da die starke Lichtquelle von einer rückwärtigen Seite auf das Fahrzeug scheint, wird die zweite Kamera durch die starke Lichtquelle nicht beeinträchtigt und kann weiterhin vor dem Fahrzeug liegende Fahrspurmarkierungen erfassen und zum Erkennen der Fahrspuren verwertbare Kamerabilder erzeugen. Mit Hilfe der von der zweiten Kamera erzeugten Kamerabilder werden Fahrspurinformationen generiert, welche eine Zuordnung einer Relativposition zwischen Fahrzeug und Fahrspurmarkierungen erlauben. Bewegt sich das Fahrzeug weiter in Fahrtrichtung fort, wandern die Fahrspurmarkierungen aus dem zweiten in den ersten Sichtbereich. Durch die Zuordnung der Relativposition zwischen Fahrzeug und Fahrspurmarkierungen lässt sich somit eine Position bzw. ein Verlauf der Fahrspuren im rückwärtigen Teil hinter dem Fahrzeug bestimmen, wodurch die Fahrspuren zur Erkennung ebendieser in von der ersten Kamera erzeugten Kamerabilder einblendbar sind.
-
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass die Fahrspurinformationen wenigstens eine der folgenden Informationen umfassen:
- - Fahrspurpunkte zur Kennzeichnung von Fahrspurmarkierungen;
- - eine Anzahl an im ersten Sichtbereich vorhandener Fahrspuren;
- - eine aktuell vom Fahrzeug befahrene Fahrspur;
- - eine Information, ob eine im ersten Sichtbereich vorhandene Fahrspur von einem weiteren Verkehrsteilnehmer befahren wird; und/oder
- - wenigstens eine Fahrspurbreite.
Hierbei handelt es sich um relevante Umgebungsinformationen. Insbesondere mit Hilfe der Fahrspurpunkte lässt sich zudem die Relativposition zwischen Fahrzeug und Fahrspurmarkierungen zuordnen.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens umfassen die Geometrie-Informationen wenigstens eine der folgenden Informationen:
- - geometrische Dimensionen des Fahrzeugs;
- - eine Einbauposition der wenigstens zwei Kameras; und/oder
- - eine Ausrichtung der wenigstens zwei Kameras.
-
Um ein Transponieren der Fahrspurmarkierungen aus dem zweiten in den ersten Sichtbereich zu ermöglichen, müssen Geometrie-Information vorliegen, welche eine Relativposition und eine Ausrichtung zwischen Fahrspurmarkierungen und den von den Kameras erfassten Sichtbereichen beschreiben. Bezüglich der Fahrzeugdimensionen ist insbesondere eine Fahrzeugausdehnung in Fahrtrichtung relevant, da bei einem langen Fahrzeug die Fahrspurmarkierungen beim Befahren der Fahrbahn später im ersten Sichtbereich auftauchen, als bei einem kurzen Fahrzeug.
-
Eine weitere vorteilhafte Ausgestaltung des Verfahrens sieht ferner vor, dass die Odometrie-Informationen wenigstens eine der folgenden Informationen umfassen:
- - eine Fahrgeschwindigkeit des Fahrzeugs; und/oder
- - eine Bewegungsrichtung des Fahrzeugs.
-
Neben den Geometrie-Informationen werden Odometrie-Informationen zur korrekten Vorhersage des Auftauchens der Fahrspurmarkierungen im ersten Sichtbereich benötigt. So tauchen beispielsweise die Fahrspurmarkierungen im ersten Sichtbereich früher auf, je schneller das Fahrzeug fährt. Ebenso ist die Bewegungsrichtung des Fahrzeugs, beispielsweise abgeleitet aus einer Lenkradstellung, entscheidend in welchem Bildausschnitt des ersten Sichtbereichs die Fahrspurmarkierungen auftauchen.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens werden die Fahrspurinformationen einem Fahrerassistenzsystem zum wenigstens teilautomatisierten Steuern des Fahrzeugs übermittelt.
-
Somit lassen sich die Fahrspurinformationen vorteilhaft zur Steuerung des Fahrzeugs nutzen. Insbesondere durch eine Information über die Fahrspurbreite sowie die vom im Fahrzeug befahrene Fahrspur und potenzielle auf weiteren Fahrspuren vorhandene Verkehrsteilnehmer lässt sich das Fahrzeug kollisionsfrei steuern. Dies ist besonders relevant, wenn das Fahrzeug von einem weiteren Fahrzeug überholt wird, beispielsweise einem Einsatzfahrzeug.
-
Bevorzugt ist eine Kalibrierung durchführbar, um Fahrspurmarkierungen zuverlässig aus dem zweiten Sichtbereich in den ersten Sichtbereich zu transponieren, wobei zusätzlich zur zweiten Kamera, die in Fahrtrichtung vorausliegende Fahrspurmarkierungen erfasst, die erste Kamera entgegen der Fahrtrichtung zurückliegende Fahrspurmarkierungen erfasst, um das Transponieren der Fahrspurmarkierungen anzupassen.
-
Das Transponieren der Fahrspurmarkierungen aus dem zweiten in den ersten Sichtbereich erfolgt insbesondere mit Hilfe eines auf einer Recheneinheit ausgeführten Algorithmus unter Ausnutzung der Geometrie-Informationen und der Odometrie-Informationen. Dabei kann es vorkommen, dass beispielsweise aufgrund einer Dejustage einer der Kameraausrichtungen, einer fehlerhaften Geometrie-Informationen und/oder einer fehlerhaften Odometrie-Informationen Sensordaten erzeugt werden, welche nicht der Realität entsprechen. Dies führt dazu, dass die im ersten Sichtbereich eingeblendeten Fahrspurpunkte zur Kennzeichnung der Fahrspurmarkierungen nicht exakt auf den Fahrspurmarkierungen liegen, wodurch Fahrspuren zur Realität versetzt erkannt werden. Mit Hilfe der Kalibrierung kann dieser Versatz ausgeglichen werden. Dies erfordert jedoch, dass optische Bedingungen vorliegen, zu denen auch die erste Kamera die Fahrspurmarkierungen erkennen kann. Erkennt die erste Kamera die im ersten Sichtbereich vorliegenden Fahrspurmarkierungen, können diese mit den aus dem zweiten Sichtbereich in den ersten Sichtbereich transponierten Fahrspurmarkierungen beziehungsweise den Fahrspurpunkten zur Kennzeichnung der Fahrspurmarkierungen zur Deckung gebracht werden. Dabei wird der Algorithmus zum Transponieren der Fahrspurmarkierungen angepasst.
-
Bei einem Fahrzeug mit wenigstens zwei Kameras, einer Recheneinheit und einer Einrichtung zum Erfassen und Verarbeiten von Odometrie-Informationen ist mit Hilfe von den Kameras erzeugter Kamerabilder eine Durchführung des beschriebenen Verfahrens möglich. Dabei liegen Geometrie-Informationen zur Kennzeichnung von Fahrzeugdimensionen, Einbaupositionen der Kameras und/oder von Ausrichtungen der Kameras auf der Recheneinheit vor. Die Odometrie-Informationen können von einem beliebigen Odometrie-System bereitgestellt werden. Beispielsweise können dabei Positions- und/oder Abstandsinformationen von einem GPS, einem Lidar, einem Radar oder Ultraschallsystem erzeugt und daraus Bewegungsinformationen abgeleitet werden. Auch können weitere Fahrzeugsysteme zum Bereitstellen der Odometrie-Informationen genutzt werden, wie das Bestimmen einer Fahrzeuggeschwindigkeit aus einer Raddrehzahl, einer Fortbewegungsrichtung des Fahrzeugs aus einem Lenkwinkel oder Sensordaten, welche von einem ESP, ASR und/oder ABS bereitgestellt werden. Bei dem Fahrzeug kann es sich außerdem um ein beliebiges Fahrzeug wie einen PKW, LKW, eine Baumaschine, eine Landmaschine oder dergleichen handeln.
-
Bevorzugt ist wenigstens eine der Kameras als Multi-Purpose Camera ausgeführt. Dabei handelt es sich um eine Kamera, welche für verschiedene Fahrzeugfunktionen genutzt wird. Dazu zählen beispielsweise das Bereitstellen von Kamerabildern zum Erleichtern eines Einparkvorgangs, zur Detektion von Verkehrszeichen, und/oder weiteren Verkehrsteilnehmern sowie zum Durchführen eines kamerabasierte Odometrieverfahrens und/oder dergleichen. Somit kann eine Vorrichtung zur Durchführung des Verfahrens besonders einfach und günstig gestaltet werden, indem bereits vorhandene Systemkomponenten genutzt werden.
-
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sowie des Fahrzeugs ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figuren näher beschrieben wird.
-
Dabei zeigen:
- 1 eine Draufsicht auf ein Fahrzeug, welches mit einem erfindungsgemäßen Verfahren Fahrspuren erkennt; und
- 2 eine Erfassung von Fahrspurmarkierungen aus Sicht einer in Fahrtrichtung und einer entgegen der Fahrtrichtung ausgerichteten Kamera zu zwei unterschiedlichen Zeitpunkten sowie ein Kamerabild welches von einer geblendeten, entgegen der Fahrtrichtung ausgerichteten Kamera erzeugt wurde.
-
1 zeigt ein in einer Fahrspur 1 fahrendes Fahrzeug 2, welches sich in Fahrtrichtung F in der Fahrspur 1 fortbewegt. Das Fahrzeug 2 umfasst eine erste Kamera 4.1, welche einen ersten Sichtbereich 3.1 erfasst, eine zweite Kamera 4.2, welche einen zweiten Sichtbereich 3.2 erfasst sowie eine Recheneinheit 6, welche von den Kamers 4 erzeugte Kamerabilder empfängt und auswertet. Ferner umfasst das Fahrzeug eine Einrichtung zum Erfassen und Verarbeiten von Odometrie-Informationen 7, die in dem Beispiel aus 1 von der Recheneinheit 6 ausgebildet wird. Ferner liegen auf der Recheneinheit 6 Geometrie-Informationen vor, welche geometrische Dimensionen des Fahrzeugs 2 sowie eine Einbauposition der beiden Kameras 4 und deren Ausrichtung relativ zum Fahrzeug 2 umfassen. Die erste Kamera 4.1 ist dabei so am Fahrzeug 2 angebracht und zu diesem ausgerichtet, dass der erste von ihr erfasste Sichtbereich 3.1 wenigstens teilweise entgegen der Fahrtrichtung F ausgerichtet ist, sodass die erste Kamera 4.1 einen rückwärtigen Teil hinter dem Fahrzeug 2 erfasst. Dabei kann eine erste Kameraachse 8.1 mit einer Fahrzeugachse 9 zusammenfallen, parallel zu dieser sein oder einen Winkelversatz zu dieser aufweisen. Dies gilt entsprechend für die zweite Kamera 4.2 und eine zweite Kameraachse 8.2, wobei der zweite Sichtbereich 3.2 wenigstens teilweise in Fahrtrichtung F ausgerichtet ist.
-
Die Fahrbahn umfasst mehrere Fahrspuren 1, welche durch Fahrspurmarkierungen 5 voneinander getrennt sind. Dabei kann es sich um typische Fahrspurmarkierungen 5 handeln, beispielsweise einen Einzel- oder einen Doppelstrich, wobei der oder die Striche durchgehend oder unterbrochen ausgeführt sein können. Dabei kann es sich insbesondere um einen Mittelstreifen einer Fahrbahn oder eine Kennzeichnung zur Markierung eines Fahrbahnrandes handeln. Ferner kann eine Farbe des Striches weiß, zur Kennzeichnung einer temporär geänderten Verkehrsführung, beispielsweise in einem Baustellenbereich gelb, oder in einer beliebig anderen Farbe ausgeführt sein. Ferner kann die Fahrspur 1 als Beschleunigungs- oder Verzögerungsstreifens zum Auf- oder Abfahren auf einer Autobahn ausgeführt sein.
-
Die zweite Kamera 4.2 erfasst dabei vor dem Fahrzeug 2 vorausliegende Fahrspurmarkierungen 5, welche von der Recheneinheit 6 detektiert und mit Fahrspurpunkten Pmn versehen werden. Dabei werden die Fahrspurpunkte Pmn entsprechend einem regelmäßigen oder unregelmäßigen Muster, beispielsweise in einem regelmäßigen Abstand zueinander, auf die Fahrspurmarkierungen 5 gelegt. Dabei wird jeder Fahrspurpunkt Pmn mit einer eindeutigen Kennung versehen. In dem Beispiel in 1 werden dabei in Fahrtrichtung F links vom Fahrzeug 2 gelegene Fahrspurmarkierungen 5 mit P1n und rechts vom Fahrzeug 2 gelegene Fahrspurmarkierungen 5 mit P2n bezeichnet. Ferner werden die Fahrspurpunkte Pmn entsprechend einem Abstand zum Fahrzeug 2 durchnummeriert. Einem vom Fahrzeug 2 am weitesten entfernten Fahrspurpunkt Pmn wird in diesem Beispiel die Ziffer 1 zugeordnet. Mit abnehmendem Abstand zum Fahrzeug 2 steigt die entsprechende Ziffer an. So folgt auf den Fahrspurpunkt P11 der Fahrspurpunkt P12 , bis hin zum Fahrspurpunkt P1n . Dies gilt entsprechend für die rechte Fahrspurmarkierung 5, welche mit P2n gekennzeichnet ist. Generell ist auch eine beliebige andere Zählweise möglich.
-
Das Beispiel in 1 zeigt dabei zwei Momentaufnahmen. Die Fahrspurpunkte P11 , P12 , P1n , P21 , P22 und P2n liegen zum Zeitpunkt t1 vor dem Fahrzeug 2 im zweiten Sichtbereich 3.2. Dadurch, dass sich das Fahrzeug 2 auf der Fahrbahn in Fahrtrichtung F fortbewegt, liegen die entsprechenden Fahrspurpunkte P11 , P12 , P1n , P21 , P22 und P2n zum Zeitpunkt t1+Δt in Fahrtrichtung F hinter dem Fahrzeug 2 im ersten Sichtbereich 3.1 und werden in von der ersten Kamera 4.1 erzeugte Kamerabilder eingeblendet. Dabei fallen die Fahrspurpunkte Pmn , mit entsprechenden Fahrspurmarkierungen 5 zusammen.
-
Hierzu wurden die Fahrspurpunkte Pmn mit Hilfe eines auf der Recheneinheit 6 ausgeführten Algorithmus unter Einsatz der Geometrie-Informationen und Odometrie-Informationen in den ersten Sichtbereich 3.1 transponiert. Ist es der ersten Kamera 4.1 nicht möglich, aufgrund von widrigen optischen Bedingungen, beispielsweise einer tiefstehenden Sonne, die Fahrspurmarkierungen 5 zu erfassen, so liegen mit Hilfe der Fahrspurpunkte Pmn trotzdem in den von der ersten Kamera 4.1 erzeugten Kamerabildern Informationen zur Kennzeichnung einer Position der Fahrspurmarkierungen 5 vor. Durch eine Analyse der Fahrspurmarkierungen 5 können weitere Fahrspurinformationen generiert werden. Beispielsweise kann eine Anzahl im ersten Sichtbereich 3.1 vorliegender Fahrspuren 1, eine aktuell vom Fahrzeug 2 und/oder von einem weiteren Verkehrsteilnehmer befahrene Fahrspur 1, und/oder eine Fahrspurbreite bFS ermittelt werden. Aus den Fahrspurinformationen lassen sich weitere Erkenntnisse ableiten, wie beispielsweise eine Fahrspurneigung, ein Fahrspurtyp, wie eine Beschleunigungs- oder Verzögerungsspur, oder ein aktuell vom Fahrzeug 2 befahrenes Land, welches auf Basis von typischen länderspezifischen Gesetzen zur Markierung von Fahrspuren erkennbar ist.
-
2 zeigt den mit der zweiten Kamera 4.2 erfassten zweiten Sichtbereich 3.2 zum Zeitpunkt ti sowie den mit der ersten Kamera 4.1 erfassten ersten Sichtbereich 3.1 zum Zeitpunkt t1+Δt . Zur Vereinfachung sind nur ein Randstreifen und eine Mittellinie mit Fahrspurpunkten P1n und P2n versehen, es ist jedoch auch möglich, eine beliebige Anzahl an Fahrspuren mit Fahrspurpunkten Pmn zu versehen. In 2 ließe sich beispielsweise eine weitere Fahrspurmarkierung 5 zur Kennzeichnung eines weiteren Fahrbahnrandes mit Fahrspurpunkten P3n kennzeichnen (nicht dargestellt).
Mit Hilfe eines erfindungsgemäßen Verfahrens lassen sich die Fahrspurpunkte Pmn in den ersten Sichtbereich 3.1 zeigenden Kamerabildern auf den Fahrspurmarkierungen 5 einblenden. Lassen sich die Fahrspurmarkierungen 5, wie im unteren Teil von 2 gezeigt, aufgrund von widrigen optischen Bedingungen, beispielsweise durch ein Auftreten eines aus einer tief stehenden Sonne 10 resultierenden Artefakts in Form eines Lensflares 11, nicht erkennen, so kennzeichnen die Fahrspurpunkte Pmn die Positionen, an denen die Fahrspurmarkierungen 5 tatsächlich vorliegen. Diese Information lässt sich vorteilhafterweise von einem Fahrerassistenzsystem zur wenigstens teilautomatisierten Steuerung des Fahrzeugs 2 verwenden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017116213 A1 [0004]
