-
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Verfolgen einer Fahrspur mit den Schritten der Bereitstellung von Einzelbildern der Fahrspur, der Extraktion von Fahrspurmerkmalen aus den Einzelbildern und der Bereitstellung eines Fahrspurmodells. Ferner bezieht sich die vorliegende Erfindung auf ein Fahrerassistenzsystem und eine Vorrichtung, die jeweils dazu ausgelegt sind, ein solches Verfahren durchzuführen. Außerdem, ist die vorliegende Erfindung auf ein Computerprogrammprodukt gerichtet, das in der Lage ist, das Verfahren zum Verfolgen einer Fahrspur durchzuführen.
-
Verschiedene Fahrerassistenzsysteme sind aus dem Stand der Technik bekannt. Solche Fahrerassistenzsysteme können verschiedene Automatisierungsebenen aufweisen, beginnend mit der Ebene 1 wie beispielsweise der ACC (automatische Distanzregelung), bis zur Ebene 5, vollständig autonomes Fahren. Zum Implementieren dieser Fahrfunktionen, die den Fahrer unterstützen, oder auch der vollständig autonomen Fahrfunktionen ist es erforderlich, dass solche Systeme Objekte, Hindernisse oder andere Verkehrsteilnehmer vorn detektieren können. Außerdem ist es auch in den meisten der Systeme wichtig, abzuschätzen, ob sich solche Objekte oder Hindernisse in der Fahrspur oder im Fahrbereich befinden, der voraussichtlich durch das Eigenfahrzeug durchfahren wird, beispielsweise um die Geschwindigkeit anzupassen und/oder einen bestimmten Sicherheitsabstand zu einem vorausfahrenden Fahrzeug einzuhalten. Wenn beispielsweise ein vorausfahrendes Fahrzeug detektiert wird, aber es sich nicht in der Fahrspur des Eigenfahrzeugs befindet, ist es folglich in einem solchen Fall entweder nicht erforderlich, den Fahrer zu warnen oder das Fahrzeug automatisch abzubremsen. Daher ist es erforderlich, nicht nur jeweils zu wissen, ob Objekte vorn wie beispielsweise vorausfahrende Fahrzeuge grundsätzlich vorhanden sind, sondern auch jeweils so zuverlässig wie möglich zu wissen, ob ein dem Eigenfahrzeug voranfahrendes Fahrzeug sich im Fahrspurbereich befindet oder nicht, der vom Eigenfahrzeug durchfahren wird. Andere spezielle Anwendungen zur Verwendung eines Verfahrens zum Verfolgen einer Fahrspur sind möglich.
-
Die Fahrspurdetektion unter Verwendung von Kamerasystemen war eine der ersten entwickelten Computersicht-ADAS- (fortschrittliches Fahrerassistenzsystem) Funktionen. Solche Fahrspurdetektionssysteme können auf Fahrspurmodellen für Mehrkamera- und Fischaugenkamerasysteme basieren.
-
Das Dokument
WO 2013/022153 A1 beschreibt eine Vorrichtung und ein Verfahren zum Detektieren einer Fahrspur. Die Vorrichtung umfasst ein Kameramodul, das ein Bild aufnimmt. Ferner umfasst die Vorrichtung eine Steuereinheit, die eine Vielzahl von Merkmalspunkten aus dem Bild extrahiert, eine Fahrspuranpassung ausführt, um die Vielzahl von Merkmalspunkten mit einer einzelnen Linie zu verbinden, und die angepasste Fahrspur verfolgt. Eine Anzeigeeinheit zeigt die verfolgte Fahrspur an, wobei die Fahrspuranpassung das Ausführen einer Kurzstreckenanpassung auf der Basis von Merkmalspunkten, die in einer Kurzstreckenreichweite vorhanden sind, unter der Vielzahl von Merkmalspunkten, das Bestimmen eines Versatzes, der eine seitliche Neigung der Fahrspur darstellt, auf der Basis eines Ergebnisses der Kurzstreckenanpassung und das Ausführen einer Kurvenanpassung auf der Basis des Versatzes umfasst.
-
Ferner offenbart das Dokument
US 2013/0141520 A1 ein Fahrspurverfolgungssystem mit einer Kamera. Die Kamera ist dazu ausgelegt, Bilder einer Straße von einem Weitwinkelblickfeld zu empfangen. Eine oder mehrere Fahrspurgrenzen werden detektiert, wobei jede Fahrspurgrenze eine Vielzahl von Fahrspurgrenzpunkten umfasst. Eine hinsichtlich der Zuverlässigkeit gewichtete Modellfahrspurlinie wird an die Vielzahl von Punkten angepasst.
-
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren zum Verfolgen einer Fahrspur in einer verbesserten Qualität bereitzustellen. Ferner sollen eine entsprechende Vorrichtung und ein entsprechendes Computerprogrammprodukt bereitgestellt werden.
-
Gemäß der vorliegenden Erfindung wird diese Aufgabe durch ein Verfahren, eine Vorrichtung und ein Computerprogrammprodukt gelöst, wie in den unabhängigen Ansprüchen definiert.
-
Folglich wird ein Verfahren zum Verfolgen einer Fahrspur bereitgestellt mit den Schritten
- - Bereitstellen von Einzelbildern der Fahrspur,
- - Extrahieren von Fahrspurmerkmalen aus den Einzelbildern und
- - Bereitstellen eines ersten Fahrspurmodells,
sowie
- - Aktualisieren des ersten Fahrspurmodells mit den Fahrspurmerkmalen,
- - Bereitstellen eines statischen zweiten Fahrspurmodells auf der Basis eines Ausreißerdetektionsalgorithmus,
- - Berechnen eines verfolgten Vertrauenswerts für das aktualisierte erste Fahrspurmodell und eines statischen Vertrauenswerts für das statische zweite Fahrspurmodell und
- - Entscheiden auf der Basis beider Vertrauenswerte, ob das aktualisierte erste Fahrspurmodell oder das statische zweite Fahrspurmodell zum Berechnen von gegenwärtigen Informationen über die Fahrspur verwendet werden soll.
-
Ein Fahrzeug, das beispielsweise auf oder in einer Fahrspur fährt, kann die Fahrspur verfolgen müssen, um Unterstützungsinformationen für den Fahrer als gegenwärtige Informationen über die Fahrspur bereitzustellen. Das Fahrzeug kann eine oder mehrere Kameras (z. B. ein Mehrkamerasystem oder ein Fischaugenkamerasystem) zum Bereitstellen von Bildern (auch Einzelbilder genannt) der Fahrspur umfassen. Fahrspurmerkmale wie Fahrtrichtungswinkel, seitliche Position (in Bezug auf das Fahrzeug), Fahrspurbreite und -krümmung werden aus den Einzelbildern extrahiert. Ein erstes Fahrspurmodell vorzugsweise zum Vorhersagen einer Fahrspurposition usw. wird bereitgestellt. Das erste Fahrspurmodell wird mit gegenwärtigen Fahrspurmerkmalen (wie Fahrtrichtungswinkel, seitliche Position, Fahrspurbreite oder -krümmung) aktualisiert.
-
Überdies wird ein statisches zweites Fahrspurmodell bereitgestellt. Das Merkmal „statisch“ bedeutet, dass das Modell nicht mit gegenwärtigen Fahrspurmerkmalen aktualisiert wird. Das zweite Fahrspurmodell basiert vielmehr auf einem festen Ausreißerdetektionsalgorithmus. Dieser Algorithmus unterscheidet zwischen Ausreißern und Einliegern gemäß vorgegebenen Kriterien. In Bezug auf die extrahierten Fahrspurmerkmale wird ein Vertrauenswert für jedes Modell, beispielsweise auf der Basis einer statistischen Hypothese, berechnet. Insbesondere werden ein verfolgter Vertrauenswert für das aktualisierte erste Fahrspurmodell und ein statischer Vertrauenswert für das statische zweite Fahrspurmodell berechnet. Mit Hilfe dieser Vertrauenswerte wird entschieden, das aktualisierte erste Fahrspurmodell oder das statische zweite Fahrspurmodell für weitere Berechnungen in Bezug auf die verfolgte Fahrspur zu verwenden. Vorzugsweise wird jenes Modell verwendet, das den höheren Vertrauenswert liefert. Dies garantiert, dass die berechneten gegenwärtigen Informationen über die Fahrspur (beispielsweise die Fahrspurkoordinaten) genauer sind.
-
In einer bevorzugten Ausführungsform wird die Aktualisierung des ersten Fahrspurmodells durch Vorhersagen einer neuen Version des ersten Fahrspurmodells mit Hilfe von Kalman-Filterung und Anpassen der neuen Version des ersten Fahrspurmodells an die extrahierten Fahrspurmerkmale durchgeführt. Eine solche Prozedur ermöglicht es, das Modell mit einer Vielzahl von Merkmalselementen leicht zu aktualisieren. Diese Merkmalselemente beschreiben die Fahrspur und bilden einen Zustandsvektor für das Kalman-Filter.
-
Vorzugsweise verfolgen das erste Fahrspurmodell und das zweite Fahrspurmodell eine Fahrspurgeometrie über die Zeit. Folglich stellen die Fahrspurmodelle vorzugsweise gegenwärtige Informationen über Fahrspurabmessungen, die Fahrspurposition und/oder die Fahrspurorientierung bereit. Solche Informationen können in Bezug auf den Typ der Fahrspur klassifiziert werden.
-
In einer weiteren vorteilhaften Entwicklung beziehen sich die Fahrspurmerkmale auf Fahrspurmarkierungen und vor dem Aktualisieren des ersten Fahrspurmodells mit Fahrspurmarkierungen werden die Fahrspurmarkierungen in zwei separate Sätze für eine linke Grenze und eine rechte Grenze durch Berechnen einer Trennlinie mit Hilfe des ersten Fahrspurmodells aufgeteilt. Vorzugsweise ist die Trennlinie ein Polynom zweiter Ordnung. Das Vorzeichen des seitlichen Abstandes von der Trennlinie kann verwendet werden, um die Fahrspurmarkierungen in linke Fahrspurmarkierungen und rechte Fahrspurmarkierungen zu klassifizieren. Eine solche Trennung in eine linke und rechte Fahrspurgrenze stellt eine hohe Qualität sicher, wenn das entsprechende Fahrspurmodell angepasst wird.
-
In einer weiteren Ausführungsform wird das statische Fahrspurmodell auf der Basis einer am besten passenden Fahrspurhypothese für die extrahierten Fahrspurmerkmale unter Verwendung einer Stichprobenübereinstimmung und einer Least-Square-Fit bewertet. Insbesondere kann eine spezielle Fahrspurmodellhypothese für jedes Einzelbild berechnet werden. Dies kann in zwei Schritten durchgeführt werden: Stichprobenübereinstimmung (RANSAC) und Least-Square-Fit. Dies führt zu gegenwärtigen Modellparametern, die für das statische Fahrspurmodell verwendet werden.
-
Gemäß einer weiteren Ausführungsform wird für jede einer linken und einer rechten Grenze der Fahrspur eine vorgegebene Anzahl von Merkmalen verwendet, um das statische zweite Fahrspurmodell durch Durchführen von Polynomanpassung zu berechnen. Sechs Merkmale werden beispielsweise zufällig für jede Grenze zum Berechnen eines am besten passenden Kandidatenmodells ausgesucht.
-
Gemäß einer weiteren Ausführungsform wird eines des ersten Fahrspurmodells und des zweiten Fahrspurmodells in einem ersten Zeitschritt verwendet und dieses Modell wird in einem zweiten Zeitschritt, der unmittelbar dem ersten Zeitschritt folgt, immer noch verwendet, falls der direkte Vertrauenswert und der statische Vertrauenswert unter einem vorgegebenen Schwellenwert liegen. Dies bedeutet, dass das Fahrspurmodell zwischen zwei Zeitschritten fest ist. Folglich wird eine Änderung des Fahrspurmodells nur durchgeführt, wenn der jeweilige Vertrauenswert hoch genug ist, d. h. über dem vorgegebenen Schwellenwert liegt.
-
Überdies kann der direkte Vertrauenswert für eine Hypothese in Bezug auf das erste Fahrspurmodell berechnet werden und der statische Vertrauenswert wird für eine Hypothese in Bezug auf das zweite Fahrspurmodell auf der Basis der Fahrspurmerkmale aus den Einzelbildern berechnet. Folglich können Fahrspurmarkierungen in Bezug auf die zwei verschiedenen Modelle zuverlässig klassifiziert werden.
-
In einer anderen Ausführungsform wird der Vertrauenswert für jedes des ersten und des zweiten Fahrspurmodells durch zuerst Berechnen von unabhängigen Vertrauenswerten für die linke und die rechte Grenze der Fahrspur und dann Berechnen eines Mittelwerts dieser unabhängigen Vertrauenswerte für den Vertrauenswert für das jeweilige erste oder zweite Fahrspurmodell berechnet. Folglich können die verschiedenen Fahrspurmodelle gewichtet und verglichen werden. Insbesondere kann für jede Modellhypothese ein Vertrauenswert berechnet werden, um die Modelle zu gewichten und zu vergleichen. Der Mittelwert als gemeinsamer Vertrauenswert ist zuverlässiger als jeder einzelne Vertrauenswert.
-
In einer bevorzugten Ausführungsform werden detektierte Fahrspurmarkierungen in Einlieger und Ausreißer in Bezug auf das erste Fahrspurmodell getrennt und nur die Einlieger werden verwendet, um das erste Fahrspurmodell zu aktualisieren. In diesem Fall wird eine Modellanpassung nur mit Einliegermarkierungen durchgeführt. Folglich weist die Modellanpassung eine verbesserte Qualität auf.
-
Die vorstehend erwähnte Aufgabe kann auch durch ein Fahrerassistenzsystem gelöst werden, das dazu ausgelegt ist, ein Verfahren gemäß irgendeinem Verfahren zum Verfolgen einer Fahrspur durchzuführen, wie vorstehend beschrieben. Irgendeine andere Vorrichtung zum Verfolgen einer Fahrspur kann dazu ausgelegt sein, die beschriebenen Verfahren durchzuführen. Modifikationen und Vorteile des erfindungsgemäßen Verfahrens können auch für das erfindungsgemäße Fahrerassistenzsystem oder die erfindungsgemäße Vorrichtung gelten.
-
Außerdem wird die obige Aufgabe auch durch ein Computerprogrammprodukt mit Programmcodemitteln gelöst, die insbesondere in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Verfolgen einer Fahrspur gemäß irgendeinem der vorangehenden Ansprüche durchzuführen, wenn das Computerprogrammprodukt auf einer Computervorrichtung einer elektronischen Steuereinheit abgearbeitet wird.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
-
Die vorliegende Erfindung wird nun in Verbindung mit den beigefügten Figuren genauer beschrieben, die zeigen in:
- 1 ein Prinzipblockdiagramm eines Fahrspurerfassungssystems;
- 2 ein Blockdiagramm des Verarbeitungsschemas eines Fahrspurmodellmoduls;
- 3 ein Diagramm eines Fahrspurmodells;
- 4 ein Diagramm für die Trennung von Fahrspurmarkierungen;
- 5 ein Diagramm für die Eigenbewegungskompensation und
- 6 ein Aktivitätsdiagramm für das Fahrspurmodellmodul von 2.
-
Die folgenden Ausführungsformen stellen bevorzugte Beispiele der vorliegenden Erfindung dar.
-
1 zeigt ein Fahrspurerfassungssystem. Ein Systemeingabemodul 1 stellt beispielsweise ein vorderes Bild, ein linkes Bild, ein rechtes Bild und ein hinteres Bild bereit. Diese Bilder werden zu einem Fahrspurmarkierungs-Detektionsmodul gesendet, das Fahrspurmarkierungen aus den Bildern (hierin auch Einzelbilder genannt) detektiert. Ein Transformationsmodul 3 transformiert die Bildinformationen des Fahrspurmarkierungs-Detektionsmoduls 2 beispielsweise in Weltkoordinaten. Danach verfolgt ein Merkmalsverfolgungsmodul 4 die Merkmale wie Fahrspurmarkierungen. Für diese Analyse kann das Merkmalsverfolgungsmodul 4 Fahrzeuggeometriedaten vom Systemeingabemodul 1 empfangen.
-
Die Fahrzeuggeometrieinformationen vom Systemeingabemodul 1 zusammen mit Merkmalsverfolgungsinformationen vom Merkmalsverfolgungsmodul 4 werden in ein Fahrspurpositionslogikmodul 5 eingegeben, das auch Fahrspurverfolgungsmodul genannt werden kann. Folglich empfängt das Fahrspurpositionslogikmodul 5 Informationen über detektierte Fahrspurmarkierungen (d. h. beispielsweise Begrenzungskästen und innere Merkmalspositionen) vorzugsweise in Fahrzeugkoordinaten. Aus diesen Informationen versucht das Modul 5, eine Fahrspur anzupassen, die aus vorzugsweise zwei parallelen Polynomen zweiter Ordnung als linke und rechte Grenzen und der Position und Orientierung des Eigenfahrzeugs innerhalb dieser Fahrspur besteht. Ferner kann das Modul 5 die Straßengeometrie über die Zeit verfolgen. Die Ausgabe des Moduls 5 wird zu einem Fahrspurgrenzen-Klassifikationsmodul 6 weitergeleitet, das beispielsweise den Typ und die Farbe der Fahrspurgrenze klassifiziert. In einem Systemausgabemodul 7 können ein Fahrspurtyp von dem Fahrspurgrenzen-Klassifikationsmodul 6 und eine abgeschätzte Fahrspurgeometrie für den aktuellen Zeitstempel als Ergebnisse aus dem ganzen Fahrspurerfassungssystem bereitgestellt werden.
-
2 zeigt ein Verarbeitungsschema des Fahrspurpositionslogikmoduls oder Fahrspurverfolgungsmoduls 5 von 1. Datensegmente 8 vom Merkmalsverfolgungsmodul 4 werden in eine Vergleichseinheit 9 eingegeben, die eine vorhergesagte Fahrspur von einer Fahrspurvorhersageeinheit 10 mit den Datensegmenten 8 vom Merkmalsverfolgungsmodul 4 vergleicht. Die Fahrspurvorhersageeinheit 10 basiert auf einem ersten Fahrspurmodell. Sie kann Odometriedaten von einer Odometrieeinheit 11 empfangen. Die Vergleichseinheit 9 liefert Informationen für eine Aktualisierungseinheit 12, die die Fahrspurverfolgung aktualisiert, d. h. sie aktualisiert das erste Fahrspurmodell.
-
Eine Berechnungseinheit 13 berechnet parallel ein bestes Modell aus den Messungen. Insbesondere berechnet sie für jeden Zeitstempel eine am besten passende Fahrspurhypothese aus den eingehenden Fahrspurmarkierungsmerkmalen, d. h. den Datensegmenten aus dem Merkmalsverfolgungsmodul 4. Dafür verwendet das Berechnungsmodul 13 vorzugsweise eine Kombination von RANSAC und Least-Square-Fit. Das Ergebnis kann „statisches bestes Modell“ (hierin auch statisches zweites Fahrspurmodell genannt) genannt werden.
-
Eine Entscheidungslogik 14 verwendet Vertrauenswerte für eine vorgegebene Hypothese, um zu entscheiden, ob das aktualisierte oder verfolgte erste Modell von der Aktualisierungseinheit 12 oder das statische zweite Fahrspurmodell von der Berechnungseinheit 13 verwendet werden soll, um die Fahrspurverfolgung zu korrigieren. Für diese Korrektur empfängt eine Korrektureinheit 15 die jeweiligen Informationen von der Entscheidungseinheit 14. Folglich wird das Fahrspurmodell für die Fahrspurvorhersageeinheit 10 aktualisiert oder das Fahrspurmodell bleibt in Bezug auf den vorherigen Zeitschritt unverändert. Es ist bevorzugt, am Ergebnis des vorherigen Zeitschritts festzuhalten, wenn sowohl das statische zweite Fahrspurmodell als auch das verfolgte erste Fahrspurmodell zu niedrige Vertrauenswerte liefern. Das gegenwärtige Fahrspurmodell liefert schließlich Ausgabeinformationen 16, die Klassifikationsinformationen wie den Fahrspurtyp oder die Fahrspurgeometrie umfassen können.
-
Eine Fahrspurmodellklasse kann zwei Linienklassen für die linke und die rechte Grenze zu einem Fahrspurmodell kombinieren. Es enthält Verfahren zum Anpassen des Fahrspurmodells durch die 2D-Merkmalspositionen. Diese Klasse berechnet auch das Gesamtvertrauen für die Fahrspur.
-
Im Folgenden wird ein Algorithmus für das erfindungsgemäße Verfahren zum Verfolgen einer Fahrspur genauer beschrieben. Vorzugsweise wird die Verfolgung des ersten Fahrspurmodells mit Hilfe eines Kalman-Filters durchgeführt. Der Kalman-Filter-Zustandsvektor
der die Fahrspur beschreibt, besteht aus den folgenden Merkmalselementen:
wobei der Fahrtrichtungswinkel h (vergleiche
3) die Drehung des Fahrzeugs
17 innerhalb der Fahrspur
18 beschreibt Die Fahrspur
18 weist eine linke Grenze
19 und eine rechte Grenze
20 auf. Diese Grenzen
19 und
20 definieren die Fahrspurbreite w der Fahrspur
18. Die seitliche Position
It des Fahrzeugs
17 ist der Euklidische Abstand des Fahrzeugursprungs von der Mittellinie
21 der Fahrspur
18. Die Krümmung der Fahrspur ist der quadratische Betrag
a des Polynoms zweiter Ordnung der Straßengrenzen (siehe folgende Beschreibung der Least-Square-Fit des Modells).
-
Die Zustandsparameter werden auf der Basis von 2D-Merkmalen der Fahrspurmarkierungen in Fahrzeugkoordinaten abgeschätzt. Im Gegensatz zu dem, was in der Literatur zu finden ist, werden im vorliegenden Sensormodell die 2D-Merkmale nicht direkt verwendet, um den Zustand zu modifizieren. Stattdessen werden die 2D-Merkmale verwendet, um eine Fahrspur für den aktuellen Zeitstempel als Zwischenschritt anzupassen. Diese angepasste Fahrspur ist die gegenwärtige Messung für den Filteraktualisierungsschritt. Dies führt zu einem Sensormodell, in dem der Messvektor zk aus denselben Elementen wie der Zustandsvektor besteht, was das Beobachtungsmodell Hk auf eine Einheitsmetrik vereinfacht. Zur Vereinfachung werden alle Elemente des Zustandsvektors unabhängig voneinander abgeschätzt. Dies bedeutet, dass tatsächlich vier unabhängige Kalman-Filter vorhanden sind - eines für jedes Element des Zustandsvektors.
-
Der Nachteil dieses Modells besteht darin, dass von irgendwelchen möglichen Covarianten zwischen den Elementen des Zustandsvektors nicht Gebrauch gemacht wird. Dies bedeutet, dass die Zustandscovariantenmatrix
Pk tatsächlich auf einen Varianzvektor
pk mit denselben Dimensionen wie
reduziert wird. Andererseits ist die Konfiguration des Filters viel einfacher, da jedes Element des Filters unabhängig abgestimmt werden kann. Das Risiko von Überanpassungsproblemen wird auch verringert.
-
Im Verfolgungssystem (vergleiche 2) werden immer zwei Messungen (d. h. zwei Fahrspurmodelle) parallel für jeden Zeitstempel berechnet:
- - das erste Fahrspurmodell, d. h. das Aktualisierungsmodell, das unter Verwendung von Fahrspurmarkierungen des aktuellen Zeitstempels berechnet wird, die mit Hilfe des vorhergesagten Fahrspurmodells gefiltert werden und
- - das zweite Fahrspurmodell, d. h. das statische (beste) Modell, das unter Verwendung von Fahrspurmarkierungen des aktuellen Zeitstempels berechnet wird, die mit Hilfe einer RANSAC gefiltert werden.
-
Später - im Fahrspurpositionslogikblock 5 (vergleiche 1) - wird mit Hilfe von Vertrauenswerten entschieden, welche der zwei Messungen verwendet wird, um den Kalman-Filterzustand zu aktualisieren.
-
Eine Trennung von Fahrspurmarkierungen für linke und rechte Fahrspurgrenzen wird vor dem Anpassen des Fahrspurmodells durchgeführt. Die Fahrspurmarkierungen 22 werden in zwei separate Sätze für die linke und die rechte Grenze aufgeteilt. Dies wird durch Berechnen der Trennlinie 21 aus dem vorhergesagten Fahrspurmodell durchgeführt. Die Trennlinie 21 ist (wie die Modellgrenzen: vorhergesagte linke Grenze 19 und vorhergesagte rechte Grenze 20) ein Polynom zweiter Ordnung mit denselben Parametern wie die zwei Fahrspurgrenzen 19, 20, außer dass der konstante Betrag (c) des Polynoms auf den Mittelwert der linken und rechten Grenze 19, 20 gesetzt wird, so dass die Linie durch die Mitte der vorhergesagten Fahrspur verläuft. Das Vorzeichen des seitlichen Abstandes der Mitte der Fahrspurmarkierung 22 zur Trennlinie bestimmt, ob eine Fahrspurmarkierung 22 innerhalb eines linken Grenzzuweisungsbereichs 23 oder eines rechten Grenzzuweisungsbereichs 24 liegt, und wird folglich der linken oder der rechten Grenzliste zugewiesen.
-
In einer bevorzugten Ausführungsform wird eine Berechnung von statischen Fahrspurmodellhypothesen für das aktuelle Einzelbild durchgeführt. Die Wahrscheinlichkeit der Hypothesen wird beispielsweise berechnet, dass eine Fahrspurmarkierung des aktuellen Einzelbildes zur linken Grenze der Fahrspur gehört. Für jedes Einzelbild kann ein Fahrspurmodell einer besten Hypothese berechnet werden. Dies wird in zwei Schritten durchgeführt. Zuerst wird eine RANSAC (Stichprobenübereinstimmung) verwendet, um Einliegermerkmale aus dem linken und dem rechten Merkmalssatz auszuwählen. Mit diesen Einliegern wird eine Least-Square-Fit durchgeführt, um die gegenwärtigen Modellparameter zu finden.
-
Zuerst wird eine Vorfilterung unter Verwendung von modellgesteuerter RANSAC durchgeführt. Aus der Liste von Merkmalen von der linken und der rechten Grenze werden n Merkmale (6 standardmäßig) für jede Grenze ausgesucht. Mit diesen Merkmalen wird ein am besten passendes Kandidatenmodell unter Verwendung einer Polynomanpassung berechnet (siehe nachstehende Berechnungen). Wenn ein gültiger Kandidat gefunden wurde, wird ein Vertrauenswert für die Anpassung berechnet und es wird geprüft, welche der linken und rechten Fahrspurmarkierungen nahe dem angepassten Polynom liegen. Diese Schritte werden wiederholt, bis entweder alle Fahrspurmarkierungen als Einlieger klassifiziert wurden oder die Anzahl von Iterationen einen bestimmten Wert erreicht, der konfigurierbar ist und standardmäßig 100 sein kann.
-
Ferner wird eine ModellLeast-Square-Fit durchgeführt. Dies bedeutet, dass eine Modellanpassung für jedes Hypothesenmodell durch ein Anpassungsverfahren kleinster Quadrate durchgeführt wird. Das Ziel besteht darin, eine Lösung für die folgende Gleichung zu finden:
wobei
und
-
Der Lösungsvektor
x enthält die Polynom-Koeffizienten der angepassten Parabelkurve. Die Matrix X ist eine (n
l + n
r) × 4 Matrix, die aus den Merkmalsabtastwerten aufgebaut ist, wobei
nl die Anzahl von Merkmalen für die linke Fahrspurgrenze ist und
nr die Anzahl von Merkmalen für die rechte Fahrspurgrenze ist. Die Matrix hat die folgende Form:
wobei
xl,n und
xr,n die Merkmals-x-Koordinaten der linken und der rechten Merkmalspositionen sind.
-
Die Matrix
Y ist eine (n
l + n
r) × 1 Matrix, die die y-Werte der Abtastpunkte enthält:
-
Daher können wir schreiben für A = X'X:
-
Und für B = X'Y:
-
Wobei sich xl ,xr und x auf die x-Positionen für die linke, die rechte bzw. beide Grenzen beziehen und yl ,yr und y sich auf die y-Positionen für die linke, die rechte und beide Grenzen beziehen.
-
Um die Gleichung (0.1) zu lösen, kann man die Cramersche Regel oder irgendeinen anderen gültigen Mechanismus verwenden.
-
Ein Vertrauenswert wird für jede Modellhypothese berechnet, um die Modelle zu gewichten und zu vergleichen. Der Vertrauenswert für das Modell wird durch zuerst Berechnen von unabhängigen Vertrauenswerten für die linke und die rechte Grenze und dann Berechnen des Mittelwerts als gemeinsames Vertrauen ausgeführt. Die Berechnung eines Vertrauenswerts ist ein gewöhnliches statistisches Verfahren zum Abschätzen einer Hypothese hinsichtlich der Zugehörigkeit eines Parameters zu einem vorgegebenen Intervall.
-
Ein weiterer wesentlicher Schritt besteht darin, das verfolgte erste Modell zu aktualisieren. Es muss beachtet werden, dass die folgende Schreibweise x̂n|m die Abschätzung des Filterzustandes zu jeweils n gegebenen Beobachtungen bis zu und einschließlich jeweils m ≤ n darstellt.
-
Sobald die Anpassung eines Fahrspurmodells erfolgreich war, wird dieses Modell beibehalten und für anschließende Zeitschritte aktualisiert. Im Allgemeinen wird die Verfolgung mit einem Kalman-Filter in zwei Schritten ausgeführt: im ersten Schritt - dem Vorhersageschritt - wird der Modellzustand vom vorherigen Zeitstempel t-1 auf die aktuelle Zeit t mit Hilfe eines Systemmodells überführt. Im vorliegenden Fall nimmt das Systemmodell an, dass das Fahrspurmodell zwischen zwei Zeitschritten fest ist. Dies gilt ungefähr, wenn wir ausreichend kleine Zeitinkremente zwischen zwei aufeinander folgenden Verarbeitungsschritten annehmen. Der Fehler, der durch diese Annahme eingeführt wird, wird indirekt in der Zustandsvarianz
pk|k-1 mitgeschleppt. Somit besteht im vorliegenden Fall der Vorhersageschritt nur aus der Kompensation der Fahrzeugeigenbewegung (siehe nächster Absatz) und der Aktualisierung der Modellzustandsvarianzwerte (d. h. Erhöhen um die Varianz des Prozessrauschens
qk .)
-
Nachdem das Modell auf die aktuelle Zeit überführt wurde, besteht der nächste Schritt darin, Fahrspurmarkierungen, die im aktuellen Zeitschritt detektiert wurden, zum existierenden Modell zuzuweisen. Dieser Schritt trennt die Fahrspurmarkierungen in Einlieger und Ausreißer in Bezug auf das verfolgte Modell. Mit den Einliegermarkierungen kann man eine Modellanpassung ähnlich wie für die statische beste Anpassung durchführen, außer dass man keine RANSAC vor der Least-Square-Fit durchführen muss.
-
Die Eigenbewegungskompensation wird nun in Verbindung mit 5 beschrieben. Der linke Teil von 5 zeigt das Fahrzeug 17 im Zeitschritt t-1. Der rechte Teil von 5 zeigt das Fahrzeug 17 im Zeitschritt t. Es folgt einer Fahrspur 18, die zwischen der linken Grenze 19 und der rechten Grenze 20 liegt.
-
Vor dem Zuweisen von Fahrspurmarkierungen des aktuellen Zeitschritts zum existierenden Modell muss die Bewegung des Eigenfahrzeugs 17 kompensiert werden. Diese Eigenbewegungskompensation wird in drei Schritten durchgeführt:
- 1. Von beiden Fahrspurgrenzen 19, 20 des t-1-Fahrspurmodells Auswählen von drei Punkten des Polynoms bei x = -1m, x = 0m und x = +1m.
- 2. Mit Hilfe von gegebenen Eigenbewegungsinformationen (Translationsvektor
und δω), Transformieren dieser drei Punkte in das aktuelle Fahrzeugkoordinatensystem. Dies wird durch zuerst Drehen der Punkte um das neue Fahrzeugzentrum mit - δω, und dann Verschieben um
durchgeführt.
- 3. Durchführen einer Parabelanpassung durch die drei Punkte für die linke und die rechte Fahrspurgrenze 19, 20.
-
In einem nächsten Schritt wird eine Zuordnung von Fahrspurmarkierungen zum existierenden Modell analysiert. Dies bedeutet, dass, nachdem die Eigenbewegungskompensation ausgeführt wurde, der nächste Schritt darin besteht, Fahrspurmarkierungen zum vorhergesagten Modell zuzuweisen.
-
Danach wird ein Aktualisierungsmodell z. B. auf der Basis der folgenden Berechnungsschritte berechnet. Mit der vorgefilterten Liste von Fahrspurmarkierungen vom vorherigen Verarbeitungsschritt wird ein Fahrspurmodel mit Hilfe des Verfahrens kleinster Quadrate angepasst. Diese Operation kleinster Quadrate wird in einer ähnlichen Weise wie für das statische Fahrspurmodell durchgeführt, aber mit einigen Unterschieden:
- - Wenn der Zuordnungsschritt vorher Fahrspurmarkierungen für nur eine der zwei Grenzen gefunden hat, wird die Fahrspur durch Anpassen des Polynoms für diese Seite und Spiegeln derselben auf die andere Seite mit Hilfe der bekannten Fahrspurbreite rekonstruiert
- - In Gleichung (0.2) des Abschätzers kleinster Quadrate wird ein zusätzliches Gewicht für jedes Merkmal eingeführt. Dieses Gewicht wird beispielsweise von der Positionsvarianz des Merkmals oder dem Detektionsvertrauen des Merkmals abgeleitet. In beiden Fällen führt eine höhere Positionsvarianz/ein höheres Vertrauen zu einem niedrigeren Gewicht am Ergebnis.
wobei w alle Gewichte sind, wl die Gewichte für die linken Punkte sind und wr die Gewichte der rechten Gewichte sind.
-
Im Schätzer kleinster Quadrate wird ein zusätzlicher Regulierungsfaktor für die Krümmung des Modells eingeführt, der verhindert, dass der Krümmungswert zu hoch wird, d. h. eine Überanpassung des Modells an die Fahrspurdaten wird vermieden. Der Regulierungsparameter ist sehr unkompliziert hinzuzufügen. Die Kostenfunktion nimmt die nachstehenden zusätzlichen Parameter:
-
Äquivalente Matrixform
-
Und mit den in (0.5) beschriebenen Gewichten:
-
Siehe https://www.cs.ubc.ca/~schmidtm/Documents/2005_Notes_Lasso.pdf. Das Lösen von (0.8) ist äquivalent zum Minimieren durch (0.6), wenn eine der Diagonalen im obigen
I auf null gesetzt wird (äquivalent zu
a0 ).
-
Wobei die K-Diagonale in allen Elementen abgesehen von jenem auf null gesetzt wird, das wir unterdrücken wollen. Wenn wir beispielsweise den Krümmungsparameter unterdrücken wollen, würden wir das obere linke Element von Kauf 1 und alle anderen Einträge auf 0 setzen.
-
Der Fahrspurpositionslogik- (LPL) Block 5 (vergleiche 1) entscheidet, ob das verfolgte erste Fahrspurmodell oder das statische zweite (am besten passende) Modell herangezogen werden soll, um das Systemausgabemodell anzupassen, auf der Basis der Verfügbarkeit und des Vertrauens der berechneten Modelle. 6 zeigt das Aktivitätsdiagramm für diesen LPL-Funktionsblock. Die Funktion startet am Startpunkt 25. Zuerst wird ein anfänglicher Parameter hinsichtlich eines gültigen Aktualisierungsmodells im Block 26 auf „falsch“ gesetzt. Im einem ersten Entscheidungsblock 27 wird dann entschieden, ob die Eingangsdaten sich auf ein erstes Einzelbild beziehen. Falls ja, bestimmt ein Entscheidungsblock 28, ob ein statisches (bestes) Fahrspurmodell gültig ist. Falls nicht, endet die Aktivität am Ausgang 29.
-
Falls die Entscheidung im Entscheidungsblock 27 nein ist, bestimmt ein weiterer Entscheidungsblock 30, ob das verfolgte erste Fahrspurmodell gültig ist. Falls ja, entscheidet ein Entscheidungsblock 31, ob das statische zweite (beste) Fahrspurmodel gültig ist. Falls ja, prüft ein Entscheidungsblock 32, ob der statische Vertrauenswert höher ist als zweimal der verfolgte Vertrauenswert. Falls ja und falls außerdem die Entscheidung vom Entscheidungsblock 28 ja ist, wird im Block 33 eine Variable hinsichtlich des Aktualisierungsmodells auf das statische zweite (beste) Fahrspurmodell gesetzt.
-
Falls die Entscheidung im Entscheidungsblock 30 „nein“ ist, entscheidet ein Entscheidungsblock 34, ob das statische zweite (beste) Fahrspurmodell gültig ist. Falls ja, entscheidet ein weiterer Entscheidungsblock 35, ob der statische Vertrauenswert höher ist als der verfolgte Vertrauenswert. Falls ja, ist die Voraussetzung für den Block 33 erfüllt, um die Variable hinsichtlich des Aktualisierungsmodells auf das „statische zweite Fahrspurmodell des (besten) Werts“ zu setzen.
-
Wenn die Entscheidung im Entscheidungsblock 34 „nein“ ist und auch die Entscheidung des Entscheidungsblocks 35 „nein“ ist, endet der Algorithmus am Endpunkt 36. Der Algorithmus endet auch an einem Endpunkt 37, falls die Entscheidung des Entscheidungsblocks 31 „nein“ ist.
-
Falls die Entscheidung im Entscheidungsblock 32 „nein“ ist, wird ferner die Variable hinsichtlich des Aktualisierungsmodells im Block 38 auf das „verfolgte erste Fahrspurmodell“ gesetzt. Als Konsequenz der Blöcke 33 und 38 wird der Parameter in Bezug auf die Anwesenheit eines gültigen Aktualisierungsmodells im Block 39 auf „wahr“ gesetzt. Nach dem Block 39 endet der Algorithmus auch am Endpunkt 36.
-
Falls erforderlich, findet eine Modellaktualisierung statt. D. h. der letzte Schritt der Verfolgung kann der Aktualisierungs- oder Korrekturschritt sein. Hier wird der Zustandsvektor (Fahrtrichtung, Fahrspurbreite, seitlicher Versatz und Krümmung) mit Hilfe des ausgewählten Modells vom LPL-Block aktualisiert. Für jedes der vier unabhängigen Filter kann man vier unabhängige Kalman-Verstärkungsfaktoren berechnen, die in den Vektor
kk gebündelt werden können.
∀ feat ∈ {Fahrtrichtung, seitlicher Versatz, Breite, Krümmung} wobei
die Varianz des Beobachtungsrauschens für jedes Merkmal ist. Die Kalman-Verstärkung wird dann verwendet, um den neuen Zustand und die Zustandsvarianz zu aktualisieren:
wobei der Messvektor
zk , der in Gl. (0.11) verwendet wird, aus den abgeschätzten Modellparametern für das angepasste Modell besteht, die als beste Messung im LPL-Modul gewählt wurden (siehe vorheriger Abschnitt).
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2013/022153 A1 [0004]
- US 2013/0141520 A1 [0005]