DE102017009435B4

DE102017009435B4 - Evaluation von Komponenten automatischer Fahrfunktionen und Fahrbahnerkennung auf unterschiedlichen Verarbeitungsstufen

Info

Publication number: DE102017009435B4
Application number: DE102017009435.7A
Authority: DE
Inventors: Jens Spehr; Tran Tuan Nguyen
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2017-10-10
Filing date: 2017-10-10
Publication date: 2023-05-11
Anticipated expiration: 2037-10-11
Also published as: WO2019072550A1; US11345371B2; DE102017009435A1; US20200353951A1; CN111194459B; CN111194459A

Abstract

Verfahren zur Evaluation von Detektionsergebnissen von Komponenten zur Fahrbahnerkennung, der von einer Fahrbahnschätzung geschätzten Fahrbahn, und/oder der geplanten Trajektorie der verwendenden Fahrerassistenzsysteme eines Egofahrzeugs, wobei die Detektionsergebnisse, die geschätzte Fahrbahn und die geplante Trajektorie als Hypothese (H) bezeichneten werden,dadurch gekennzeichnet, dasszur Evaluation der Einrichtungen oder der Fahrerassistenzsysteme eine Metrik verwendet wird, die auf der manuell gefahrenen Trajektorie des Egofahrzeugs basiert, wobei die Abweichung zwischen der manuell gefahrenen Trajektorie und der Hypothese (H, 12, 14, 15, 16, 17) für vorgegebene Referenzpunkte in einem vorgegebenen Abstand von einem Ausgangspunkt in einem fahrzeugeigenen x-y-Koordinatensystem bestimmt wird, undanhand der Evaluation bestimmt wird, ob die Hypothese der Komponente zur Fahrbahnerkennung, der Fahrbahnschätzung und/oder des Fahrerassistenzsystems vorgegebene Kriterien erfüllt, wobei die Metrik darin besteht, dass- der Winkel zwischen dem Referenzpunkt im vorgegebenen Abstand (rl) der manuell gefahrenen Trajektorie und der in Fahrtrichtung verlaufenden x-Achse des fahrzeugeigenen Koordinatensystems zum Ausgangszeitpunkt bestimmt wird,- der Winkel zwischen dem Referenzpunkt im vorgegebenen Abstand (rl) der Hypothese und der in Fahrtrichtung verlaufenden x-Achse des fahrzeugeigenen Koordinatensystems zum Ausgangszeitpunkt bestimmt wird,- der Betrag der Differenz der beiden Winkel bestimmt wird,- zur Evaluation der Einrichtung oder des Fahrerassistenzsystems der Betrag der Winkeldifferenz mit einer vorgegebenen Schwelle verglichen wird, und- ein Klassifizieren der Hypothese in die Kriterien brauchbar oder unbrauchbar anhand des Vergleichsergebnisses erfolgt.

Description

Die Erfindung betrifft ein Verfahren zur Evaluation von Detektionsergebnissen von Komponenten zur Fahrbahnerkennung, der von einer Fahrbahnschätzung geschätzten Fahrbahn, und/oder der geplanten Trajektorie der verwendenden Fahrerassistenzsysteme eines Egofahrzeugs, eine entsprechende Vorrichtung sowie ein System zur Offline Evaluation von manuell gefahrenen Trajektorien in verschiedenen Umfeldszenarien.
Bei der Fahrbahnerkennung, wie sie beispielsweise Voraussetzung für eine automatische Fahrfunktion ist, besteht das Problem, dass die verwendeten Detektoren, beispielsweise für die Markierungserkennung und Fahrbahnerkennung, abhängig von Gebieten und Umweltbedingungen ein anderes Verhalten zeigen. So funktioniert üblicherweise die kamerabasierte Markierungserkennung gut auf Autobahnen und Landstraßen, allerdings sinkt ihre Performanz in städtischen Szenarien, wo häufig lediglich Asphaltübergänge oder Bordsteine die Fahrbahn begrenzen. In solchen Fällen besteht eine Alternative darin, dem Vorderfahrzeug, dem Bordstein und/oder der Leitplanke zu folgen oder die Fahrfunktion überhaupt nicht anzubieten.
Dieses Problem besteht auch bei der kontinuierlichen Entwicklung vom derartigen Systemen zur Fahrbahnerkennung, wobei das Problem darin besteht, dass auch neue Software-Versionen ein anderes Verhalten als frühere Versionen haben, wodurch sich das Detektionsverhalten des Systems verändern könnte.
Ferner sind die Systeme zur Fahrbahnerkennung gegebenenfalls mit den folgenden Problemen behaftet:

Die Datenblätter von Anbietern von Systemen zur Fahrbahnerkennung sind teilweise nicht ausreichend und deren Aussagekraft ist abhängig von Testszenarien.

Es sind nicht alle Situationen simulierbar und übertragbar auf reale Bedingungen.
Bei bildbasierten Evaluierungsansätzen werden Kamerabilder vorausgesetzt, wie zum Beispiel Pixel-Labeling. Allerdings sind die bildbasierten Evaluationsansätze nicht anwendbar für Fahrbahnhypothesen aus anderen Quellen ohne eine Rücktransformation ins Kamerabild, was mit zusätzlichem Aufwand verbunden ist.
Eine On-Road Evaluierung der Systeme, d.h. reale Fahrten mit der Aktivierung der automatischen Fahrfunktion, ist ausgesprochen schwierig und gefährlich, da Fehlerquellen bei realen Fahrten meist nur schwer zu identifizieren sind oder manche Fehler sich nicht voraussagen lassen. So kann bei einer On-Road Evaluierung meist nicht festgestellt werden, ob die Fehlerquelle auf die Detektoren, wie beispielsweise Kamera, Vordermann, Karte etc., die Fahrbahnerkennung oder die Bahnplanung zurückzuführen ist.
Die Bewertung automatischer Fahrfunktionen mittels hochgenauer GPS-Empfänger und hochgenauer Karten durchzuführen ist möglich, allerdings ist dies eine teure Lösung. Insbesondere sind hochgenaue Karten mit hochgenauer Position der Markierungen und Fahrspuren nur für bestimmte Gebiete verfügbar, so dass diese Möglichkeit ebenfalls begrenzt ist.
In der Veröffentlichung T. T. Nguyen et. al.: „Learning of Lane Information Reliability for Intelligent Vehicles", 2016 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems, Baden-Baden, Germany, Sep 19-21, 2016, wird mittels einer Metrik, die auf einer manuell gefahrenen Trajektorie basiert und die Winkelabweichung zwischen dieser Trajektorie und der hypothetischen Fahrbahnschätzung bestimmt, die Verlässlichkeit der Fahrbahnschätzung evaluiert.
Die Druckschrift EP 2 974 943 A2 beschreibt ein Fahrspurerfassungssystem, das eine Fahrspur erfasst, mit einem Fahrzeuglageerfassungssystem, das die Fahrzeug-Ist-Lage relativ zu der Fahrspur erfasst, einem Regler-System, das aus der Fahrzeug-Ist-Lage relativ zu der Fahrspur und einer Fahrzeug-Soll-Lage relativ zu der Fahrspur eine Regelabweichung und daraus ein Stellsignal ermittelt, und einem Lenkaktuator den das Regler-System so mit dem Stellsignal beaufschlagt, dass die Fahrzeug-Ist-Lage auf die Fahrzeug-Soll-Lage eingeregelt wird. Dabei wird das Querführungssystem so ausgebildet, dass das Regler-System wenigstens zwei Regler oder wenigstens einen Regler mit wenigstens zwei Parametersätzen enthält, wobei die jeweils durch die Regler oder jeweils durch die Parametersätze erzeugten Regelcharakteristiken unterschiedlich sind. Weiter ist ein Regler-Auswahlsystem vorgesehen, das mit Hilfe von Hilfseinrichtungen wenigstens eine die Fahrsituation beeinflussende Größe erfasst und, je nach Wert der wenigstens einen Größe, einen der Regler oder einen der Parametersätze zur Verwendung im Regler-System auswählt und das Regler-System unter Verwendung des ausgewählten Reglers oder des ausgewählten Parametersatzes ein Stellsignal an den Lenkaktuator ausgibt.
Die Druckschrift DE 10 2015 012 648 B4 beschreibt ein Verfahren zum Betrieb wenigstens eines wenigstens eine Fahrzeugführungsfunktion zur wenigstens teilweise automatischen Führung eines Kraftfahrzeugs aufweisenden Fahrzeugsystems des Kraftfahrzeugs, wobei das Kraftfahrzeug wenigstens einen auf das Vorfeld des Kraftfahrzeugs gerichteten Umfeldsensor aufweist, dessen Umfelddaten seitens einer Auswerteeinheit des Kraftfahrzeugs hinsichtlich eines durch einen Hypothesendatensatz beschriebenen zukünftigen Verlaufs der von dem Kraftfahrzeug aktuell befahrenen Fahrspur ausgewertet werden, wonach der Hypothesendatensatz an das Fahrzeugsystem übermittelt und bei der Ausführung der wenigstens einen Fahrzeugführungsfunktion berücksichtigt wird, dadurch gekennzeichnet, dass seitens der Auswerteeinheit mehrere unterschiedlichen zukünftigen Verläufen zugeordnete Hypothesendatensätze ermittelt und hinsichtlich ihrer Verlässlichkeit durch Zuordnung eines Verlässlichkeitswertes bewertet werden, wobei mehrere, einen einen Schwellwert überschreitenden Verlässlichkeitswert aufweisende Hypothesendatensätze von der Auswerteeinheit an das Fahrzeugsystem übermittelt werden und durch wenigstens eine ausgeführte Fahrzeugführungsfunktion des Fahrzeugsystems in Abhängigkeit einer Funktionseigenschaft und/oder der aktuellen Fahrsituation ein bei der Durchführung der Fahrzeugführungsfunktion zu verwendender Hypothesendatensatz aus den übermittelten Hypothesendatensätzen ausgewählt wird.
Die Druckschrift DE 10 2013 003 944 A1 beschreibt ein Verfahren zum Bereitstellen von Fahrerassistenzfunktionalität, wobei ein vordefinierter Katalog von Straßenszenarien geladen wird und Sensordaten erhalten werden. Der Katalog umfasst mehrere Straßenszenarien, die jeweils eine Straßensituation durch mindestens ein parametrisiertes Umgebungsmerkmal beschreiben. Die Sensordaten beschreiben jeweils mindestens ein gemessenes Umgebungsmerkmal. Aus einem Vergleich des jeweiligen mindestens einem gemessenen Umgebungsmerkmals mit dem mindestens einen parametrisierten Umgebungsmerkmal wird jeweils ein Wahrscheinlichkeitswert für die Straßenszenarien erhalten. Basierend auf den Wahrscheinlichkeitswerten wird ein Straßenszenarium ausgewählt, anhand dessen Fahrerassistenzfunktionalität bereitgestellt wird.
Die Druckschrift DE 10 2015 218 361 A1 beschreibt ein Verfahren zur Verifikation einer Fahrzeugfunktion, die dafür vorgesehen ist, zumindest zeitweise ein Fahrzeug in Längs- und/ oder Querrichtung autonom zu führen. Das Verfahren umfasst das Ermitteln, auf Basis von Umfelddaten bezüglich eines Umfelds des Fahrzeugs, einer Test-Steueranweisung der Fahrzeugfunktion an einen Aktuator des Fahrzeugs. Außerdem umfasst das Verfahren das Ermitteln, dass ein Fahrer des Fahrzeugs eine, von der Test-Steueranweisung abweichende, tatsächliche Steueranweisung tätigt, die von dem Aktuator tatsächlich umgesetzt wird. Das Verfahren umfasst weiter das Simulieren, auf Basis von Umfelddaten, einer fiktiven Verkehrssituation, die vorliegen würde, wenn anstelle der tatsächlichen Steueranweisung die Test-Steueranweisung umgesetzt worden wäre. Des weiteren umfasst das Verfahren das Bestimmen, ob die fiktive Verkehrssituation ein relevantes Ereignis für einen Verkehrsteilnehmer in der Umgebung des Fahrzeugs oder für das Fahrzeug darstellt. Es werden Testdaten in Bezug auf die fiktive Verkehrssituation bereitgestellt, wenn bestimmt wurde, dass die fiktive Verkehrssituation ein relevantes Ereignis für einen Verkehrsteilnehmer in der Umgebung des Fahrzeugs oder für das Fahrzeug darstellt.
In der Druckschrift DE 10 2013 219 414 A1 wird zur Bereitstellung einer prädiktiven Fahrzeugbewegungsinformation für ein Fahrerassistenzsystem eines Fahrzeugs abhängig von einer bereitgestellten aktuellen Position des Fahrzeugs sowie abhängig von zumindest zwei bereitgestellten Zielpositionen für das Fahrzeug und abhängig von einem bereitgestellten Fahrzustand des Fahrzeugs in der aktuellen Position jeweils eine kostenoptimale Trajektorie von der aktuellen Position zu der jeweiligen Zielposition ermittelt abhängig von einer vorgegebenen Optimierungsvorschrift. Die Optimierungsvorschrift umfasst eine vorgegebene Zielkostenfunktion und ein vorgegebenes dynamisches Fahrzeugmodell für das Fahrzeug. Des Weiteren wird abhängig von ersten Ableitungen oder höheren Ableitungen jeweiliger Minimalzielkostenfunktionen , die die Kosten der jeweiligen kostenoptimalen Trajektorien repräsentieren, ermittelt, auf welche der Zielpositionen das Fahrzeug sich voraussichtlich hinbewegt.
Der Erfindung liegt daher die Aufgabe zugrunde, eine kostengünstige Evaluierung von

- Sensoren zur Fahrbahnerkennung wie Detektoren für Markierungen, Bordsteine etc.,
- Fahrerassistenzsystemen als Ganzes, und
- Fahrerassistenzsystem anhand der geplanten Trajektorien bereitzustellen, sowie
- ein System zur Erstellung von Verführbarkeitskarten für eine automatische Fahrfunktion anhand dieser Evaluierungsergebnisse zu schaffen.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, eine Vorrichtung mit den Merkmalen des Anspruchs 7 sowie durch ein System mit den Merkmalen des Anspruchs 8 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
Bei dem erfindungsgemäßen Verfahren zur Evaluation von Detektionsergebnissen von Komponenten zur Fahrbahnerkennung, der von einer Fahrbahnschätzung geschätzten Fahrbahn, und/oder der geplanten Trajektorie der verwendenden Fahrerassistenzsysteme eines Egofahrzeugs, wobei die Detektionsergebnisse, die geschätzte Fahrbahn und die geplante Trajektorie als Hypothese bezeichnet werden,

- wird zur Evaluation der Komponenten, der Fahrbahnschätzung oder der Fahrerassistenzsysteme eine Metrik verwendet, die auf der manuell gefahrenen Trajektorie des Egofahrzeugs basiert, wobei die Abweichung zwischen der manuell gefahrenen Trajektorie und der Hypothese für vorgegebene Referenzpunkte in einem vorgegebenen Abstand von einem Ausgangspunkt in einem fahrzeugeigenen x-y-Koordinatensystem bestimmt wird, und
- wird anhand der Evaluation bestimmt, ob die Hypothese der Komponente zur Fahrbahnerkennung, der Fahrbahnschätzung und/oder des Fahrerassistenzsystems vorgegebene Kriterien erfüllt.

Auf diese Weise wird die Parallelität der manuell gefahrenen Trajektorie mit der Hypothese bestimmt, ohne dass die Verwendung von hochgenauem GPS und einer hochgenauen Karte notwendig ist.
Dabei ist die Metrik zur Evaluation wie folgt definiert:

- Bestimmen des Winkels zwischen dem Referenzpunkt im vorgegebenen Abstand der manuell gefahrenen Trajektorie und der in Fahrtrichtung verlaufenden x-Achse des fahrzeugeigenen Koordinatensystems zum Ausgangszeitpunkt,
- Bestimmen des Winkels zwischen dem Referenzpunkt im vorgegebenen Abstand der Hypothese und der in Fahrtrichtung verlaufenden x-Achse des fahrzeugeigenen Koordinatensystems zum Ausgangszeitpunkt,
- Bestimmen des Betrags der Differenz der beiden oben genannten Winkel,
- Vergleichen des Betrags der Winkeldifferenz mit einer vorgegebenen Schwelle zur Evaluation der Einrichtung oder des Fahrerassistenzsystems, und
- Klassifizieren der Hypothese in die Kriterien brauchbar oder unbrauchbar anhand des Vergleichsergebnisses.

Die Metrik bietet ein günstiges Verfahren zur Bestimmung von Ground-Truth-Daten, wobei ein lateraler Versatz der manuell gefahrenen Trajektorie auf dem jeweiligen Fahrbahnabschnitt kein Rolle spielt, wodurch die Beurteilung verschiedener Detektoren bzw. Einrichtungen zur Fahrbahnerkennung unabhängig von der Position der manuellen Trajektorie auf dem Fahrbahnabschnitt ist.
Vorzugsweise beträgt die vorgegebene Schwelle 1° bis 3°, insbesondere 2°. Größere Werte würden die Aussage über die Parallelität der manuellen Trajektorie und der Hypothese unschärfer machen.
Ersatzweise kann anstatt der manuell gefahrenen Trajektorie auch eine hochgenaue Karte herangezogen werden, wenn die hochgenaue Karte verfügbar ist. Beide Arten von Ground-Truth-Daten, nämlich hochgenaue Karte und manuell gefahrene Trajektorie, unterscheiden sich nicht viel voneinander.
Vorzugsweise kann zusätzlich zur Metrik der Winkeldifferenz der euklidische Abstand zwischen den Referenzpunkten der manuell gefahrenen Trajektorie und der Hypothese bestimmt und als weitere Metrik zur Evaluation der Hypothese herangezogen werden. Auf diese Weise können Aussagen mittels mehrerer voneinander unabhängiger Metriken getätigt werden, wodurch die Evaluation sicherer wird. Dementsprechend kann ein Maß berechnet werden, welches die Evaluierungsergebnisse unterschiedlicher Metriken gewichtet kombiniert.
Vorzugsweise wird zur weiteren Evaluation der Einrichtungen oder der Fahrerassistenzsysteme eine Metrik verwendet, die auf einer Trajektorie des Egofahrzeugs basiert, wobei die Abweichung zwischen der Trajektorie und der Hypothese für vorgegebene Referenzpunkte in einem vorgegebenen Abstand von einem Ausgangspunkt in einem fahrzeugeigenen x-y-Koordinatensystem bestimmt wird, und wird anhand der Evaluation bestimmt, ob die Hypothese der Komponente zur Fahrbahnerkennung, der Fahrbahnschätzung und/oder des Fahrerassistenzsystems vorgegebene Kriterien erfüllt.
Dabei sind weitere Metriken zur Evaluation einsetzbar.
Vorzugsweise basiert die eingesetzte Metrik

- auf einer Winkeldifferenz zwischen der in Fahrrichtung verlaufenden x-Achse zum Ausgangszeitpunkt und dem Referenzpunkt der Hypothese, mit anderen Worten, es wird die Parallelität bestimm,
- auf dem euklidischen Abstand zwischen dem Referenzpunkten der Trajektorie und der Hypothese, oder
- auf der Abweichung der Hypothese von der genauen Karte durch eine hochgenauem GPS-Position in Verbindung mit einer hochgenauen Karte.

Weiter bevorzugt beträgt der vorgegebene Abstand der Referenzpunkte vom Ausgangspunkt zwischen 10 m und 200 m, insbesondere 30 m. Abstände kleiner als 10 m haben wenig Aussagekraft, da die Winkeldifferenz oder der euklidische Abstand zu gering sind. Abstände größer als 200 m sind mit einer zu großen Ungenauigkeit behaftet, die aufgrund der Fehlerfortpflanzung bei der Erstellung der Referenz aus manuell gefahrenen Trajektorien entsteht.
Die erfindungsgemäße Vorrichtung zur Evaluation von Detektionsergebnissen von Komponenten zur Fahrbahnerkennung, der von einer Fahrbahnschätzung geschätzten Fahrbahn, und/oder der geplanten Trajektorie der verwendenden Fahrerassistenzsysteme eines Egofahrzeugs, wobei die Detektionsergebnisse, die geschätzte Fahrbahn und die geplante Trajektorie als Hypothese bezeichneten werden, und wobei die Vorrichtung zur Durchführung des im Vorangegangenen beschriebenen Verfahrens eingerichtet und ausgelegt ist, umfasst

- eine Komponente zur Fahrbahnerkennung, eine Einrichtung zur Fahrbahnschätzung und/oder ein Fahrerassistenzsystem,
- eine Einrichtung zur Evaluation der Hypothese, und
- eine Einrichtung zur Klassifizierung der Hypothese.

Das erfindungsgemäße System zur Offline Evaluation von manuell gefahrenen Trajektorien in verschiedenen Umfeldszenarien, umfasst

- eine Datenbank zum Abspeichern von Datensätzen betreffend die manuell gefahrenen Trajektorien, die Sensordaten, die Detektionen und die für jede manuelle Trajektorie ermittelten Hypothesen sowie Kontextdaten von Fahrbahnabschnitten,
- eine Einrichtung zur Ermittlung von Informationen über den Straßenverlauf aus den Datensätzen, wie beispielsweise Markierungen, Bordsteine, Vorderfahrzeug, Leitplanken etc.,
- eine Einrichtung zur Schätzung des Straßenverlaufs aus den Informationen über den Straßenverlauf, die den geschätzten Straßenverlauf ermittelt,
- eine Einrichtung zur Ermittlung von Fahrtrajektorien aus den Schätzungen des Straßenverlaufs, wobei für den jeweiligen geschätzten Straßenverlauf eine Fahrtrajektorie ermittelt wird,
- eine Evaluationseinrichtung zur Anwendung einer vorgegebenen Metrik zur Evaluation der Informationen über den Straßenverlauf, der Evaluation des geschätzten Straßenverlaufs und der Evaluation der ermittelten Fahrtrajektorie für den geschätzten Straßenverlauf,
- einer Einrichtung zum Vorhalten mindestens einer Evaluationsmetrik, und
- einer Ausgabeeinrichtung, die die Evaluationsergebnisse zur Verfügung stellt, wobei die vorbestimmte Metrik darin besteht, dass
- - der Winkel zwischen dem Referenzpunkt im vorgegebenen Abstand (rl) der manuell gefahrenen Trajektorie und der in Fahrtrichtung verlaufenden x-Achse des fahrzeugeigenen Koordinatensystems zum Ausgangszeitpunkt bestimmt wird,
- - der Winkel zwischen dem Referenzpunkt im vorgegebenen Abstand (rl) der Hypothese und der in Fahrtrichtung verlaufenden x-Achse des fahrzeugeigenen Koordinatensystems zum Ausgangszeitpunkt bestimmt wird,
- - der Betrag der Differenz der beiden Winkel bestimmt wird,
- - zur Evaluation der Einrichtung oder des Fahrerassistenzsystems der Betrag der Winkeldifferenz mit einer vorgegebenen Schwelle verglichen wird, und
- - ein Klassifizieren der Hypothese in die Kriterien brauchbar oder unbrauchbar anhand des Vergleichsergebnisses erfolgt.

Weiter bevorzugt umfasst das System eine Einrichtung, die aus der Datenbank Datensätze extrahiert, relevante Daten aus den Datensätzen entnimmt und der Evaluationseinrichtung zur Verfügung stellt, so dass die Evaluationsergebnisse mit relevanten Daten ausgestattet werden.
Vorzugsweise gehören zu den relevanten Daten auch GPS-Koordinaten, die den entsprechenden Fahrbahnabschnitt betreffen.
Weiter bevorzugt betreffen die Evaluationsergebnisse eine Bewertung der Fahrbahnabschnitte hinsichtlich der Verfügbarkeit für eine automatische Fahrfunktion.
Weiter bevorzugt wird aus den Evaluationsergebnissen eine Verfügbarkeitskarte für eine automatische Fahrfunktion ermittelt.
Vorzugsweise enthält die Verfügbarkeitskarte Informationen über die Verfügbarkeit der automatischen Fahrfunktionen sowie der Einrichtungen zur Fahrbahnerkennung und Fahrbahnschätzung.
Mittels einer derartigen Verfügbarkeitskarte kann dann im sogenannten „Shadow Mode“ ermittelt werden, ob die Straßenabschnitte für eine automatische Fahrfunktion geeignet sind. Mit anderen Worten, mehrere Straßenabschnitte werden manuell abgefahren, um Daten von Sensoren und Funktionen aufzuzeichnen. Dabei werden die automatische Fahrfunktionen nicht aktiviert. Durch eine Offline Prozessierung werden die gesammelten Daten mit dem vorgestellten Evaluierungsframework erstellt, dessen Ergebnis in Form eine Verfügbarkeitskarte repräsentiert werden kann. Die Daten für diese Offline Prozessierung können von mehreren Fahrzeugen, d.h. von einer Flotte, gesammelt und bereitgestellt werden.
Zusammenfassend betrifft das Verfahren die Entwicklung eines generischen Evaluierungsframeworks von Einrichtungen zur Fahrbahnerkennung. Dabei werden die Daten durch manuelles Fahren aufgenommen und die gefahrene Trajektorie bildet die Referenz, also die sog. Ground-Truth-Daten. Im Vergleich zur Verwendung von hochgenauen Karten und hochgenauem DGPS ist dies eine deutlich günstigere Lösung.
Im Detail können alle Komponente der Fahrbahnerkennung und Fahrerassistenzsysteme mit Fahrfunktion evaluiert werden, nämlich

- Sensoren zur Fahrbahnerkennung, beispielsweise Detektoren für Markierungen, Bordsteine, etc.,
- Fahrbahnerkennung als Ganzes, und
- Fahrerassistenzsystemen anhand der geplanten Trajektorien,
- sowie ein System zur Erstellung von Verführbarkeitskarten für eine automatische Fahrfunktion anhand dieser Evaluierungsergebnisse zu schaffen.

Ferner können verschiedene Evaluierungsmetriken definiert und evaluiert werden, beispielsweise Winkelabweichung, lateraler Offset, Verfügbarkeit in Stunden oder Kilometer. Ferner ist das Evaluationssystem mit neuen Metriken erweiterbar, ohne dass das System verändert werden muss.
Die Vorteile sind, dass unabhängig vom hochgenauen GPS-Empfänger und hochgenauer Karte eine gleichzeitige Evaluation mehrerer Informationsquelle möglich ist, wobei das Verfahren bzw. das System auch für die Evaluation eines Parkhauspiloten einsetzbar ist. Neben den unterschiedlichen Informationsquellen, können die Fahrbahnerkennung und Fahrerassistenzsysteme mit Fahrfunktion auf unterschiedlichen Levels evaluiert werden.
Offensichtlich ist, dass aufgrund der von der manuell gefahrenen Trajektorie und der Evaluation der Parallelität nur die Evaluation von Ego-Fahrstreifen möglich ist. Ein Fahrspurwechsel des Egofahrzeugs führt zu falschen Ergebnissen. Dies lässt sich durch das Filtern von Fahrspurwechseln vermeiden. Ferner verfälschen Abbiegemöglichkeiten bei Kreuzungen und Autofahrten die Evaluationsergebnisse, was ebenfalls durch Filtern berücksichtigt werden kann.
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt

1 eine Darstellung des zugrundeliegenden Problems,
2 eine Darstellung der bevorzugten Metrik,
3 die Metrik in genauer Darstellung,
4 eine Darstellung weiterer möglicher Metriken,
5 das Evaluierungskonzept in schematischer Darstellung, und
6 ein Beispiel einer Verfügbarkeitskarte.

1 verdeutlicht in schematischer Darstellung die Probleme, die bei einer Evaluation von Systemen zur Fahrbahnerkennung auftreten, wie sie in Fahrerassistenzsystemen zum Einsatz kommen. Unter Systemen zur Fahrbahnerkennung werden sowohl Sensoren zur Fahrbahnerkennung, die Fahrbahnschätzung als auch Fahrerassistenzsysteme mit Fahrfunktion selbst verstanden. Dabei besteht die gemeinsame Eigenschaft darin, dass ein System zur Fahrbahnerkennung eine Prognose über die zukünftige Trajektorie des Egofahrzeugs bereitstellt, die hier durchgängig als Hypothese bezeichnet wird.
Ein Egofahrzeug 1, welches hier im Beispiel mit einem hochgenauen GPS 2 ausgestattet ist, fährt auf einer Fahrbahn 3 mit zwei Fahrspuren 4, 5, wobei sich das Egofahrzeug 1 auf der linken Fahrspur 5 bewegt. Die beiden Fahrspuren 4, 5 sind durch Markierungen voneinander getrennt, nämlich eine rechte durchgehende Markierung 6, eine Mittenmarkierung 7 und eine linke Markierung 8.
Vor dem Egofahrzeug 1 befindet sich auf der Nachbarspur 4 ein vorausfahrendes Fahrzeug 9, wobei angenommen wird, dass sich beide Fahrzeug 1, 9 jeweils auf den Spurmitten 10, 11 der beiden Fahrspuren bewegen. Zur Verdeutlichung der Situation sind die beiden Spurmitten 10, 11 der beiden Fahrspuren 4, 5 in 1 eingezeichnet. Ferner ist gestrichelt die von einem Lane Assist oder Autobahnpilot geplante Trajektorie 12 des Egofahrzeugs 1 eingezeichnet, die entlang der Spurmitte 11 der linken Fahrspur 5 verläuft. Bei dieser geplanten Trajektorie 12 handelt es sich also um eine Hypothese im oben genannten Sinn. Dabei wurde vom Lane Assist bzw. Autobahnpilot die linke Markierung 8 erkannt, was durch die Kennzeichnung 13 ausgedrückt wird.
Ist ein ACC-System im Egofahrzeug 1 vorhanden, so erkennt das ACC-System das vorausfahrende Fahrzeug 9 und es wird eine Trajektorie 14 ermittelt, mittels der sich das Egofahrzeug 1 hinter dem vorausfahrenden Fahrzeug 9 auf der rechten Fahrspur 4 einsortieren kann.
Ferner könnte das Egofahrzeug 1 die linke Markierung 7 der rechten Fahrspur 4 , d.h. die Mittenmarkierung 7, erkennen und basierend auf dem Erkennen der linken Markierung 7 eine mögliche Trajektorie 16 in Richtung der rechten Fahrpurmarkierung 6 aufgrund des Detektionsergebnisses 15 vorschlagen, welches die rechte Markierung 6 der rechten Fahrspur 4 erkennt.
Es stellt sich daher die Frage, welche der drei möglichen Hypothesen, die geplante Trajektorie 12 entlang der Fahrspurmitte 11 der linken Spur 5, die hinter das vorausfahrende Fahrzeug 9 führende Trajektorie 14 oder die in Richtung der rechten Fahrspurmarkierung 6 führende Trajektorie 16 die Richtige ist. Es ist aus der 1 offensichtlich, dass die entlang der Fahrspurmitte 11 der linken Spur 5 führende Trajektorie 12 die korrekte Hypothese ist.
Eine Entscheidung über die Relevanz der drei Hypothesen 12, 14 und 16 könnte beispielsweise anhand eines hochgenauen GPS-Empfängers zusammen mit einer hochgenauen Karte herbeigeführt werden, was allerdings die bei weitestem teuerste Lösung darstellt. Ferner sind hochgenaue Karten nur für bestimmte Abschnitte des Straßennetzes verfügbar.
2 zeigt die Verwendung einer Metrik basierend auf der manuell gefahrenen Trajektorie 17 des Egofahrzeugs 1 mit GPS 2 auf der Fahrbahn 3 zur Evaluation der Systeme zur Fahrbahnerkennung, wobei in 2 die Detektion 15 ausgehend von der Mittenmarkierung 7 in Richtung der rechten Fahrbahnrandmarkierung 6 als zu evaluierende Hypothese dargestellt ist. Zu Definition der Metrik kommt ein fahrzeugfestes x-y-Koordinatensystem zum Einsatz, wobei die x-Richtung in Fahrtrichtung des Egofahrzeugs 1 und die y-Richtung senkrecht dazu zeigt. Ferner werden in einem vorgegebenen Abstand Referenzpunkte CP_ref und CP_H festgelegt, wobei der vorgegebene Abstand im Bereich zwischen 10 m und 200 m liegt, wobei vorzugsweise 30 m verwendet wird. Dabei betrifft der Referenzpunkt CP_ref die manuell gefahrene Trajektorie 17 und der Referenzpunkt CP_H die betrachtete Hypothese 15, im vorliegenden Beispiel die Detektion 15 der rechten Fahrbahnmarkierung 6 ausgehend von der Mittenmarkierung 7. Ausgehend vom Ausgangszeitpunkt t=t0, hier im Beispiel der aktuelle Ort des Egofahrzeugs 1, wird zum Zeitpunkt t=t1 des Erreichens des Referenzpunktes CP_ref, welches ebenfalls dem Erreichen des Referenzpunktes CP_h der Hypothese entspricht, die jeweiligen Winkel α_ref und α_h zur x-Achse und der Betrag der Differenz der beiden Winkel bestimmt, also: $Δ α= | α_{ref} - α_{h} |$
Diese Winkelabweichung Δα zwischen der Referenz 17 und der Hypothese 15 wird zur Beurteilung oder Evaluation der Hypothese verwendet.
3 zeigt die verwendete Metrik in größerem Detail. Dargestellt ist das sich auf einer Fahrbahn 3 bewegende Egofahrzeug 1, wobei das Egofahrzeug im Ausgangszeitpunkt t =t0 ein fahrzeugfestes Koordinatensystem x-y aufspannt und der Nullpunkt P_ref mit den Koordinaten (0, 0) des x-y-Koordinatensystems hier in der Mitte der hinteren Fahrzeugachse des Egofahrzeugs 1 liegt.
Ausgehend vom Zeitpunkt t = t0 bewegt sich das Egofahrzeug 1 mit der Geschwindigkeit v = (v_x, v_y) entlang der manuell gefahrenen Trajektorie GT (Ground truth), die als Referenztrajektorie dient. Die manuell gefahrene Trajektorie GT folgt üblicherweise nicht der zum Zeitpunkt t = t0 definierten x-Achse, die beispielsweise bei einer geraden Fahrbahn der Mittellinie der Fahrspur des Egofahrzeugs 1 entsprechen würde. Zum Zeitpunkt t = t1 erreicht das Egofahrzeug 1 den Referenzpunkt CP_ref mit den Koordinaten (x_t1, y_t1), der den Abstand rl vom Ausgangspunkt P_ref hat. Zu einem späteren Zeitpunkt t2 hat das Egofahrzeug die in 3 dargestellte Position erreicht, die für die momentane Betrachtung zur Definition der bevorzugten Metrik nicht relevant ist.
Zur Betrachtung der in 3 dargestellten Hypothese H beginnt deren Verlauf in der Darstellung im Punkt P_h mit den Koordinaten (x_h,0, y_h,0). Zum Zeitpunkt t = t1 hat die Hypothese H den Referenzpunkt CP_h erreicht, der den Abstand rl vom Ausgangspunkt P_h der Hypothese H hat. Die obige Gleichung (1) der Winkeldifferenz Δα lässt sich daher schreiben als: $Δ \propto = | arctan (\frac{y_{h, c p} - y_{h, o}}{x_{h, c p} - x_{h, o}}) | - arctan (\frac{y_{t 1}}{x_{t 1}}) |$
Mit anderen Worten, mit der auf dem manuell gefahrenen Weg basierenden Metrik nach Gleichung (1) bzw. (2) lässt sich eine Aussage über die Parallelität der Hypothese H gegenüber dem gefahrenen Weg GT treffen. Je kleiner daher die Winkeldifferenz Δα ist, um so besser ist die Hypothese H. Diese Metrik wurde bereits in der oben aufgeführten Veröffentlichung von T. T. Ngyuen et. al. eingesetzt.
4 zeigt weitere mögliche Metriken, wie sie zur Evaluation von Systemen zur Fahrbahnerkennung verwendet werden können. Dargestellt ist wieder das Egofahrzeug 1, welches sich auf einer Fahrbahn 3 mit den beiden Fahrspuren 4, 5 auf der linken Fahrspur 5 im fahrzeugeigenen x-y-Koordinatensystem in x-Richtung bewegt. Ferner ist eine Hypothese H dargestellt, die in Richtung der erkannten rechten Fahrbahnrandmarkierung 6 verläuft und dem Detektionsergebnis 15 der 1 entspricht. Es wird nun nicht wie in 3 die manuell gefahrenen Trajektorie als Referenz verwendet, sondern die x-Richtung des Koordinatensystems dient als Referenztrajektorie.
Es werden ebenfalls zwei Referenzpunkte definiert, nämlich CP_ref und CP_h, wobei Cp_ref ein Punkt auf der x-Achse im Abstand rl ist, während CP_h der entsprechenden Referenzpunkt auf der Hypothese ist. Die Winkelabweichung Δα_H beschreibt nun die Winkelabweichung zwischen der Hypothese H im Referenzpunkt CR_H und der x-Achse. Die tatsächlich manuell gefahrene Trajektorie spielt bei dieser Metrik keine Rolle.
Ferner ist es möglich, den Abstand Δs zwischen den beiden Referenzpunkten CP_ref und CP_h als Maß für die Abweichung der Hypothese H von der durch die x-Achse realisierte Geradeausrichtung oder einer manuell gefahrenen Trajektorie (nicht dargestellt) zu verwenden.
Schließlich ist es möglich, den Überlapp UE der Fläche, die aufgespannt wird durch die Hypothese H und der x-Achse zwischen dem Ursprung P_ref des Koordinatensystems und den beiden Referenzpunkten, mit der Fläche des angenommenen Fahrschlauches FS des Egofahrzeugs entlang der x-Achse von Ursprung P_ref bis zum Referenzpunkt CP_ref als Maß für die Abweichung der Hypothese H von der angenommenen Geradeausfahrt zu nehmen.
5 zeigt das vorgeschlagene generische Evaluierungskonzept, mit dessen Hilfe aufgrund der gesammelten Ergebnisse von Messfahrten eine Verfügbarkeitskarte 34 erstellt werden kann, aus der für unterschiedliche Abschnitte von Fahrbahnen entnommen werden kann, welche prognostizierten Trajektorien der unterschiedlichen Sensoren und/oder Fahrerassistenzsysteme, also den Hypothesen, soweit Vertrauen entgegen gebracht werden kann, dass beispielswiese ein automatisches Fahren auf dem jeweiligen Abschnitt möglich ist, so dass vorausschauend eine automatische Fahrfunktion aktivierbar ist oder nicht.
Das Evaluierungssystem 20 umfasst eine Datenbank 21, die die Aufzeichnungen, d.h. Datensätze, über die manuell gefahrenen Evaluationsfahrten in verschiedenen Szenarien enthält, wobei jeder Datensatz neben den Sensordaten auch Kontextdaten aufweist. Diese Kontextdaten können aus der Karte extrahiert werden oder werden manuell gelabelt, welche die aktuelle Situation beschreiben, wie zum Beispiel: Gebiete mit schlechten oder ohne Markierungen, der Vordermann macht gerade einen Fahrstreifenwechsel. Verschiedene Szenarien sind beispielsweise Fahrten im städtischen Umfeld, auf der Autobahn oder auf Landstraße. Diese Daten werden neben den reinen Sensordaten zusammen mit der Aufnahmezeit und der über GPS erhaltenen Position als Kontextdaten der Sensordaten als Datensatz gespeichert.
Aus der Datenbank 21 werden die Ergebnisse 22 über den Fahrbahnverlauf extrahiert, also Sensorergebnisse 22. Dabei handelt es sich um Informationen über die Straßenmarkierungen, Informationen der digitalen Karte, erkannte Bordsteine, Leitplanken, die aus einer Umgebungskarte ermittelte freie Weg etc.. Diese direkt aus dem jeweiligen Sensor ermittelten Begebenheiten werden einer Evaluluationseinrichtung 29 zugeführt, die mittels der verwendeten Metrik, die aus einer Menge 30 vorgegebener Metriken auswählbar ist, eine Evaluation der Sensorergebnisse durchführt. Die Evaluationsergebnisse 31 sind dann zusammen beispielsweise mit der GPS-Positionsinformation über eine Schnittstelle 32 zugänglich, auf die von extern zugegriffen werden kann. Dabei können die GPS-Daten sowie weitere relevante Daten, die für das jeweilige Evaluationsergebnis relevant sind, parallel der Datenbank 21 über eine Datenextraktion 27 entnommen werden und nach einer Filterung 28 der benötigten relevanten Daten der Evaluationseinrichtung 29 zugeführt werden, so dass ein vollständiger Evaluationsergebnisdatensatz 31 zur Verfügung steht.
Anhand der Sensorergebnisse 22 werden Fahrbahnschätzungen 23 durchgeführt, die in u geschätzten Fahrbahnverläufen 24 resultieren. Die geschätzten Fahrbahnverläufe werden einer Evaluation 29 mittels der ausgewählten Evaluationsmetrik aus der vorhandenen Metrikmenge 30 unterzogen. Die in der Evaluation 29 evaluierten geschätzten Fahrbahnen werden mit weiteren relevanten Daten 28, wie GPS-Positionsdaten versehen, und als Evaluationsergebnisse 31 der Schnittstelle 32 zur Verfügung gestellt.
Die Fahrbahnschätzungen 23 werden weiterhin jeweiligen Fahrerassistenzsystemen 25 zugeführt und dort verarbeitet, wobei das Ergebnis der Verarbeitung in geplanten Trajektorien 26 resultiert, die einer Evaluation 29 unterzogen werden, so dass die Evaluationsergebnisse zusammen mit relevanten Daten 28 wie GPS als Evaluationsergebnisse 31 der Schnittstelle 32 zur Verfügung gestellt werden.
Die Evaluationsdatensätze 31 können über die Schnittstelle 32 dann einem Performance Indikator 33 der Fahrbahnschätzung, einer Verfügbarkeitskarte 34 und einer Fehlerbetrachtung 35 zugeführt werden.
6 zeigt eine Verfügbarkeitskarte, die aus den Evaluationsergebnissen des Evaluationssystem der 4 zusammengestellt werden kann. Bei der 6 handelt es sich um einen Kartenausschnitt der Umgebung um Wolfsburg, wobei die Straßen und Autobahnen entsprechend der Verfügbarkeit beispielsweise für eine automatisches Fahrfunktion markiert sind. Dabei bedeutet

„+“: in dem so markierten Fahrbahnabschnitt sind linke und rechte Fahrbahnmarkierungen erkennbar, so dass eine automatische Fahrfunktion sich anhand der Fahrbahnmitte orientieren kann,
„-“: hier sind nur Hypothesen mit linken Markierungen für eine automatische Fahrfunktion brauchbar,
„◯“: in diesen Abschnitten sind keine richtigen Hypothesen verfügbar, so dass eine automatische Fahrfunktion hier nicht verfügbar ist, und
„◇“: in diesen Abschnitten sind nur Hypothesen basierend auf rechten Markierungen brauchbar.

Die Erstellung einer Verfügbarkeitskarte erfolgt mittels einer Zuverlässigkeitsschätzung der Hypothesen der Einrichtungen zur Fahrbahnerkennung, wie dies anhand der 5 erläutert wird. Dabei erfolgt ein mehrmaliges Abfahren der Streckenabschnitte, um die Differenzen zwischen den Hypothesen und gefahrenen Trajektorien zu erhalten, wobei die Differenzen in einer Datenbank erfasst werden, sog. Backend 21 in 5. Aus den erfassten Daten wird eine Verfügbarkeitskarte der automatischen Fahrfunktion in dem Sinne erstellt „Wo ist die Funktion aktivierbar?“. Die so erstellte Verfügbarkeitskarte bildet die Basis für eine Freigabe von Autobahnpilot-Funktion.
Da aus der Verfügbarkeitskarte vorab erkannt werden kann, welche Sensoren in welchem Straßenabschnitt für eine automatische Fahrfunktion in Frage kommen oder ob für einen bestimmten Fahrabschnitt mangels positiver Evaluationsergebnisse überhaupt keine Fahrbahnerkennung funktioniert, kann die automaische Fahrfunktion entsprechend agieren und insbesondere für die Abschnitte ohne zuverlässige Sensorik den Fahrer frühzeitig warnen, so dass der Übergang der Fahrfunktion auf den Fahrer ohne Probleme erfolgen kann.
Bezugszeichenliste

1: Egofahrzeug
2: GPS
3: Fahrbahn
4: rechte Fahrspur
5: linke Fahrspur
6: rechte Markierung
7: Mittenmarkierung
8: linke Markierung
9: vorausfahrendes Fahrzeug - ACC-Objekt
10: Spurmitte
11: Spurmitte
12: Hypothese geplante Trajektorie Lane Assist
13: erkannte linke Markierung
14: Hypothese geplante Trajektorie ACC
15: Hypothese Detektionsergebnis rechter Fahrbahnrand
16: Hypothese Egofahrspur entlang des Detektionsergebnisses 15
17: manuelle gefahrene Trajektorie
GT: Ground Truth Daten - manuelle Trajektorie
H: Hypothese
αref: Referenzwinkel
αh: Winkel Hypothese
Δα: Winkeldifferenz
ΔαH: Winkeldifferenz
t0: Zeitpunkt
t1: Zeitpunkt
t2: Zeitpunkt
CPref: Referenzpunkt manuell gefahrene Trajektorie
CPh: Referenzpunkt Hypothese
rl: Referenzlänge / Referenzabstand
Δs: Euklidischer Abstand zwischen den Referenzpunkten
UE: Überlapp
FS: Fläche angenommener Fahrschlauch
20: Evaluierungssystem
21: Datenbank
22: Sensorergebnisse
23: Fahrbahnschätzung
24: ermittelte Fahrbahnen
25: Fahrerassistenzsysteme
26: geplante Trajektorien
27: extrahierte Daten
28: relevante Daten
29: Anwendung der Metrik
30: Menge möglicher Metriken
31: Ergebnisse mit GPS-Koordinaten
32: Schnittstelle
33: Performance Indikator
34: Verfügbarkeitskarte
35: Fehlerbetrachtung
+: Hypothese aufgrund sowohl linker als auch rechter Fahrbahnmarkierung
-: nur Hypothese mit linken Markierungen
◯: keine Hypothese
◇: nur Hypothese mit rechten Markierungen

Claims

Verfahren zur Evaluation von Detektionsergebnissen von Komponenten zur Fahrbahnerkennung, der von einer Fahrbahnschätzung geschätzten Fahrbahn, und/oder der geplanten Trajektorie der verwendenden Fahrerassistenzsysteme eines Egofahrzeugs, wobei die Detektionsergebnisse, die geschätzte Fahrbahn und die geplante Trajektorie als Hypothese (H) bezeichneten werden, dadurch gekennzeichnet, dass zur Evaluation der Einrichtungen oder der Fahrerassistenzsysteme eine Metrik verwendet wird, die auf der manuell gefahrenen Trajektorie des Egofahrzeugs basiert, wobei die Abweichung zwischen der manuell gefahrenen Trajektorie und der Hypothese (H, 12, 14, 15, 16, 17) für vorgegebene Referenzpunkte in einem vorgegebenen Abstand von einem Ausgangspunkt in einem fahrzeugeigenen x-y-Koordinatensystem bestimmt wird, und anhand der Evaluation bestimmt wird, ob die Hypothese der Komponente zur Fahrbahnerkennung, der Fahrbahnschätzung und/oder des Fahrerassistenzsystems vorgegebene Kriterien erfüllt, wobei die Metrik darin besteht, dass - der Winkel zwischen dem Referenzpunkt im vorgegebenen Abstand (rl) der manuell gefahrenen Trajektorie und der in Fahrtrichtung verlaufenden x-Achse des fahrzeugeigenen Koordinatensystems zum Ausgangszeitpunkt bestimmt wird, - der Winkel zwischen dem Referenzpunkt im vorgegebenen Abstand (rl) der Hypothese und der in Fahrtrichtung verlaufenden x-Achse des fahrzeugeigenen Koordinatensystems zum Ausgangszeitpunkt bestimmt wird, - der Betrag der Differenz der beiden Winkel bestimmt wird, - zur Evaluation der Einrichtung oder des Fahrerassistenzsystems der Betrag der Winkeldifferenz mit einer vorgegebenen Schwelle verglichen wird, und - ein Klassifizieren der Hypothese in die Kriterien brauchbar oder unbrauchbar anhand des Vergleichsergebnisses erfolgt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die vorgegebene Schwelle 1° bis 3°, insbesondere 2° beträgt.
Verfahren nach Anspruch 2 , dadurch gekennzeichnet, dass zusätzlich zur Metrik der Winkeldifferenz der euklidische Abstand zwischen den Referenzpunkten der manuell gefahrenen Trajektorie und der Hypothese bestimmt und als weitere Metrik zur Evaluation der Hypothese herangezogen wird.
Verfahren nach einem der vorangegangenen Ansprüche dadurch gekennzeichnet, dass zur weiteren Evaluation der Einrichtungen oder der Fahrerassistenzsysteme eine Metrik verwendet wird, die auf einer Trajektorie des Egofahrzeugs basiert, wobei die Abweichung zwischen der Trajektorie und der Hypothese (H, 12, 14, 15, 16, 17) für vorgegebene Referenzpunkte in einem vorgegebenen Abstand von einem Ausgangspunkt in einem fahrzeugeigenen x-y-Koordinatensystem bestimmt wird, und anhand der Evaluation bestimmt wird, ob die Hypothese der Komponente zur Fahrbahnerkennung, der Fahrbahnschätzung und/oder des Fahrerassistenzsystems vorgegebene Kriterien erfüllt.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Metrik auf einer Winkeldifferenz zwischen der in Fahrrichtung verlaufenden x-Achse zum Ausgangszeitpunkt und dem Referenzpunkt der Hypothese, auf dem euklidischen Abstand zwischen dem Referenzpunkten der Trajektorie und der Hypothese, oder auf der Abweichung der Hypothese von der genauen Karte durch eine hochgenaue GPS-Position in Verbindung mit einer hochgenauen Karte basiert.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass der Abstand vorgegebene Abstand (rl) der Referenzpunkte vom Ausgangspunkt zwischen 10 m und 200 m, insbesondere 30 m beträgt.
Vorrichtung zur Evaluation von Detektionsergebnissen von Komponenten zur Fahrbahnerkennung, der von einer Fahrbahnschätzung geschätzten Fahrbahn, und/oder der geplanten Trajektorie der verwendenden Fahrerassistenzsysteme eines Egofahrzeugs, wobei die Detektionsergebnisse, die geschätzte Fahrbahn und die geplante Trajektorie als Hypothese (h) bezeichneten werden, wobei die Vorrichtung zur Durchführung des Verfahrens nach einem der vorangegangenen Ansprüche eingerichtet und ausgelegt ist, mit einer Einrichtung oder ein Fahrerassistenzsystem zur Fahrbahnerkennung, einer Einrichtung zur Evaluation der Hypothese, und einer Einrichtung zur Klassifizierung der Hypothese.
System (20) zur off-line Evaluation von manuell gefahrenen Trajektorien in verschiedenen Umfeldszenarien, mit einer Datenbank (21) zum Abspeichern von Datensätze betreffend die manuell gefahrenen Trajektorien (GT) und den für jede manuelle Trajektorie (GT) ermittelten Hypothesen (H) sowie Kontextdaten von Fahrbahnabschnitten, eine Einrichtung (22) zur Ermittlung von Sensorinformationen über den Straßenverlauf aus den Datensätzen, eine Einrichtung (23, 24) zur Schätzung des Straßenverlaufs aus den Informationen über den Straßenverlauf, die den geschätzten Straßenverlauf (24) ermittelt, eine Einrichtung (25, 26) zur Ermittlung von Fahrtrajektorien aus den Schätzungen des Straßenverlaufs, wobei für den jeweiligen geschätzten Straßenverlauf eine Fahrtrajektorie (26) ermittelt wird, eine Evaluationseinrichtung (29) zur Anwendung einer vorgegebenen Metrik zur Evaluation der Informationen über den Straßenverlauf, der Evaluation des geschätzten Straßenverlaufs und der Evaluation der ermittelten Fahrtrajektorie für den geschätzten Straßenverlauf, einer Einrichtung (30) zum Vorhalten mindestens einer Evaluationsmetrik, und einer Einrichtung zur Bereitstellung von Evaluationsergebnissen (321), wobei die vorbestimmte Metrik darin besteht, dass - der Winkel zwischen dem Referenzpunkt im vorgegebenen Abstand (rl) der manuell gefahrenen Trajektorie und der in Fahrtrichtung verlaufenden x-Achse des fahrzeugeigenen Koordinatensystems zum Ausgangszeitpunkt bestimmt wird, - der Winkel zwischen dem Referenzpunkt im vorgegebenen Abstand (rl) der Hypothese und der in Fahrtrichtung verlaufenden x-Achse des fahrzeugeigenen Koordinatensystems zum Ausgangszeitpunkt bestimmt wird, - der Betrag der Differenz der beiden Winkel bestimmt wird, - zur Evaluation der Einrichtung oder des Fahrerassistenzsystems der Betrag der Winkeldifferenz mit einer vorgegebenen Schwelle verglichen wird, und - ein Klassifizieren der Hypothese in die Kriterien brauchbar oder unbrauchbar anhand des Vergleichsergebnisses erfolgt.
System nach Anspruch 8, dadurch gekennzeichnet, dass eine Einrichtung (27) aus der Datenbank Datensätze extrahiert, relevante Daten (28) aus den Datensätzen entnimmt und der Evaluationseinrichtung (29) zur Verfügung stellt, so dass die Evaluationsergebnisse (31) mit relevanten Daten ausgestattet werden.
System nach Anspruch 9, dadurch gekennzeichnet, dass die relevanten Daten durch GPS-Koordinaten gebildet werden, die den entsprechenden Fahrbahnabschnitt betreffen.
System nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die Evaluationsergebnisse (31) eine Bewertung der Fahrbahnabschnitte hinsichtlich der Verfügbarkeit für eine automatische Fahrfunktion betreffen.
System nach Anspruch 11, dadurch gekennzeichnet, dass aus den Evaluationsergebnissen (31) eine Verfügbarkeitskarte (34) für eine automatische Fahrfunktion ermittelt wird.
System nach Anspruch 12, dadurch gekennzeichnet, dass die Verfügbarkeitskarte Informationen über die Verfügbarkeit der automatischen Fahrfunktionen sowie der Einrichtungen zur Fahrbahnerkennung enthält.
System nach einem der Ansprüche 11 bis 13, dadurch gekennzeichnet, dass aus den Evaluationsergebnissen (31) eine Fehlerbetrachtung (35) und ein Performance Indikator (33) abgeleitet werden.