DE102022116564A1

DE102022116564A1 - Verfahren, System und Computerprogrammprodukt zur Bewertung von Testfällen zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS)

Info

Publication number: DE102022116564A1
Application number: DE102022116564.7A
Authority: DE
Inventors: Moritz Markofsky
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2022-07-04
Filing date: 2022-07-04
Publication date: 2024-01-04

Abstract

Die Erfindung betrifft ein Verfahren zur Bewertung von Testfällen (Ti) zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion für eine festgelegte Fahraufgabe in zumindest einem Szenario (SZi), umfassend:- Generieren (S10) von zumindest einem Testfall (Ti) von einem Testagenten (350) durch Auswählen von zumindest einem parametrisierten Szenario (SZpi) und konkreten Szenarioparametern (Pci) und konkreten Szenarioparameterwerten (PVci) aus einer Szenariendatenbank (200) mittels einer Teststrategie von einem Testagenten (350) für die Fahraufgabe;- Generieren (S20) einer Simulationsumgebung mit dem ausgewählten Testfall (Ti) und Durchführen einer Simulation des Verhaltens des Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion in der Simulationsumgebung von einem Simulationsmodul (400) zur Bestimmung von Simulationsergebnissen (450);- Bewerten (S30) der Simulationsergebnisse (450) durch ein Bewertungsmodul (500) zur Bestimmung eines Kritikalitätsindex (590) für den Testfall (Ti).

Description

Die Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammprodukt zur Bewertung von Testfällen zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion.
Moderne Fahrzeuge sind mit einer Vielzahl von Fahrassistenzsystemen bzw. automatisierten Fahrassistenzfunktionen ausgestattet, um den Fahrer beim Fahren zu unterstützen und seine Sicherheit zu erhöhen. Fahrassistenzsysteme unterstützen beispielsweise die Geschwindigkeits- und Abstandsregelung und beinhalten Spurhalte- und Spurwechselfunktionen. Hierbei kann eine bestimmte maximale Geschwindigkeit eingestellt werden, die nicht überschritten wird, solange die Geschwindigkeitsbegrenzungsfunktion aktiviert ist. Für die Abstandsregelung, bei der ein bestimmter Abstand insbesondere zu einem vorausfahrenden Fahrzeug eingestellt wird, werden Radarsensoren, aber auch Kamerasysteme eingesetzt. Hierdurch kann der Abstand zu vorausfahrenden Fahrzeugen, aber auch zu Fahrzeugen im Seitenbereich überwacht werden. Dies führt zu einem verbesserten Fahrkomfort und einer höheren Sicherheit insbesondere bei Fahrten auf der Autobahn und bei Überholmanövern.
Dieser Trend zu Fahrerassistenzsystemen (engl. Advanced Driver Assistance System, ADAS) und automatisierten Fahrsystemen (engl. Automated Driving System, ADS) bei Kraftfahrzeugen, aber auch bei Luftfahrzeugen oder Wasserfahrzeugen und anderen sich bewegenden Objekten, erfordert umfangreiche Absicherungsstrategien, da die Verantwortung über die Fahrzeugführung nicht mehr uneingeschränkt beim Fahrer liegt, sondern aktive Funktionen von Rechnereinheiten im Fahrzeug übernommen werden. Daher muss bei vollständig oder teilweise sich autonom bewegenden Objekten sichergestellt werden, dass diese Systeme eine sehr geringere Fehlerrate beim Fahrverhalten aufweisen. Um eine sichere Funktionsfähigkeit eines ADAS/ADS-Systems zu gewährleisten, sind die Erkennung und Klassifizierung von anderen Objekten und die Interpretation von Verkehrsszenarien im Umfeld eines sich bewegenden Objekts, insbesondere eines Fahrzeugs, wichtige Voraussetzungen. Hierfür ist das gezielte Testen und Trainieren der Fahrerassistenzsysteme und automatisierten Fahrsysteme sowohl in Extrem- und Ausnahmesituationen (engl. Corner Cases) als auch in alltäglichen Situationen erforderlich. Derartige Extremsituationen ergeben sich durch eine besondere Kombination von verschiedenen Faktoren. Beispiele hierfür sind infrastrukturelle Besonderheiten wie beispielsweise der Straßentyp, die Randbebauung an einer Straße, die Qualität der Markierungen aber auch Umgebungsbedingungen wie beispielsweise Witterungsbedingungen, die Tages- und die Jahreszeit. Des Weiteren spielen das Verhalten der anderen Verkehrsteilnehmer, die geographische Topographie und die Wetterverhältnisse eine große Rolle.
Allerdings stellt bei der Integration von modernen ADAS/ADS-Systemen in ein Fahrzeug eine solche Verifizierung, Kalibrierung und Validierung auch eine große Herausforderung dar, da ein funktionales Spezifikationsdefizits bei Fahrassistenzsystemen besteht. Während in der Automobilindustrie für konventionelle Systeme ein anforderungsbasierter Testprozess etabliert ist, bei dem Testfälle anhand von Testspezifikationen implementiert werden, fehlt dies bisher für ADAS/ADS-Systeme, da im Gegensatz zu konventionellen Systemen eine wesentlich größere Anzahl an Einflussgrößen zu berücksichtigen ist, wie insbesondere die Fahrumgebung, die mittels Sensoren erfasst wird. Die Menge von Szenarien, die in der Fahrumgebung des Fahrzeugs auftreten können und die von einem ADAS/ADS-System korrekt erkannt und verarbeitet werden müssen, wird durch eine Operational Design Domain (ODD) dargestellt. Dazu gehören sowohl alltägliche Fahrszenarien als auch sehr selten auftretende Corner Cases. Um ein ADAS/ADS-System für alle möglichen Fahrszenarien zu testen und zu trainieren, müsste die gesamte ODD für ein ADAS/ADS-System erfasst und in einem Anforderungskatalog dokumentiert werden. Dies ist aufgrund der Komplexität der Fahrumgebung und der daraus resultierenden großen Anzahl von Fahrszenarien nicht möglich. Dieses Problem wird als funktionales Spezifikationsdefizit bezeichnet. Es erschwert sowohl den Kalibrierungs- als auch den Validierungsprozess eines ADAS/ADS-Systems und erfordert alternative Ansätze zu den bestehenden Methoden.
Aufgrund der Herausforderungen bei der Erprobung von ADAS/ADS-Systemen werden daher neben den bekannten Methoden zunehmend virtuelle Simulationsverfahren zum Testen und Trainieren für eine Verifizierung, Kalibrierung und Validierung von ADAS/ADS-Systemen eingesetzt. Dabei müssen diese virtuellen Simulationsverfahren jedoch in einer Weise gestaltet werden, dass eine objektive Vergleichbarkeit von verschiedenen ADAS/ADS-Systemen mit sich unterscheidenden Funktionalitäten hinsichtlich der Leistungsfähigkeit und Sicherheit möglich ist. Hierzu werden Testfälle entwickelt, mit denen eine Simulationsumgebung für das Testen und Trainieren von ADAS/ADS-Systemen generiert werden kann. Allerdings geben nicht alle Testfälle kritische Verkehrssituationen wieder. Da jedoch die Beurteilung der Leistungsfähigkeit und Performance eines ADAS/ADS-Systems insbesondere von dessen Verhalten in kritischen Testfällen abhängt, ist eine Bewertung von Testfällen hinsichtlich ihrer Kritikalität erforderlich.
Die DE 10 2017 009971 A1 offenbart ein Verfahren zum Testen eines Spurhalteassistenten, wobei ontologiebasiert eine Kategorie adäquater und relevanter Szenarien für Feldtests extrahiert wird.
Die DE 10 2019 124018 A1 offenbart ein Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme, wobei quasi-zufällige Parameterkombinationen für relevante Parameter erzeugt und entsprechende Systemantworten dahingehend bewertet werden, ob diese kritisch oder unkritisch sind.
Die DE 10 2019 217533 A1 offenbart ein Verfahren zur Abschätzung einer Abdeckung des Raums von Verkehrsszenarien, wobei Kennzahlen wie eine Kritikalität verwendet werden.
Die DE 10 2020 005507 A1 offenbart ein Verfahren zum Testen einer automatisierten Fahrfunktion, wobei ein Vertrauensmaß für die zu testende Fahrfunktion über einen gesamten Wirkbereich eines Operational Design Domains bestimmt wird.
Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, Möglichkeiten zur Bewertung von Testfällen zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) anzugeben, so dass insbesondere der Kalibrierungs- und Validierungsprozess weniger Zeit benötigt und mit einer verbesserten Genauigkeit und Effizienz durchgeführt werden kann.
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 9, und hinsichtlich eines Computerprogrammprodukts durch die Merkmale des Patentanspruchs 15 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
Durch die vorliegende Erfindung können aus einem Pool von zur Verfügung stehenden Testfällen für die Erstellung einer Simulationsumgebung für das Testen und Trainieren eines ADAS/ADS-Systems und/oder einer Fahrfunktion diejenigen kritischen Testfälle ausgewählt werden, die für die Erprobung und Absicherung eines ADAS/ADS-Systems und/oder einer Fahrfunktion besonders relevant sind. Zudem ergibt sich aus der Bewertung der Testfälle ein Grenzbereich zwischen kritischen und nichtkritischen Testfällen. Diese im Grenzbereich liegenden Testfälle sind für das reale Testen eines ADAS/ADS-Systems besonders interessant, da hierdurch die Leistungsfähigkeit eines ADAS/ADS-Systems präzise und nachvollziehbar bewertet werden kann und daraus mögliche Maßnahmen zur Verbesserung abgeleitet werden können. Insbesondere kann untersucht werden, ob dieser Grenzbereich mit den während der Entwicklung eines ADAS/ADS-Systems beispielsweise in einem Lastenheft definierten Systemgrenzen kompatibel ist. Durch die Auswahl von kritischen Testdatensätzen kann somit die Abschätzung der Sicherheit und Funktionsfähigkeit eines Fahrassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion für eine bestimmte Fahraufgabe deutlich verbessert werden.
Gemäß einem ersten Aspekt stellt die Erfindung ein Verfahren zur Bewertung von Testfällen zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion für eine festgelegte Fahraufgabe in zumindest einem Szenario bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar und ist durch eine Auswahl von Szenarioparametern und zugehörigen Szenarioparameterwerten definiert, wobei bei einem parametrisierten Szenario die Szenarioparameter und zugehörigen Szenarioparameterwerte frei wählbar sind, und bei einem konkreten Szenario die konkreten Szenarioparameter und zugehörigen konkreten Szenarioparameterwerte festgelegt sind. Das Verfahren umfasst die Verfahrensschritte:

- Generieren von zumindest einem Testfall von einem Testagenten durch Auswählen von zumindest einem parametrisierten Szenario und konkreten Szenarioparametern und konkreten Szenarioparameterwerten aus einer Szenariendatenbank mittels einer Teststrategie von einem Testagenten für die Fahraufgabe;
- Generieren einer Simulationsumgebung mit dem ausgewählten Testfall und Durchführen einer Simulation des Verhaltens des Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion in der Simulationsumgebung von einem Simulationsmodul zur Bestimmung von Simulationsergebnissen;
- Bewerten der Simulationsergebnisse durch ein Bewertungsmodul zur Bestimmung eines Kritikalitätsindex für den Testfall.

In einer Weiterbildung ist vorgesehen, dass das Bewertungsmodul weitere Bewertungsergebnisse insbesondere in Form von Leistungsindikatoren (KPls) zur Bewertung der Performance des ADAS/ADS-Systems und/oder der Fahrfunktion und von Simulationsqualitätskriterien (SQCs) zur Bestimmung der Qualität der Simulation für den Testfall berechnet.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass der Testfall und der bestimmte Kritikalitätsindex sowie die weiteren Bewertungsergebnisse in einer Testdatenbank gespeichert werden.
In einer weiteren Ausführungsform ist vorgesehen, dass eine Vielzahl von Testfällen generiert werden, die durch eine Variation eines oder mehrerer Szenarioparameter und konkreter Szenarioparameterwerte entstehen.
Insbesondere ist vorgesehen, dass die Testfälle, die Szenarioparameter und die konkreten Szenarioparameterwerte als eine Daten-Repräsentation in Form zumindest eines Vektors in einem latenten Vektorraum dargestellt werden.
in einer weiteren Ausführungsform ist vorgesehen, dass der Testagent des Testmoduls eine Softwareapplikation umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet, und dass das Simulationsmodul eine Softwareapplikation umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet; und dass das Bewertungsmodul eine Softwareapplikation umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet.
Vorteilhafterweise sind die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz als Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, rückgekoppelte neuronale Netzwerke, und/oder gefaltete neuronale Netzwerke ausgebildet.
Insbesondere ist vorgesehen, dass ein Szenarioparameter eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius, einen Ort, eine Zahl, ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit darstellt.
Gemäß einem zweiten Aspekt stellt die Erfindung ein System zur Bewertung von Testfällen zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion für eine festgelegte Fahraufgabe in zumindest einem Szenario bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar und ist durch eine Auswahl von Szenarioparametern und zugehörigen Szenarioparameterwerten definiert, wobei bei einem parametrisierten Szenario die Szenarioparameter und zugehörigen Szenarioparameterwerte frei wählbar sind, und bei einem konkreten Szenario die konkreten Szenarioparameter und zugehörigen konkreten Szenarioparameterwerte festgelegt sind. Das System umfasst eine Szenariendatenbank, in der zumindest parametrisierte Szenarien, Szenarioparameter und zugehörige Szenarioparameterwerte gespeichert sind, ein Testmodul, ein Simulationsmodul und ein Bewertungsmodul. Das Testmodul ist ausgebildet, zumindest einen Testfall durch Auswählen von zumindest einem parametrisierten Szenario und konkreten Szenarioparametern und konkreten Szenarioparameterwerten aus der Szenariendatenbank mittels einer Teststrategie von einem Testagenten für die Fahraufgabe zu generieren. Das Simulationsmodul ist ausgebildet, eine Simulationsumgebung mit dem ausgewählten Testfall zu generieren und eine Simulation des Verhaltens des Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion in der Simulationsumgebung von einem Simulationsmodul zur Bestimmung von Simulationsergebnissen durchzuführen. Das Bewertungsmodul ist ausgebildet, die Simulationsergebnisse zur Bestimmung eines Kritikalitätsindex für den Testfall zu bewerten.
In einer vorteilhaften Weiterentwicklung ist vorgesehen, dass das Bewertungsmodul weitere Bewertungsergebnisse insbesondere in Form von Leistungsindikatoren (KPls) zur Bewertung der Performance des ADAS/ADS-Systems und/oder der Fahrfunktion und von Simulationsqualitätskriterien (SQCs) zur Bestimmung der Qualität der Simulation für den Testfall berechnet.
Vorteilhafterweise werden der Testfall und der bestimmte Kritikalitätsindex sowie die weiteren Bewertungsergebnisse in einer Testdatenbank gespeichert.
In einer Weiterbildung ist vorgesehen, dass eine Vielzahl von Testfällen generiert werden, die durch eine Variation eines oder mehrerer Szenarioparameter und konkreter Szenarioparameterwerte entstehen.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Testfälle, die Szenarioparameter und die konkreter Szenarioparameterwerte als eine Daten-Repräsentation in Form zumindest eines Vektors in einem latenten Vektorraum dargestellt werden.
In einer weiteren Ausführungsform ist vorgesehen, dass der Testagent des Testmoduls eine Softwareapplikation umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet, und dass das Simulationsmodul eine Softwareapplikation umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet; und dass das Bewertungsmodul eine Softwareapplikation umfasst.
Insbesondere verwendet/verwenden die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz, wobei die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz als Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, rückgekoppelte neuronale Netzwerke, und/oder gefaltete neuronale Netzwerke ausgebildet sind.
Vorteilhafterweise ist vorgesehen, dass ein Szenarioparameter eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius, einen Ort, eine Zahl, ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit darstellt.
Gemäß einem dritten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der derart konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.
Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.
Dabei zeigt:

1 ein Blockdiagramm zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems;
2 eine schematische Darstellung eines Vektorraums;
3 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
4 ein Blockdiagramm eines Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der Erfindung.

Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden in der nachfolgenden Beschreibung in Verbindung mit den Ansprüchen erläutert.
Für das Testen, Trainieren und Absichern von Fahrerassistenzsystemen (ADAS) und automatisierten Fahrsystemen (ADS) werden zunehmend simulierte Verkehrsszenarien, die durch Programmierung erstellt werden, verwendet. Als Szenario wird im Rahmen der Erfindung ein Verkehrsgeschehen in einer zeitlichen Sequenz bezeichnet. Ein Beispiel für ein Szenario ist das Befahren einer Autobahnbrücke, das Abbiegen auf einer Abbiegespur, das Durchfahren eines Tunnels, das Einbiegen in einen Kreisverkehr oder das Halten vor einem Fußgängerübergang. Darüber hinaus können spezifische Sichtverhältnisse beispielsweise aufgrund der Dämmerung oder einer hohen Sonnenlichteinstrahlung sowie Umweltbedingungen wie das Wetter und die Jahreszeit, das Verkehrsaufkommen sowie bestimmte geographische topographische Verhältnisse ein Szenario beeinflussen. Beispielsweise kann ein Überholvorgang als ein Szenario beschrieben werden, bei dem ein erstes Fahrzeug sich zunächst hinter einem anderen Fahrzeug befindet, dann einen Spurwechsel auf die andere Fahrbahn durchführt und die Geschwindigkeit erhöht, um das andere Fahrzeug zu überholen. Ein derartiges Szenario wird auch als Cut-In-Szenario bezeichnet.
Um Fahrerassistenzsysteme (ADAS) und automatisierte Fahrsysteme (ADS) in einem Kraftfahrzeug einsetzen zu können, müssen diese für einen verlässlichen Einsatz kalibriert und validiert werden. Die Kalibrierung dient dazu, die Funktionen an den jeweiligen Fahrzeugtyp sowie an das gewünschte Verhalten einer Fahrfunktion anzupassen, ohne dabei den Softwarecode zu ändern. Dazu werden die Kalibrierungsparameter modifiziert und dem ADAS/ADS in einem Datensatz zur Verfügung gestellt. Ziel der Validierung ist es, den bei der Kalibrierung gewonnenen Datensatz umfassend zu testen, die Zuverlässigkeit und Robustheit eines Fahrerassistenzsystems (ADAS) bzw. eines automatisierten Fahrsystems (ADS) in der gesamten ODD nachzuweisen und anschließend eine Freigabe zu erteilen. Hierbei ist es insbesondere von großer Bedeutung, die Sicherheit und Funktionsfähigkeit eines ADAS/ADS-Systems für kritische Testfälle abschätzen zu können.
1 zeigt ein erfindungsgemäßes System 100 zur Bewertung von Testfällen zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems eines Fahrerassistenzsystems (ADAS) und/oder einer Fahrfunktion. Das erfindungsgemäße System 100 umfasst eine Szenariendatenbank 200, ein Testmodul 300 mit einem Testagenten 350, ein Simulationsmodul 400 und ein Bewertungsmodul 500, die jeweils mit einem Prozessor und/oder einer Speichereinheit versehen sein können.
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Prozessoreinheit und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Der Prozessor ist speziell dazu eingerichtet, die Programmbefehle derart auszuführen, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder zu realisieren. Insbesondere kann ein Modul in einer Cloud-Computing-Infrastruktur 700 integriert sein.
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, des Systems, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Insbesondere kann der Prozessor hochparallele Recheneinheiten und leistungsfähige Grafikmodule enthalten.
Unter einer „Speichereinheit“ oder einem „Speichermodul“ kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form eines Arbeitsspeichers (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.
Unter „Datenbank“ ist sowohl ein Speicheralgorithmus als auch die Hardware in Form einer Speichereinheit zu verstehen. Insbesondere kann eine Datenbank als Teil einer Cloud-Computing-Infrastruktur ausgebildet sein.
Unter „Daten“ sind im Zusammenhang mit der Erfindung sowohl Rohdaten als auch bereits aufbereitete Daten aus Messergebnissen von Sensoren sowie aus weiteren Datenquellen zu verstehen.
Die Erstellung von Testfällen T_i zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems eines Fahrerassistenzsystems (ADAS) und/oder einer Fahrfunktion erfolgt auf der Basis von parametrisierten Szenarien, die auch als logische Szenarien bezeichnet werden. Als ein parametrisiertes Szenario wird im Rahmen der Erfindung ein Szenario bezeichnet, das insbesondere in einem maschinenlesbaren Code geschrieben ist. Ein parametrisiertes Szenario SZp_i wird durch verschiedene Szenarioparameter P₁, P₂, ..., P_n aus einer Menge von möglichen Szenarioparametern P_i und zugehörigen Szenarioparameterwerten PV₁, PV₂, ..., PV_n aus einer Menge von möglichen Szenarioparameterwerten PV_i definiert, wobei Szenarioparameterwerte PV_i den Wertebereich eines Szenarioparameters P_i festlegen. Ein Szenarioparameter P_i stellt beispielsweise eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius, einen Ort, eine Zahl, ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit dar. Szenarioparameter P_i kennzeichnen somit im Rahmen der vorliegenden Erfindung Eigenschaften und Merkmale eines Szenarios. Ein Beispiel für einen Szenarioparameter P_i eines Szenarios SZp_i ist die Geschwindigkeit eines Ego-Fahrzeugs. Für diesen Szenarioparameter „Geschwindigkeit“ kann der Wertebereich des zugehörigen Szenarioparameterwertes PV_i den Bereich von 100 km/h bis 180 km/h umfassen. Für ein anderes Szenario SZp_k hingegen kann der Wertebereich des Parameterwertes PV_i für den Szenarioparameter „Geschwindigkeit“ sich von 40 km/h bis 70 km/h erstrecken.
Ein parametrisiertes Szenario SZp umfasst eine zeitliche Folge von Zeitintervallen Δt₁,Δt₂., ..., Δt_n, in denen jeweils verschiedene Szenen und Ereignisse stattfinden. Ein parametrisiertes Szenario SZp beginnt mit einer Startszene und entwickelt sich dann durch auftretende Ereignisse weiter, aus denen im zeitlichen Verlauf neue Folgeszenen entstehen. Die Startszene wird somit durch ein oder mehrere Ereignisse verändert. Bei einem Ereignis kann es sich sowohl um eine von einem Verkehrsteilnehmer aktiv ausgelöste Reaktion wie eine Beschleunigung handeln als auch um ein Ereignis, das zyklisch wiederkehrt, wie beispielsweise die Schaltvorgänge einer Ampel. Die Startszene und die einzelnen Folgeszenen umfassen somit jeweils nur ein kleines Zeitintervall Δt bzw. eine Momentaufnahme, während ein parametrisiertes Szenario SZp eine längere Zeitspanne umfasst.
Im Rahmen der vorliegenden Erfindung wird zwischen einem parametrisierten Szenario SZp und einem konkreten Szenario SZc unterschieden. Als ein parametrisiertes Szenario SZp wird im Rahmen dieser Erfindung ein Szenario definiert, bei dem sowohl die Szenarioparameter P_i als auch die zugehörigen Szenarioparameterwerte PV_i nicht alle festgelegt sind. Als ein konkretes Szenario SZc wird ein Szenario SZ bezeichnet, bei dem die konkreten Szenarioparameter Pc_i und die zugehörigen konkreten Szenarioparameterwerte PVc_i bzw. Wertebereiche der konkreten Szenarioparameterwerte PVc_i festgelegt sind. Bei beiden Szenarien, sowohl dem parametrisierten Szenario SZp als auch dem konkreten Szenario SZc, handelt es sich jeweils um Szenarien, die insbesondere in einem maschinenlesbaren Code geschrieben sind.
Für die Erstellung von parametrisierten Szenarien SZp_i können verschiedene Quellen wie Anforderungsspezifikationen, Expertenwissen, und/oder Messungen im öffentlichen Straßenverkehr oder auf Testgeländen mittels Sensoren verwendet werden. Die verwendeten Sensoren können insbesondere als Radarsysteme mit ein oder mehreren Radarsensoren, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, und/oder GPS-Systeme ausgebildet sein. Des Weiteren können Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren, Drehmomentsensoren, Drehzahlsensoren, Niederschlagssensoren und/oder Temperatursensoren, etc. verwendet werden. So kann mittels einer Softwareapplikation aus aufgenommenen Daten an einem bestimmten geographischen Ort ein jeweils passendes parametrisiertes Szenario SZp_i. abgeleitet werden. Die Softwareapplikation verwendet insbesondere Algorithmen der künstlichen Intelligenz zur Identifikation der parametrisierten Szenarien SZp_i. Bei den Algorithmen der künstlichen Intelligenz kann es sich insbesondere um Encoder und Decoder mit neuronalen Netzwerken handeln.
Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronen-Ausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Sie sorgen für die Weiterleitung und Verarbeitung der Informationen. Output-Neuronen liefern schließlich ein Ergebnis und geben dieses an die Außenwelt aus. Neuronale Netzwerke lassen sich durch unbeaufsichtigtes oder überwachtes Lernen trainieren.
Durch die unterschiedliche Anordnung und Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie insbesondere ein vorwärtsgerichtetes Netzwerk (engl. Feedforward Neural Network, FNN), ein rückgekoppeltes Netzwerk (engl. Recurrent Neural Network, RNN) oder ein gefaltetes neuronales Netzwerk (engl. Convolutional Neural Network, CNN). Ein gefaltetes neuronales Netzwerk besitzt mehrere Faltungsschichten und ist für maschinelles Lernen und Anwendungen im Bereich der Mustererkennung und Bilderkennung sehr gut geeignet. Da ein großer Teil der von den Sensoren aufgenommenen Daten als Bilder vorliegen, werden insbesondere gefaltete neuronale Netzwerke (CNN) verwendet.
Diese aus verschiedenen Datenquellen generierten parametrisierten Szenarien SZp_i sind in der Szenariendatenbank 200 gespeichert. In der Szenariendatenbank 200 können darüber hinaus Szenarioparameter P_i, Szenarioparameterwerte PV_i, konkrete Szenarien SZc_i, konkrete Szenarioparameter Pc_i, konkrete Szenarioparameterwerte PVc_i sowie weitere Informationen gespeichert sein.
Der Testagent 350 des Testfallmoduls 300 erstellt mittels einer Softwareapplikation durch Auswahl von passenden parametrisierten Szenarien SZp_i und konkreten Szenarioparametern Pc_i sowie konkreten Szenarioparameterwerte PVc_i und gegebenenfalls weiteren Informationen eine Mehrzahl von Testfällen T_i für eine oder mehrere Fahraufgaben. Die jeweilige Fahraufgabe wird vor dem Starten der Simulation formuliert, beispielsweise von einem Experten wie einem Ingenieur. Es kann aber auch vorgesehen sein, die Fahraufgabe von einer Softwareapplikation vorgegeben wird. Eine beispielhafte Fahraufgabe ist ein Überholmanöver auf einer Autobahn, das auch als Cut-In-Manöver bezeichnet wird.
Ein solches Cut-In-Szenario kann durch die Geschwindigkeit v_ego des Ego-Fahrzeugs, die Geschwindigkeit v_target des Target-Fahrzeugs, eine relative Geschwindigkeit v_rel zwischen den beiden Fahrzeugen, die räumliche Distanz d_cutin zwischen den beiden Fahrzeugen und die räumliche Länge l_cutin des Überholmanövers beschrieben werden. Die Geschwindigkeit von einem oder beiden Fahrzeuge kann sich zudem während des Überholmanövers durch einen Beschleunigungs- oder Abbremsvorgang ändern. Dies gilt auch für die räumliche Distanz d_cutin zwischen den beiden Fahrzeugen.
In der folgenden Tabelle sind mögliche Szenarioparameter P_i und Szenarioparameterwerte PV_i eines Cut-In-Szenarios dargestellt:

Szenarioparameter Szenarioparameterwert

v_ego 30, 50, 60, 80 km/h

v_target 30, 50, 60, 80 km/h

d_cutin 50, 40, 30, 20, 10 m

v_rel -20, -10, .5 km/h

l_cutin 20,40 m
Für die Auswahl und die Gestaltung der Testfälle T_i ist eine Teststrategie vorgesehen, die vorgibt, wie der Testagent 350 die Testfälle T_i erstellt. Für die Festlegung der Teststrategie können verschiedene Berechnungsverfahren und Algorithmen, insbesondere Algorithmen der künstlichen Intelligenz vorgesehen sein. So können Algorithmen und Berechnungsverfahren wie Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, aber auch erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, und/oder rückgekoppelte neuronale Netzwerke verwendet werden, mit denen eine Anpassung der Strategie insbesondere durch Iterationsverfahren möglich ist.
Die Teststrategie des Testagenten 350 entscheidet somit über die Konfiguration der Testfälle T_i durch die Auswahl von passenden parametrisierten Szenarien SZp_i und konkreten Szenarioparametern Pc_i sowie gegebenenfalls weiteren Parametern. Die verwendete Teststrategie wird durch den Zweck der Simulation vorgegeben, d.h. welche Erkenntnisse über das Verhalten eines ADAS/ADS-Systems bzw. einer bestimmten Fahrfunktion bei der Durchführung der festgelegten Fahraufgabe durch eine Simulation gewonnen werden sollen.
Die erforderlichen Informationen für die Erstellung der Testfälle T_i entnimmt der Testagent 350 der Szenariendatenbank 200 sowie gegebenenfalls zumindest einer weitere Datenbank 750. Für das Cut-In-Szenario können durch Variation der möglichen Szenarioparameter P_i und Szenarioparameterwerte PV_i eine Vielzahl an konkreten Szenarien SZc_i generiert werden. Insbesondere können die Szenarioparameterwerte PV_i sukzessive mit einem festgelegten Wert geändert werden, beispielsweise für den Parameter „Geschwindigkeit“ jeweils um 10 km/h in einem Wertebereich von 40 km/h bis 120 km/h. Diese konkreten Szenarien SZc_i stellen mögliche Testfälle T_i dar. Bei einem Testfall T_i handelt es sich somit um ein relevantes konkretes Szenario SZc durch die Festlegung von konkreten Szenarioparametern Pc_i und möglichen weiteren Parametern. Insbesondere sollten die von dem Testagenten 350 erstellten relevanten Testfälle T_i die in der „Operational Design Domain“ (ODD) festgelegten relevanten Verkehrssituationen für eine Fahraufgabe umfassen, die von einem ADAS/ADS-System und/oder einer Fahrfunktionen beherrscht werden müssen.
Die auf diese Weise bestimmten Testfälle T_i speichert der Testagent 350 in einer Testdatenbank 370. Die Daten für einen Testfall T_i können eine Test-Identifikationsnummer (Test-ID), einen Benutzernamen, eine Erstellungszeit und die Bezeichnung für das ausgewählte parametrisierte Szenario SZp_i enthalten. Des Weiteren werden diejenigen konkreten Szenarioparameter Pc_i.gespeichert, die das parametrisierte Szenario SZp_i in ein konkretes Szenario SZc_i transformieren. Darüber hinaus können Kalibrierungsparameter und weitere Daten wie Leistungsindikatoren (KPls) hinsichtlich der Bewertung der Performance der jeweiligen Fahrassistenzfunktion bei der Simulation sowie Bewertungsindikatoren für die Bewertung der durchgeführten Simulation gespeichert werden. Des Weiteren können Informationen zum Status der Simulation wie „durchgeführt oder nicht durchgeführt“ einem Testfall T_i zugeordnet werden. Zusätzlich können weitere Textnachrichten, Videosequenzen und oder Audiosequenzen, etc. mit weiteren Informationen gespeichert werden. Insgesamt können somit alle relevanten Informationen zu einem Testfall T_i in der Testdatenbank 370 gespeichert werden.
Für die Durchführung einer Simulation des Verhaltens des ADAS/ADS-Systems für eine bestimmte Fahraufgabe übergibt der Testagent 350 einen Testfall T_i oder mehrere Testfälle T_i an das Simulationsmodul 400. Zudem kann das Simulationsmodul 400 weitere Daten aus zumindest einer weiteren Datenbank 750 abrufen, um die Simulation durchführen zu können.
Insbesondere sind in der Datenbank 750 Daten in Form von Bildern, Graphiken, Zeitreihen, Kenngrößen, etc. gespeichert. So können beispielsweise Zielgrößen und Zielwerte in der Datenbank 750 abgelegt sein, die einen Sicherheitsstandard für die Simulation definieren. Des Weiteren können Daten über das Straßennetz mit Straßenspezifikationen wie beispielsweise Fahrspuren und Brücken, die Straßeninfrastruktur wie beispielsweise den Straßenbelag, die Randbebauung, die Straßenführung, länderspezifische Eigenschaften, Wetterverhältnisse, etc. vorgesehen sein. Die Datenbank 750 kann ebenfalls in der Cloud-Computing-Infrastruktur 700 integriert sein.
Das Simulationsmodul 400 erstellt aus einem Testfall T_i eine Simulationsumgebung für die Simulation des Verhaltens eines ADAS/ADS-Systems bzw. einer Fahrfunktion für eine festgelegte Fahraufgabe. Hierzu umfasst das Simulationsmodul 400 eine Softwareapplikation 450, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz wie insbesondere neuronale Netzwerke verwendet.
Die Qualität der Simulationsergebnisse 470 hängt dabei von der Güte der Szenariobeschreibung und der Wahl eines geeigneten Testfalls T_i ab. Um diese Qualität bewerten zu können, werden die durch die Simulation erzielten Simulationsergebnisse 470 an das Bewertungsmodul 500 zur Berechnung von Bewertungsergebnissen 570 weitergeleitet. Das Bewertungsmodul 500 umfasst hierzu eine Softwareapplikation 550, die die Simulationsergebnisse 470 hinsichtlich der Leistungs- und Funktionsfähigkeit von ein oder mehreren Funktionen bzw. der Gesamtperformance eines Fahrerassistenzsystems (ADAS) bzw. eines automatisierten Fahrsystems (ADS) insbesondere in Form von Leistungsindikatoren (KPls) bewertet. Zudem wird die Qualität des durchgeführten Simulationsverfahrens bewertet, insbesondere in Form von Simulationsqualitätskriterien (SQCs). Die Softwareapplikation 550 verwendet Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz wie insbesondere neuronale Netzwerke für die Erstellung der Bewertungsergebnisse 570.
KPIs dienen zur Beschreibung der Leistung eines zu testenden ADAS/ADS-Systems, wobei für verschiedene Bewertungskategorien wie Komfort, Sicherheit, Natürlichkeit des Fahrens und Effizienz unterschiedliche KPIs festgelegt werden.
Zusätzlich können weitere KPIs implementiert werden, um die korrekte Funktionalität des zu testenden ADAS/ADS-Systems zu verifizieren. Ein Beispiel für ein KPI ist die Bewertung einer minimalen Distanz zu anderem Fahrzeug oder einer mittleren Beschleunigung bei einem Verzögerungsszenario.
Zusätzlich zu den KPIs werden SQCs verwendet, um die Qualität der Simulation zu bewerten. Beispielsweise können andere Verkehrsteilnehmer durch modellierte Simulationsvertreter abgebildet werden, die in Abhängigkeit von den Reaktionen des zu testenden ADAS/ADS-Systems unterschiedliche Entscheidungen treffen. Aus diesem Grund muss in einer Bewertung überprüft werden, ob das simulierte Szenario mit der Szenariobeschreibung des Testfalls T_i übereinstimmt. Zu diesem Zweck werden für die SQCs Metriken definiert, die eine Rückmeldung über die korrekte Ausführung einer Szenariosimulation geben. So kann die Art der Durchführung eines Überholmanövers mittels eines SQC bewertet werden, beispielsweise hinsichtlich der Frage, ob eine Kollision vermieden werden konnte. Die KPIs und SQCs können durch Zahlenwerte aber auch durch boolesche Werte dargestellt werden.
Dabei können sowohl für die KPIs als auch für SQCs direkte und indirekte Bewertungsmetriken verwendet werden. Direkte Bewertungsmetriken enthalten Daten direkt aus simulierten Messdaten. Indirekte Bewertungsmetriken verwenden insbesondere Szenarioparameter als Datenquelle. Ein Beispiel für die Anwendung indirekter Bewertungsmetriken ist die Implementierung von Simulationsmodellen, die das subjektive Empfinden eines Fahrers bei der Durchführung einer Fahrassistenzfunktion eines ADAS/ADS-Systems quantifizieren und bewerten. Auf Basis der KPIs und SQCs lassen sich somit die Ergebnisse eines simulierten Testfalls T_i durch Zahlenwerte bzw. boolesche Werte darstellen.
Erfindungsgemäß wird zudem ein Testfall T_i hinsichtlich seiner Kritikalität in Abhängigkeit von verschiedenen Parametern mittels eines Kritikalitätsindex 590 bewertet. Unter Kritikalität ist die Relevanz eines Testfalls T_i hinsichtlich der Beurteilung der Leistungs- und Funktionsfähigkeit eines ADAS/ADS-Systems bzw. einer Fahrfunktion bezogen auf eine bestimmte Fahraufgabe zu verstehen. Insbesondere wird die Kritikalität eines Testfalls T_i in Bezug auf die Variation von Szenarioparameterwerten PV_i eines Szenarioparameters P_i bewertet.
In 2 ist beispielsweise ein Vektorraum dargestellt, der durch zwei Szenarioparameter P₁ und P₂ aufgespannt wird. Für das Beispiel des bereits betrachteten Cut-In-Szenarios handelt es sich bei dem ersten Parameter P₁ um die Distanz d_cutin zwischen dem Ego-Fahrzeug und dem Target-Fahrzeug und bei dem zweiten Parameter P₂ um die Geschwindigkeit des Ego-Fahrzeugs v_ego. In Abhängigkeit von beiden Parametern P₁, P₂ kann der jeweiligen Ausprägung des Testfalls T_cutin ein Kritikalitätsindex 590 zugeordnet werden. Insbesondere kann vorgesehen sein, dass der Kritikalitätsindex 590 die beiden Kategorien „kritisch“ und „unkritisch“ umfasst. Der Kritikalitätsindex 590 kann aber auch durch Werte auf einer Skala von beispielsweise 0 bis 1 dargestellt werden. Als Bewertungskriterium, ob eine Variante des Testfalls T_cutin als kritisch oder unkritisch beurteilt wird, kann beispielsweise die Mindestzeitlücke t_risk zu einem vorausfahrenden Fahrzeug berechnet werden. Als ein kritischer Testfall T_risk wird dann beispielsweise ein Testfall eingestuft, bei dem die Mindestzeitlücke für eine Dauer von grösser als eine Sekunde nicht eingehalten werden kann: $t_{r i s k} > 1 s$
Da sich das Ego-Fahrzeug in diesem Fall mehr als eine Sekunde in der Nähe des Target-Fahrzeug aufhält, wird der Testfall als kritisch bewertet.
Diejenigen Testfälle T_cutin, für die die Mindestzeitlücke weniger als eine Sekunde betragen, werden hingegen als unkritisch eingestuft.
Aus Gründen der Übersichtlichkeit sind in der 2 nur zwei Szenarioparameter P₁ und P₂ dargestellt. Es ist aber möglich, eine beliebige Anzahl von konkreten Szenarioparameter Pc_i zu wählen, mit denen die Softwareapplikation 550 einen latenter Vektorraum aufgespannt, in dem die Testfälle T_i als Repräsentationen dargestellt werden können. Der Vektorraum wird durch automatisiertes endloses Lernen durch die konkreten Szenarioparameter Pc_i und Testfälle T_i erstellt, so dass sich Ähnlichkeitsstrukturen wie Cluster von Testfällen T_i selbstlernend entwickeln. Diese Cluster von Testfällen T_i können nun beispielsweise mittels einer Ähnlichkeitsanfrage und/oder einer Clusteranalyse analysiert werden.
Für die Transformation der konkreten Szenarioparameter Pc_i und Testfälle T_i in Daten-Repräsentationen in Form eines oder mehrerer Vektoren in dem latenten Vektorraum umfasst die Softwareapplikation 550 zumindest einen Encoder, um die Szenarioparameter Pc_i derart zu codieren, dass die Szenarioparameter Pc_i als eine Daten-Repräsentation in Form eines oder mehrerer Vektoren in einem latenten Vektorraum vorliegen. Des Weiteren ist ein zweiter Encoder vorgesehen, mit dem die Softwareapplikation 550 die Testfälle T_i derart codiert, dass sie ebenfalls als eine Daten-Repräsentation in Form eines oder mehrerer Vektoren in dem latenten Vektorraum vorliegen. Bei dem latenten Vektorraum handelt es sich somit um einen mehrdimensionalen Vektorraum mit einer Dimension, die der Repräsentation der konkreten Szenarioparameter Pc_i und der Testfälle T_i entspricht.
Die Encoder der Softwareapplikation 550 sind insbesondere als tiefe Encoder ausgebildet, die tiefe neuronale Netze und insbesondere für gekoppelte neuronale Netze umfassen, die unterschiedliche Strukturen aufweisen können. Darüber hinaus können die Encoder weitere Strukturen und Algorithmen wie genetische Algorithmen und Lernverstärkungsagenten umfassen, um eine effiziente und präzise Klassifikation und Extraktion von Merkmalen der konkreten Szenarioparameter Pc_i durchzuführen, die die Basis für die Erstellung der Daten-Repräsentationen bildet.
Der Vektorraum wird somit mit jeder weiteren Simulation weiterentwickelt, wobei sich seine Dimension ständig verändern kann. Da für eine Vielzahl der Simulationen eine Codierung der jeweiligen konkreten Szenarioparameter Pc_i und der Testfälle T_i durchgeführt wird, entsteht sukzessive in einem kontinuierlichen Lernmodus durch neue Simulationen ein latenter Vektorraum mit einer Vielzahl von konkreten Szenarioparameter Pc_i und Testfällen T_i.
In einer weiteren Ausführungsform kann vorgesehen sein, dass die Bewertung der Kritikalität von der Performance der SQCs abhängt. So kann vorgesehen sein, dass die Softwareapplikation 550 des Bewertungsmoduls 500 eine Bewertung der Kritikalität nur dann durchführt, wenn auch eine Erfüllung der jeweils definierten SQCs durch den Testfall T_i.vorliegt.
Die Bewertungsergebnisse 550 in Form von Leistungsindikatoren (KPIs), Simulationsqualitätskriterien (SQCs) und dem Kritikalitätsindex 590 werden an das Testmodul 300 wieder zurückgegeben. Der Testagent 350 kann die parametrisierten Szenarien SZp_i und die konkreten Szenarioparameter Pc_i in der Szenariendatenbank 200 aufgrund der Bewertungsergebnisse mit Labeln wie Gewichten oder zur Kennzeichnung der Kritikalität versehen. Insbesondere kann die Teststrategie mittels der durch die Bewertungsergebnisse 550 gelabelten Daten in der Szenariendatenbank 200 angepasst werden. Für einen neuen Simulationszyklus in dem Simulationsmodul 400 können nun beispielsweise die als kritisch markierten Testfälle T_i verwendet werden, um das Verhalten eines ADAS/ADS-Systems und/oder einer Fahrfunktion in diesen als kritisch betrachteten Verkehrsszenarien simulieren zu können.
In 3 sind die Verfahrensschritte zur Bewertung von Testfällen T_i zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion für eine festgelegte Fahraufgabe in zumindest einem Szenario SZ_i dargestellt.
In einem Schritt S10 wird zumindest ein Testfall T_i von einem Testagenten 350 durch Auswählen von zumindest einem parametrisierten Szenario SZp_i und konkreten Szenarioparametern Pc_i und konkreten Szenarioparameterwerten PVc_i aus einer Szenariendatenbank 200 mittels einer Teststrategie von einem Testagenten 350 für die Fahraufgabe generiert.
In einem Schritt S20 wird eine Simulationsumgebung mit dem ausgewählten Testfall T_i generiert und eine Simulation des Verhaltens des Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion in der Simulationsumgebung von einem Simulationsmodul 400 zur Bestimmung von Simulationsergebnissen 450 durchgeführt.
In einem Schritt S30 werden die Simulationsergebnisse 450 durch ein Bewertungsmodul 500 zur Bestimmung eines Kritikalitätsindex 590 für den Testfall T_i.bewertet.
4 stellt schematisch ein Computerprogrammprodukt 1000 dar, das einen ausführbaren Programmcode 1050 umfasst, der konfiguriert ist, das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung auszuführen.
Durch die vorliegende Erfindung können aus einem Pool von zur Verfügung stehenden Testfällen für die Erstellung einer Simulationsumgebung für das Testen und Trainieren eines ADAS/ADS-Systems und/oder einer Fahrfunktion diejenigen kritischen Testfälle ausgewählt werden, die für die Erprobung und Absicherung eines ADAS/ADS-Systems und/oder einer Fahrfunktion besonderes relevant sind. Zudem ergibt sich aus der Bewertung der Testfälle ein Grenzbereich zwischen kritischen und nichtkritischen Testfällen. Diese im Grenzbereich liegenden Testfälle sind für das reale Testen eines ADAS/ADS-Systems besonders interessant, da hierdurch die Leistungsfähigkeit eines ADAS/ADS-Systems präzise und nachvollziehbar bewertet werden kann und daraus mögliche Maßnahmen zur Verbesserung abgeleitet werden können. Insbesondere kann untersucht werden, ob dieser Grenzbereich mit den während der Entwicklung eines ADAS/ADS-Systems beispielsweise in einem Lastenheft definierten Systemgrenzen kompatibel ist.
Durch die Auswahl von kritischen Testdatensätzen kann somit die Abschätzung der Sicherheit und Funktionsfähigkeit eines Fahrassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion für eine bestimmte Fahraufgabe deutlich verbessert werden. Hierdurch können Ressourcen eingespart werden, da sowohl das reale Abfahren von Teststrecken mit Standardverkehrssituationen als auch mit spezifischen Corner-Cases reduziert werden kann.
Bezugszeichen

100: System
200: Szenariendatenbank
300: Testmodul
350: Testagent
370: Testdatenbank
400: Simulationsmodul
450: Softwareapplikation
470: Simulationsergebnisse
500: Bewertungsmodul
550: Softwareapplikation
570: Bewertungsergebnisse
590: Kritikalitätsindex
700: Cloud-Computing-Infrastruktur
750: Datenbank
1000: Computerprogrammprodukt
1050: Programmcode

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017009971 A1 [0006]
DE 102019124018 A1 [0007]
DE 102019217533 A1 [0008]
DE 102020005507 A1 [0009]

Claims

Verfahren zur Bewertung von Testfällen (T_i) zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion für eine festgelegte Fahraufgabe in zumindest einem Szenario (SZ_i), wobei ein Szenario (SZ_i) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt und durch eine Auswahl von Szenarioparametern (P₁, P₂, ... ,P_n) und zugehörigen Szenarioparameterwerten (PV₁, PV₂, ..., PV_n) definiert ist, und wobei bei einem parametrisierten Szenario (SZp_i) die Szenarioparameter (P₁, P₂, ..., P_n) und zugehörigen Szenarioparameterwerte (PV₁, PV₂, ..., PV_n) frei wählbar sind, und bei einem konkreten Szenario (SZc_i) die konkreten Szenarioparameter (Pc₁, Pc₂, ..., P_cn) und zugehörigen konkreten Szenarioparameterwerte (PVc₁, PV_c2, ..., PV_cn) festgelegt sind, umfassend: - Generieren (S10) von zumindest einem Testfall (T_i) von einem Testagenten (350) durch Auswählen von zumindest einem parametrisierten Szenario (SZp_i) und konkreten Szenarioparametern (Pc_i) und konkreten Szenarioparameterwerten (PVc_i) aus einer Szenariendatenbank (200) mittels einer Teststrategie von einem Testagenten (350) für die Fahraufgabe; - Generieren (S20) einer Simulationsumgebung mit dem ausgewählten Testfall (T_i) und Durchführen einer Simulation des Verhaltens des Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion in der Simulationsumgebung von einem Simulationsmodul (400) zur Bestimmung von Simulationsergebnissen (450); - Bewerten (S30) der Simulationsergebnisse (450) durch ein Bewertungsmodul (500) zur Bestimmung eines Kritikalitätsindex (590) für den Testfall (T_i).
Verfahren nach Anspruch 1, wobei das Bewertungsmodul (500) weitere Bewertungsergebnisse (570) insbesondere in Form von Leistungsindikatoren (KPls) zur Bewertung der Performance des ADAS/ADS-Systems und/oder der Fahrfunktion und von Simulationsqualitätskriterien (SQCs) zur Bestimmung der Qualität der Simulation für den Testfall (T_i) berechnet.
Verfahren nach Anspruch 1 oder 2, wobei der Testfall (T_i) und der bestimmte Kritikalitätsindex (790) sowie die weiteren Bewertungsergebnisse (570) in einer Testdatenbank (370) gespeichert werden.
Verfahren nach einem der Ansprüche 1 bis 3, wobei eine Vielzahl von Testfällen (T_i) generiert werden, die durch eine Variation eines oder mehrerer Szenarioparameter (Pc_i) und konkreter Szenarioparameterwerte (PVc_i) entstehen.
Verfahren nach Anspruch 4, wobei die Testfälle (T_i), die Szenarioparameter (Pc_i) und die konkreter Szenarioparameterwerte (PVc_i) als eine Daten-Repräsentation in Form zumindest eines Vektors in einem latenten Vektorraum dargestellt werden.
Verfahren nach einem der Ansprüche 1 bis 5, wobei der Testagent (350) des Testmoduls (300) eine Softwareapplikation umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet, wobei das Simulationsmodul (400) eine Softwareapplikation (450) umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet; und wobei das Bewertungsmodul (500) eine Softwareapplikation (550) umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet.
Verfahren nach Anspruch 6, wobei die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz als Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, rückgekoppelte neuronale Netzwerke, und/oder gefaltete neuronale Netzwerke ausgebildet sind.
Verfahren nach einem der Ansprüche 1 bis 7, wobei ein Szenarioparameter (P_i) eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius, einen Ort, eine Zahl, ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit darstellt.
System (100) zur Bewertung von Testfällen (T_i) zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion für eine festgelegte Fahraufgabe in zumindest einem Szenario (SZ_i), wobei ein Szenario (SZ_i) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt und durch eine Auswahl von Szenarioparametern (P₁, P₂, ... , P_n) und zugehörigen Szenarioparameterwerten (PV₁, PV₂, ..., PV_n) definiert ist, und wobei bei einem parametrisierten Szenario (SZp_i) die Szenarioparameter (P₁, P₂, ..., P_n) und zugehörigen Szenarioparameterwerte (PV₁,PV₂, ...,PV_n) frei wählbar sind, und bei einem konkreten Szenario (SZc_i) die konkreten Szenarioparameter (Pc₁, Pc₂, ..., P_cn) und zugehörigen konkreten Szenarioparameterwerte (PVc₁, PV_c2, ..., PVc_n) festgelegt sind, umfassend eine Szenariendatenbank (200), in der zumindest parametrisierte Szenarien (SZp_i), Szenarioparameter (P₁, P₂, ..., P_n) und zugehörige Szenarioparameterwerte (PV₁, PV₂, ..., PV_n) gespeichert sind, ein Testmodul (300), ein Simulationsmodul (400) und ein Bewertungsmodul (500); wobei das Testmodul (300) ausgebildet ist, zumindest einen Testfall (T_i) durch Auswählen von zumindest einem parametrisierten Szenario (SZp_i) und konkreten Szenarioparametern (Pc_i) und konkreten Szenarioparameterwerten (PVc_i) aus der Szenariendatenbank (200) mittels einer Teststrategie von einem Testagenten (350) für die Fahraufgabe zu generieren; wobei das Simulationsmodul (400) ausgebildet ist, eine Simulationsumgebung mit dem ausgewählten Testfall (T_i) zu generieren und eine Simulation des Verhaltens des Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion in der Simulationsumgebung von einem Simulationsmodul (400) zur Bestimmung von Simulationsergebnissen (450) durchzuführen; und wobei das Bewertungsmodul (500) ausgebildet ist, die Simulationsergebnisse (450) zur Bestimmung eines Kritikalitätsindex (590) für den Testfall (T_i) zu bewerten.
System (100) nach Anspruch 9, wobei das Bewertungsmodul (500) weitere Bewertungsergebnisse (570) insbesondere in Form von Leistungsindikatoren (KPls) zur Bewertung der Performance des ADAS/ADS-Systems und/oder der Fahrfunktion und von Simulationsqualitätskriterien (SQCs) zur Bestimmung der Qualität der Simulation für den Testfall (T_i) berechnet, und/oder wobei der Testfall (T_i) und der bestimmte Kritikalitätsindex (590) sowie die weiteren Bewertungsergebnisse (570) in einer Testdatenbank (370) gespeichert werden.
System (100) nach Anspruch 9 oder 10, wobei eine Vielzahl von Testfällen (T_i) generiert werden, die durch eine Variation eines oder mehrerer Szenarioparameter (Pc_i) und konkreter Szenarioparameterwerte (PVc_i) entstehen.
System (100) nach Anspruch 11, wobei die Testfälle (T_i), die Szenarioparameter (Pc_i) und die konkreter Szenarioparameterwerte (PVc_i) als eine Daten-Repräsentation in Form zumindest eines Vektors in einem latenten Vektorraum dargestellt werden.
System (100) nach einem der Ansprüche 9 bis 12, wobei der Testagent (350) des Testmoduls (300) eine Softwareapplikation umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet, wobei das Simulationsmodul (400) eine Softwareapplikation (450) umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet; und wobei das Bewertungsmodul (500) eine Softwareapplikation (550) umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet, und wobei die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz als Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, rückgekoppelte neuronale Netzwerke, und/oder gefaltete neuronale Netzwerke ausgebildet sind.
System (100) nach einem der Ansprüche 9 bis 13, wobei ein Szenarioparameter (P_i) eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius, einen Ort, eine Zahl, ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit darstellt.
Computerprogrammprodukt (1000), umfassend einen ausführbaren Programmcode (1050), der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren nach einem der Ansprüche 1 bis 8 ausführt.