DE102022132922A1

DE102022132922A1 - Verfahren und System zur virtuellen Verifikation von automatisierten Fahrfunktionen

Info

Publication number: DE102022132922A1
Application number: DE102022132922.4A
Authority: DE
Inventors: Moritz Markofsky
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2022-12-12
Filing date: 2022-12-12
Publication date: 2024-06-13

Abstract

Die Erfindung betrifft ein Verfahren zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug (10), insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems, wobei ein Szenario (SZi) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt, umfassend:- Erstellen von Testfällen (Ti) von einem Testagenten (220), wobei für jeden Testfall (Ti) zumindest ein verifikationsrelevantes Szenario (SZi(ver)) ausgewählt wird;- Durchführen einer Simulation von einem Simulationsmodul (400) mit den erstellten Testfällen (Ti) zur Bestimmung von Simulationsergebnissen (450);- Durchführen einer Bewertung der Simulationsergebnisse (450) durch ein Bewertungsmodul (500) zur Bestimmung von Bewertungsergebnissen (550), wobei das Bewertungsmodul (500) ein Fahrfunktionsbewertungsmodul (520) zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennwerten für die Verifikation umfasst;- Generieren und Ausgeben einer Verifikationsanalyse (750) zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen (550) von dem Ausgabemodul (700), insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.

Description

Die Erfindung betrifft ein Verfahren, ein System, ein ADAS/ADS-System und ein Computerprogrammprodukt zur virtuellen Verifikation von automatisierten Fahrfunktionen von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS).
Moderne Fahrzeuge sind mit einer Vielzahl von Fahrassistenzsystemen bzw. automatisierten Fahrfunktionen ausgestattet, um den Fahrer beim Fahren zu unterstützen und seine Sicherheit zu erhöhen. Fahrassistenzsysteme unterstützen beispielsweise die Geschwindigkeits- und Abstandsregelung sowie Spurhalte- und Spurwechselfunktionen. Dies führt zu einem verbesserten Fahrkomfort und einer höheren Sicherheit insbesondere bei Fahrten auf der Autobahn und bei Überholmanövern.
Dieser Trend zu Fahrerassistenzsystemen (engl. Advanced Driver Assistance System, ADAS), automatisierten Fahrsystemen (Automated Driving Systems, ADS) bei Kraftfahrzeugen, aber auch bei Luftfahrzeugen oder Wasserfahrzeugen erfordert jedoch umfangreiche Absicherungsstrategien, da die Verantwortung über die Fahrzeugführung nicht mehr uneingeschränkt beim Fahrer liegt, sondern aktive Funktionen von Rechnereinheiten im Fahrzeug übernommen werden. Daher muss sichergestellt werden, dass autonom sich bewegende Objekte eine sehr geringere Fehlerrate beim Fahrverhalten aufweisen. Für die Erkennung und Klassifizierung von Objekten und die Interpretation von Verkehrsszenarien im Umfeld eines Fahrzeugs ist das gezielte Testen, Trainieren und Applizieren der Fahrerassistenzsysteme und automatisierten Fahrsysteme sowohl in Extrem- und Ausnahmesituationen (engl. Corner-Cases) als auch in alltäglichen Situationen erforderlich. Mit der zunehmenden Leistungsfähigkeit von ADAS/ADS-Systemen steigt allerdings auch die Anzahl der Fahrszenarien, die von den Systemen im Straßenverkehr bewältigt werden müssen.
Für die Sicherstellung eines sicheren, komfortablen und effizienten Verhaltens eines ADAS/ADS-Systems werden daher einzelne Funktionen und das Gesamtsystem während der Fahrzeugentwicklung validiert und verifiziert. Bei der Validierung wird gezielt getestet, ob ein ADAS/ADS-System festgelegte Kundenanforderungen erfüllt. Der Validierung vorgeschaltet sind Verifikationstests, mit denen überprüft wird, ob die Module, Komponenten, Subsysteme, die Software und die Softwarearchitektur eines Fahrerassistenzsystems festgelegten Spezifikationen genügen. Hierzu werden bezogen auf die jeweilige festgelegt Spezifikation Testfälle erstellt, um die verschiedenen Aspekte eines ADAS/ADS-Systems zu überprüfen bzw. zu verifizieren. Systemfunktionalitäten, die verifiziert werden, sind beispielsweise die korrekte Informationsanzeige mittels Displays an den Fahrer, das Auslösen von Warnkaskaden durch optische, akustische und/oder haptische Signale, die korrekte Übergabe der Fahraufgabe (Take-over-Request), die korrekte Einstellung der Menüstruktur des ADAS/ADS-Systems, und des Weiteren systeminterne Funktionalitäten wie ein korrektes Startverhalten, das Laden korrekter Datensätze sowie systemübergreifende Funktionalitäten wie die korrekte Kommunikation mit anderen Steuerungsgeräten und externen Systemen, die Fehlererkennung in anderen Systemen wie Sensoren und Aktoren.
Die Durchführung der Verifikation erfolgt für einfache ADAS/ADS-Systeme typischerweise auf konventionelle Weise mit Prototypenfahrzeugen. Allerdings sind konventionelle Verifikationstests aufwändig und kostenintensiv, so dass neue Ansätze benötigt werden, um den Entwicklungsprozess für ADAS/ADS-Systeme mit vertretbarem Aufwand und akzeptablen Kosten durchzuführen. Es ist daher erstrebenswert, virtuelle Simulationsverfahren für die Verifikationstests von ADAS/ADS-Systemen zu verwenden und diese in einer Weise zu gestalten, dass damit belastbare Verifikationsergebnisse erzielt werden können.
Die DE10 2019 124 615 A1 offenbart ein Verfahren zum Beurteilen von Algorithmen für autonome Fahrzeuge, um das Verhalten von Algorithmen für autonome Fahrzeuge an realen und simulierten Daten zu analysieren. Es werden Szenariomerkmale verwendet, bei denen eine Beeinflussung des Alogrithmusverhaltens wahrscheinlicher ist.
Die DE 10 2017 009 971 A1 offenbart ein Verfahren zum Testen eines Spurhalteassistenzsystems für ein Kraftfahrzeug, wobei die aus einem ereignisbasierten Data-Mining resultierenden logischen Szenarien in eine systematische Testfallgenerierung mit einem generischen Modell für die Szenariobeschreibung einfließen, und wobei die bei einer Testausführung hervorgegangen Testresultate evaluiert werden, um die Testfälle auszuwerten.
Die DE 11 2020 000 222 T5 offenbart ein Verfahren zur Überwachung des korrekten Verhaltens eines autonomen Fahrzeugs.
Die US 10 489 529 B2 offenbart ein Verfahren zum Erzeugen eines Szenarios in einer Simulationsumgebung zum Testen und Validieren eines autonomen Fahrzeugs, wobei durch maschinelles Lernen vorhergesagt werden kann, ob ein Szenario relevant ist.
Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, Möglichkeiten zur Durchführung von virtuellen Verifikationstests für Systemfunktionalitäten von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) anzugeben, so dass der Verifikationsvorgang weniger Zeit benötigt und mit einer verbesserten Effizienz durchgeführt werden kann, um die Sicherheit von ADAS/ADS-Systemen zu erhöhen und Ressourcen sowie Kosten einsparen zu können.
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 11, hinsichtlich eines ADAS/ADS-Systems durch die Merkmale des Patentanspruchs 13 und hinsichtlich eines Computerprogrammprodukts durch die Merkmale des Patentanspruchs 15 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
Durch die vorliegende Erfindung ist eine automatisierte virtuelle Verifikation zumindest von Teilaspekten eines ADAS/ADS-Systems durch entsprechend angepasste Simulationsverfahren möglich. Durch funktionale KPIs können Verifikationsergebnisse quantifiziert werden, so dass ein Testingenieur der Verifikationsanalyse entnehmen kann, welche Spezifikationsanforderungen von dem ADAS/ADS-System erfüllt wurden und für welche Aspekte Verbesserungsbedarf besteht. Da die virtuelle Verifikation automatisiert und in kurzer Zeit durchgeführt werden kann, können insbesondere die Auswirkungen von kleinen Softwareänderungen bei einem ADAS/ADS-System ohne großen Aufwand analysiert werden.
Gemäß einem ersten Aspekt stellt die Erfindung ein Verfahren zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug, insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar. Das Verfahren umfasst die Verfahrensschritte:

- Erstellen von Testfällen von einem Testagenten, wobei für jeden Testfall zumindest ein verifikationsrelevantes Szenario ausgewählt wird;
- Durchführen einer Simulation von einem Simulationsmodul mit den erstellten Testfällen zur Bestimmung von Simulationsergebnissen, wobei das Simulationsmodul ein Fahrumgebungsmodul und/oder ein Fahrermodul und/oder ein Kraftfahrzeugmodul umfasst, die jeweils ausgebildet sind, Testfälle mit verifikationsrelevanten Szenarien zu simulieren;
- Durchführen einer Bewertung der Simulationsergebnisse durch ein Bewertungsmodul zur Bestimmung von Bewertungsergebnissen, wobei das Bewertungsmodul ein Fahrfunktionsbewertungsmodul zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennwerten für die Verifikation umfasst;
- Generieren und Ausgeben einer Verifikationsanalyse zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen von dem Ausgabemodul, insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.

In einer vorteilhaften Weiterbildung ist vorgesehen, dass das Fahrumgebungsmodul zumindest ein Simulationsmodell umfasst, das die Fahrumgebung des Kraftfahrzeugs und die beteiligten Akteure in einem verifikationsrelevanten Szenario modelliert.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Fahrermodul zumindest ein Simulationsmodell umfasst, das das mögliche Verhalten des Fahrers in einem verifikationsrelevanten Szenario modelliert.
In einer weiteren Ausführungsform ist vorgesehen, dass das Kraftfahrzeugmodul zumindest ein Simulationsmodell umfasst, das das mögliche Verhalten des Kraftfahrzeugs n einem verifikationsrelevanten Szenario modelliert.
Vorteilhafterweise umfassen das Simulationsmodell, das Simulationsmodell und das Simulationsmodell Softwareapplikationen mit Algorithmen der künstlichen Intelligenz wie neuronale Netze und/oder Simulationsalgorithmen wie X-in-the-Loop (XiL).
Insbesondere umfassen die Algorithmen der Softwareapplikationen Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, und/oder rückgekoppelte neuronale Netzwerke.
In einer Weiterentwicklung ist vorgesehen, dass der Testagent zumindest eine Softwareapplikation mit Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet/verwenden.
In einer weiteren Ausführungsform ist vorgesehen, dass das Fahrumgebungsmodul, das Fahrermodul und das Kraftfahrzeugmodul mit Sensoren und/oder einer Datenbank verbunden ist/sind, um weitere Informationen für die Erstellung der Simulationsmodelle zu erhalten.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Bewertungsmodul ein Simulationsbewertungsmodul zur Bestimmung der Qualität der Simulation mittels Simulationsqualitätskriterien (SQCs) umfasst, und wobei die Bewertungsergebnisse die Leistungsindikatoren (KPIs), die Bewertungskennwerte und/oder die Simulationsqualitätskriterien (SQCs) umfassen.
Insbesondere ist vorgesehen, dass ein Szenarioparameter eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius und/oder eine Zahl darstellt.
Vorteilhafterweise sind die Sensoren als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, GPS-Systeme, Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren, Drehmomentsensoren, Niederschlagssensoren und/oder Temperatursensoren ausgebildet.
Gemäß einem zweiten Aspekt stellt die Erfindung ein System zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug, insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar.
Das System umfasst ein Testmodul mit einem Testagenten, ein Simulationsmodul, ein Bewertungsmodul und ein Ausgabemodul. Der Testagent ist ausgebildet, Testfälle zu erstellen, wobei für jeden Testfall zumindest ein verifikationsrelevantes Szenario ausgewählt wird. Das Simulationsmodul ist ausgebildet, eine Simulation mit den erstellten Testfällen durchzuführen zur Bestimmung von Simulationsergebnissen, wobei das Simulationsmodul ein Fahrumgebungsmodul und/oder ein Fahrermodul und/oder ein Kraftfahrzeugmodul umfasst, die jeweils ausgebildet sind, Testfälle mit verifikationsrelevanten Szenarien zu simulieren. Das Bewertungsmodul ist ausgebildet, eine Bewertung der Simulationsergebnisse zur Bestimmung von Bewertungsergebnissen durchzuführen, wobei das Bewertungsmodul ein Fahrfunktionsbewertungsmodul zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennwerten für die Verifikation umfasst. Das Ausgabemodul ist ausgebildet, eine Verifikationsanalyse zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen von dem Ausgabemodul zu generieren und auszugeben, insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.
In einer vorteilhaften Weiterbildung ist vorgesehen, dass das Fahrumgebungsmodul zumindest ein Simulationsmodell umfasst, das die Fahrumgebung des Kraftfahrzeugs und die beteiligten Akteure in einem verifikationsrelevanten Szenario modelliert.
In einer weiteren Ausführungsform ist vorgesehen, dass das Fahrermodul zumindest ein Simulationsmodell umfasst, das das mögliche Verhalten des Fahrers in einem verifikationsrelevanten Szenario modelliert.
Vorteilhafterweise ist vorgesehen, dass das Kraftfahrzeugmodul zumindest ein Simulationsmodell umfasst, das das mögliche Verhalten des Kraftfahrzeugs in einem verifikationsrelevanten Szenario modelliert.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Simulationsmodell, das Simulationsmodell und das Simulationsmodell Softwareapplikationen mit Algorithmen der künstlichen Intelligenz wie neuronale Netze und/oder Simulationsalgorithmen wie X-in-the-Loop (XiL) umfassen.
Gemäß einem dritten Aspekt stellt die Erfindung ein ADAS/ADS-System für ein Kraftfahrzeug bereit, wobei zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS), insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems, das Verfahren gemäß dem ersten Aspekt verwendet wird.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Programmierung und Anpassung des ADAS/ADS-Systems im Rahmen der virtuellen Verifikation mittels einer kontinuierlichen Integration (engl. continuous integration) erfolgt.
Gemäß einem vierten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der derart konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.
Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.
Dabei zeigt:

1 ein Blockdiagramm zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems;
2 ein Blockdiagramm eines erfindungsgemäßen Simulationsmoduls;
3 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
4 ein Blockdiagramm eines Computerprogrammprodukt gemäß einer Ausführungsform des vierten Aspekts der Erfindung.

Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden in der nachfolgenden Beschreibung in Verbindung mit den Ansprüchen erläutert.
Für das Testen, Trainieren, Absichern und Applizieren von Fahrerassistenzsystemen (ADAS) und automatisierten Fahrsystemen (ADS) werden zunehmend simulierte Verkehrsszenarien, die durch Programmierung erstellt werden, verwendet. Als Szenario wird im Rahmen der Erfindung ein Verkehrsgeschehen in einer zeitlichen Sequenz bezeichnet. Ein Beispiel für ein Szenario ist das Befahren einer Autobahnbrücke, das Abbiegen auf einer Abbiegespur, das Durchfahren eines Tunnels, das Einbiegen in einen Kreisverkehr oder das Halten vor einem Fußgängerübergang. Darüber hinaus können spezifische Sichtverhältnisse beispielsweise aufgrund der Dämmerung oder einer hohen Sonnenlichteinstrahlung sowie Umweltbedingungen wie das Wetter und die Jahreszeit, das Verkehrsaufkommen sowie bestimmte geographische topographische Verhältnisse ein Szenario beeinflussen. Beispielsweise kann ein Überholvorgang als ein Szenario beschrieben werden, bei dem ein erstes Fahrzeug sich zunächst hinter einem anderen Fahrzeug befindet, dann einen Spurwechsel auf die andere Fahrbahn durchführt und die Geschwindigkeit erhöht, um das andere Fahrzeug zu überholen. Ein derartiges Szenario wird auch als Cut-In-Szenario bezeichnet.
Um Fahrerassistenzsysteme (ADAS) und automatisierte Fahrsysteme (ADS) in einem Kraftfahrzeug einsetzen zu können, müssen diese für einen verlässlichen Einsatz validiert und verifiziert werden. Ziel der Validierung ist es, für einen Datensatz oder mehrere Datensätze die Zuverlässigkeit und Robustheit eines Fahrerassistenzsystems (ADAS) bzw. eines automatisierten Fahrsystems (ADS) in der gesamten ODD nachzuweisen und anschließend eine Freigabe zu erteilen.
Der Validierung vorgeschaltet sind Verifikationstests, mit denen überprüft wird, ob die Module, Komponenten, Subsysteme, die Software und die Softwarearchitektur eines Fahrerassistenzsystems festgelegten Spezifikationen genügen. Hierzu werden bezogen auf die jeweilige festgelegt Spezifikation Testfälle erstellt, um die verschiedenen Aspekte eines ADAS/ADS-Systems zu überprüfen bzw. zu verifizieren. Systemfunktionalitäten, die verifiziert werden, sind beispielsweise die korrekte Informationsanzeige mittels Displays an den Fahrer, das Auslösen von Warnkaskaden mittels optischer, akustischer und/oder haptischer Signale, die korrekte Übergabe der Fahraufgabe (Take-over-Request), die korrekte Einstellung der Menüstruktur des Systems, des Weiteren systeminterne Funktionalitäten wie ein korrektes Startverhalten, das Laden korrekter Datensätze sowie systemübergreifende Funktionalitäten wie die korrekte Kommunikation mit anderen Steuerungsgeräten und externen Systemen, die Fehlererkennung in anderen Systemen wie Sensoren und Aktoren.
Erfindungsgemäß werden für die Verifikation verifikationsrelevante Szenarien verwendet, die entweder auch für die Validierung verwendet werden können oder die spezifisch für die Verifikation von einem Ingenieur und/oder mittels Generierungsalgorithmen entwickelt werden.
1 zeigt ein erfindungsgemäßes System 100 für die virtuelle Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS). Erfindungsgemäß wird ein modularer Simulationsansatz für die virtuelle Verifikation von ADAS/ADS-Systemen verwendet. Das erfindungsgemäße System 100 umfasst ein Testagentenmodul 200 mit einem Testagenten 220, eine Parameterdatenbank 320, eine Szenariendatenbank 330, eine Bewertungsdatenbank 340, eine Testdatenbank 300, ein Simulationsmodul 400, ein Bewertungsmodul 500 und ein Ausgabemodul 700, die jeweils mit einem Prozessor und/oder einer Speichereinheit versehen sein können.
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Prozessoreinheit und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Der Prozessor ist speziell dazu eingerichtet, die Programmbefehle derart auszuführen, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder zu realisieren. Insbesondere kann ein Modul in einer Cloud-Computing-Infrastruktur integriert sein.
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, des Systems, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Insbesondere kann der Prozessor hochparallele Recheneinheiten und leistungsfähige Grafikmodule enthalten.
Unter einer „Speichereinheit“ oder einem „Speichermodul“ kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form eines Arbeitsspeichers (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.
Der Testagent 220 des Testagentenmoduls 200 erstellt mittels einer Softwareapplikation eine Mehrzahl von Testfällen T_i für eine oder mehrere Fahraufgaben, für die eine Verifikation insbesondere der Module, Komponenten, Subsysteme, der Software und der Systemarchitektur eines ADAS/ADS-Systems erfolgen soll. Die jeweilige Fahraufgabe wird vor dem Starten der Simulation formuliert, beispielsweise von einem Experten wie einem Ingenieur. Es kann aber auch vorgesehen sein, dass eine Liste von Fahraufgaben von einer Softwareapplikation generiert wird. Diese Liste kann dann sukzessive von dem erfindungsgemäßen System 100 bearbeitet werden. Eine beispielhafte Fahraufgabe ist ein Spurwechsel auf einer Autobahn.
Es kann vorgesehen sein, dass ein Testingenieur maschinenlesbare Testfälle T_i beispielsweise aus einer Systemspezifikation erstellt und diese vordefinierten Testfälle T_i werden dann von dem Testagenten 220 verwendet. Für die Auswahl und die Gestaltung der Testfälle T_i kann eine Teststrategie 230 vorgesehen sein, die vorgibt, wie der Testagent 220 die Testfälle T_i erstellt. Für die Festlegung der Teststrategie 230 können verschiedene Berechnungsverfahren und Algorithmen, insbesondere Algorithmen der künstlichen Intelligenz vorgesehen sein.
Die erforderlichen Informationen für die Erstellung der Testfälle T_i kann der Testagent 220 der Parameterdatenbank 320, der Szenariendatenbank 330 und der Bewertungsdatenbank 340 entnehmen. Im Rahmen der Erfindung kann vorgesehen sein, dass darüber hinaus weitere Datenbanken verwendet werden. Die erstellten Testfälle T_i werden in der Testdatenbank 300 gespeichert. Falls ein Testingenieur direkt die Testfälle T_i erstellt, dann werden diese in dem passenden Format in der Testdatenbank 300 gespeichert und der Testagent 220 kann die Testfälle T_i der Testdatenbank 300 entnehmen.
Unter „Datenbank“ ist sowohl ein Speicheralgorithmus als auch die Hardware in Form einer Speichereinheit zu verstehen. Insbesondere können die Datenbanken 300, 320, 330, 340 als Teil einer Cloud-Computing-Infrastruktur ausgebildet sein.
Unter Daten sind im Zusammenhang mit der Erfindung sowohl Rohdaten als auch bereits aufbereitete Daten aus Messergebnissen von Sensoren sowie aus weiteren Datenquellen zu verstehen.
Die Erstellung der Testfälle T_i erfolgt auf der Basis von parametrisierten Szenarien SZp_i, die auch als logische Szenarien bezeichnet werden, und in der Szenariendatenbank 330 gespeichert sind. Als ein parametrisiertes Szenario SZp_i, wird im Rahmen der Erfindung ein Szenario bezeichnet, das insbesondere in einem maschinenlesbaren Code geschrieben ist. Ein parametrisiertes Szenario SZp_i wird durch verschiedene Szenarioparameter P₁, P₂, ... , P_n aus einer Menge von möglichen Szenarioparametern P_i und zugehörigen Szenarioparameterwerten PV₁, PV₂, ... , PV_n aus einer Menge von möglichen Szenarioparameterwerten PV_i definiert, wobei Szenarioparameterwerte PV_i den Wertebereich eines Szenarioparameters P_i festlegen. Als ein konkretes Szenario SZc wird ein Szenario SZ bezeichnet, bei dem die Szenarioparameter Pc_i und die zugehörigen Szenarioparameterwerte PVc_i bzw. Wertebereiche der Szenarioparameterwerte PVc_i festgelegt sind. Bei beiden Szenarien, sowohl dem parametrisierten Szenario SZp als auch dem konkreten Szenario SZc, handelt es sich jeweils um Szenarien, die insbesondere in einem maschinenlesbaren Code geschrieben sind.
Ein Szenarioparameter P_i stellt beispielsweise eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius, einen Ort, eine Zahl, ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit dar. Szenarioparameter P_i kennzeichnen somit im Rahmen der vorliegenden Erfindung Eigenschaften und Merkmale eines Szenarios. Ein Beispiel für einen Szenarioparameter P_i ist die Geschwindigkeit eines Ego-Fahrzeugs und ein Wertebereich des zugehörigen Szenarioparameterwertes PV_i kann den Bereich von 100 km/h bis 180 km/h für ein Szenario SZp_i umfassen. Für ein anderes Szenario SZp_k kann der Wertebereich des Szenarioparameterwertes PV_i sich von 40 km/h bis 70 km/h erstrecken.
Ein parametrisiertes Szenario SZp umfasst eine zeitliche Folge von Zeitintervallen Δt₁,Δt₂.,...,Δt_n, in denen jeweils verschiedene Szenen und Ereignisse stattfinden. Ein parametrisiertes Szenario SZp beginnt mit einer Startszene und entwickelt sich dann durch auftretende Ereignisse weiter, aus denen im zeitlichen Verlauf neue Folgeszenen entstehen. Die Startszene wird somit durch ein oder mehrere Ereignisse verändert. Bei einem Ereignis kann es sich sowohl um eine von einem Verkehrsteilnehmer aktiv ausgelöste Reaktion wie eine Beschleunigung handeln als auch um ein Ereignis, das zyklisch wiederkehrt, wie beispielsweise die Schaltvorgänge einer Ampel. Die Startszene und die einzelnen Folgeszenen umfassen somit jeweils nur ein kleines Zeitintervall Δt bzw. eine Momentaufnahme, während ein parametrisiertes Szenario SZp eine längere Zeitspanne umfasst.
Bei einem Testfall T_i handelt es sich somit um ein relevantes parametrisiertes Szenario SZp und die Festlegung von Szenarioparametern P_i und gegebenenfalls weiteren Parametern. Insbesondere können zusätzlich Applikationsparameter Papp_i und Bewertungsparameter vorgesehen sein, die eine weitere Anpassung eines parametrisierten Szenarios SZp_i an einen spezifischen Anwendungsfall ermöglichen.
Erfindungsgemäß werden zusätzlich zu bereits vorhandenen parametrisierten Szenarien SZp_i verifikationsrelevante parametrisierte Szenarien SZp_i(ver) erstellt, die für die Verifikation erforderlich sind. Ein Beispiel für ein verifikationsrelevantes Szenario SZp_i(ver) ist ein Szenario, das das Rekuperationsmanagement bei einem Bremsmanöver-Szenario widerspiegelt. Für die Erstellung von parametrisierten Szenarien SZp_i und verifikationsrelevante parametrisierte Szenarien SZp_i(ver) können verschiedene Quellen wie Anforderungsspezifikationen, Expertenwissen, und/oder Messungen im öffentlichen Straßenverkehr oder auf Testgeländen mittels Sensoren verwendet werden. Die verwendeten Sensoren können insbesondere als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, und/oder GPS-Systeme ausgebildet sein. Des Weiteren können Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren Niederschlagssensoren und/oder Temperatursensoren, etc. verwendet werden. So kann mittels einer Softwareapplikation aus aufgenommenen Daten an einem bestimmten geographischen Ort ein jeweils passendes parametrisiertes Szenario SZp_i. abgeleitet werden. Die Softwareapplikation verwendet insbesondere Algorithmen der künstlichen Intelligenz zur Identifikation der parametrisierten Szenarien SZp_i. Bei den Algorithmen der künstlichen Intelligenz kann es sich insbesondere um Encoder und Decoder mit neuronalen Netzen handeln.
Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronen-Ausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Durch die Anordnung und die Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie vorwärtsgerichtete Netzwerke (engl. feedforward neural network (RNN)) ohne Rückkopplung, rückgekoppelte Netzwerke (engl. recurrent neural network) mit Rückkopplung oder gefaltete neuronale Netze (engl. convolutional neural networks (CNN)).
Im Rahmen der vorliegenden Erfindung erstellt der Testagent 220 aus der Menge an möglichen verifikationsrelevanten parametrisierten Szenarien SZp_i(ver) und parametrisierten Szenarien SZp_i diejenigen Testfälle T_i, die für die Verifikation eines ADAS/ADS-Systems von Interesse sind bzw. der Testagent 220 verwendet die von einem Testingenieur vordefinierten Testfälle T_i, Für die Verifikation können neben den spezifisch für die Verifikation erstellten verifikationsrelevanten parametrisierten Szenarien SZp_i(ver) teilweise auch parametrisierte Szenarien SZp_i verwendet werden, die für andere Zwecke wie eine Validierung des ADAS/ADS-Systems generiert worden sind und bereits in der Szenariendatenbank 330 gespeichert sind. Ein Beispiel für ein solches parametrisiertes Szenario SZp_i ist ein kritisches Bremsmanöver für einen Take-over-Request. Typischerweise wird von einem Testingenieur eine maschinenlesbare Testspezifikation erstellt. Diese enthält die zu testenden verifikationsrelevanten parametrisierten Szenarien Szp_i(ver), die Szenarioparameter P_i und eine Metrik insbesondere in Form funktionaler KPIs für die Verifikation sowie Erwartungswerte.
Für die jeweilige Verifikationsaufgabe wählt der Testagent 220 somit passende verifikationsrelevante parametrisierte Szenarien SZp_i(ver) und parametrisierte Szenarien SZp_i aus der Szenariendatenbank 330 und passende Kalibrierungsparameter Pcal_i aus der Parameterdatenbank 320 aus. Diese von dem Testagenten 220 erstellten relevanten Testfälle T_i decken insbesondere die in einer Spezifikation festgelegten Anforderungen ab, die von automatisierten Fahrfunktionen eines ADAS/ADS-Systems beherrscht und entsprechend verifiziert werden müssen.
Die Teststrategie 230 des Testagenten 220 entscheidet somit, welche Testfälle T_i mit ausgewählten Kombinationen von verifikationsrelevanten parametrisierten Szenarien SZp_i(ver) und/oder parametrisierten Szenarien SZp_i sowie passenden Kalibrierungsparametern Pcal_i sowie gegebenenfalls weiteren Parametern erstellt werden. Die verwendete Strategie wird durch die festgelegte Spezifikation vorgegeben. Im Rahmen der Erfindung ist jedoch insbesondere vorgesehen, dass die Testfälle T_i von einem Testingenieur erstellt werden. Die auf diese Weise bestimmten Testfälle T_i speichert der Testagent 220 in der Testdatenbank 300.
Für die Durchführung einer Simulation übergibt der Testagent 220 die erstellten Testfälle T_i an das Simulationsmodul 400. Das Simulationsmodul 400 über ein Fahrumgebungsmodul 410, ein Fahrermodul 420 und ein Kraftfahrzeugmodul 430, die als austauschbare Untermodule ausgebildet sind und die Aufgabe haben, jeweils die im Folgenden genannten Teilaspekte eines jeweiligen Testfalls T_i oder einer Mehrzahl von Testfällen T_i zu simulieren. Durch diese drei Untermodule 410, 420, 430 kann die virtuelle Verifikation von Teilaspekten und/oder des Gesamtsystems von automatisierten Fahrfunktionen eines ADAS/ADS-Systems durchgeführt werden, da die Simulation im 3F-Parameterraum, der durch die Fahrumgebung, das Fahrzeug und den Fahrer bestimmt ist, stattfindet.
Wie in der 2 dargestellt, umfasst das Fahrumgebungsmodul 410 zumindest ein Simulationsmodell 412, das die Fahrumgebung des Kraftfahrzeugs 10 und die an einem Szenario beteiligten Akteure abbildet. Bei den Akteuren handelt es sich um andere Verkehrsteilnehmer wie Fahrer von anderen Kraftfahrzeugen, Radfahrer und Fußgänger. Dieses Simulationsmodell 412 enthält eine Softwareapplikation, die derart ausgebildet ist, dass sie Testfälle T_i basierend auf verifikationsrelevanten parametrisierten Szenarien SZp_i(ver) verarbeitet und für diese Testfälle T_i das mögliche Verhalten der Akteure in der durch den Testfall T_i definierten Fahrsituation modelliert. Für die Berechnungsverfahren verwendet das Simulationsmodell 412 insbesondere Algorithmen der künstlichen Intelligenz wie neuronale Netze und Simulationsalgorithmen wie X-in-the-Loop (XiL).
Das Fahrermodul 420 umfasst zumindest ein Simulationsmodell 422, das sich auf das Fahrverhalten eines Fahrers wie dynamisch oder defensiv bezieht. Zudem enthält dieses Simulationsmodell 422 eine Softwareapplikation, die derart ausgebildet ist, dass sie Testfälle T_i basierend auf verifikationsrelevanten parametrisierten Szenarien SZp_i(ver) verarbeitet und das mögliche Verhalten des Fahrers in einer Fahrsituation wie einen Bremsvorgang oder einen Beschleunigungsvorgang modelliert. Insbesondere werden von dem Simulationsmodell 422 die möglichen Reaktionen des Fahrers auf optische und/oder akustische Warnhinweise, die beispielsweise von einer Fahrfunktion ausgelöst und auf einer Benutzerschnittstelle wie einem Display oder über ein Mikrofon ausgegeben werden, modelliert zum besseren Verständnis einer Mensch-Maschinen-Interaktion. Für die Berechnungsverfahren verwendet das Simulationsmodell 422 insbesondere Algorithmen der künstlichen Intelligenz wie neuronale Netze und Simulationsalgorithmen wie X-in-the-Loop (XiL).
Das Kraftfahrzeugmodul 430 umfasst zumindest ein Simulationsmodell 432, das verschiedene Varianten eines Kraftfahrzeugs beispielsweise hinsichtlich der unterschiedlichen Ausbildung des Antriebsstrangs, der Fahrdynamik und weiterer Teilfunktionen und deren Interaktionen untereinander beispielsweise über ein Bussystem abbildet. Des Weiteren enthält das Simulationsmodell 432 eine Softwareapplikation, die derart ausgebildet ist, dass sie Testfälle T_i basierend auf verifikationsrelevanten parametrisierten Szenarien SZp_i(ver) verarbeitet und das mögliche Verhalten des Kraftfahrzeugs 10 in einer Fahrsituation wie einen Warnhinweis an den Fahrer oder das Auslösen einer Notbremsung durch entsprechend ausgebildete Fahrfunktionen modelliert. Dabei können die Ausprägung und die Reaktionen einer Fahrfunktion eines ADAS/ADS-Systems in einer Fahrsituation variiert werden. Auch diese Softwareapplikation umfasst insbesondere Algorithmen der künstlichen Intelligenz wie neuronale Netze und Simulationsalgorithmen wie X-in-the-Loop (XiL).
Insbesondere können die Algorithmen der Softwareapplikationen Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, und/oder rückgekoppelte neuronale Netzwerke umfassen.
Das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Fahrzeugmodul 430 sind somit für die Simulation von Testfällen T_i basierend auf verifikationsrelevanten parametrisierten Szenarien SZp_i(ver) ausgebildet und interagieren miteinander, da es wechselseitige Abhängigkeiten gibt, wie beispielsweise die Reaktion eines Fahrers auf das Verhalten eines Akteurs in einer Fahrsituation. Die Untermodule 410, 420, 430 setzen somit die Beschreibung des jeweiligen Testfalls T_i für eine spezifische Situation bzw. Konfiguration um und stellen die notwendigen Eingangsdaten für die Simulation einer Fahrfunktion in einem Fahrfunktionsmodul 440 bereit, um die Voraussetzungen für eine virtuelle Verifikation von Teilaspekten und/oder des Gesamtsystems von automatisierten Fahrfunktionen eines ADAS/ADS-Systems bereitzustellen.
Das Simulationsmodul 400 bzw. die verschiedenen Untermodule 410, 420, 430 sind mit ein oder mehreren Datenbanken 480 verbunden, in denen Sensorsignale von Sensoren 470 und weitere Daten gespeichert sind. Bei den Sensorsignalen handelt es sich insbesondere um Messdaten von Eigenschaften und Merkmalen eines Kraftfahrzeugs 10 sowie von Akteuren und Ereignissen in der Umgebung des Kraftfahrzeugs 10, die beim Befahren einer Fahrstrecke jeweils während eines definierten Zeitfensters Δt_i und/oder eines definierten Fahrstreckenabschnitts Δx_i aufgenommen wurden. Bei den Akteuren in der Verkehrsumgebung des Kraftfahrzeugs 10 handelt es sich insbesondere um andere Verkehrsteilnehmer wie Kraftfahrzeuge, Fußgänger, Radfahrer, und bei den Ereignissen beispielsweise um einen Beschleunigungsvorgang, einen Spurwechsel, oder ein Umschalten einer Ampel. Die Sensoren 470 können insbesondere als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, und/oder GPS-Systeme ausgebildet sein. Des Weiteren können Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren Niederschlagssensoren und/oder Temperatursensoren, etc. verwendet werden.
In der Datenbank 480 können zudem weitere historische Daten in Form von Bildern, Graphiken, Zeitreihen, Kenngrößen, etc. für die Verifikation gespeichert sein. So können beispielsweise Zielgrößen, Zielwerte und Erwartungswerte in der Datenbank 480 abgelegt sein, die einen Sicherheitsstandard für die Verifikation definieren. Die Datenbank 480 kann ebenfalls in einer Cloud-Computing-Infrastruktur integriert sein.
Darüber hinaus können zusätzliche Datenquellen beziehungsweise Datenbanken verwendet werden. Hierzu zählen insbesondere Datenbanken, die Daten über das Straßennetz mit Straßenspezifikationen wie beispielsweise Fahrspuren und Brücken, die Straßeninfrastruktur wie beispielsweise den Straßenbelag, die Randbebauung, die Straßenführung, etc. beinhalten. Zudem sind Daten über Verkehrszahlen wie das reale stündliche Verkehrsaufkommen an einem bestimmten Verkehrsschauplatz für bestimmte Szenarien-Typen, wie beispielsweise ein Stau, von Interesse. Da auch die Wetterverhältnisse einen Szenario-Typ definieren können, sind Wetterdaten eine weitere Datenquelle.
Die von dem Testagenten ausgewählten Testfälle T_i werden in das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Kraftfahrzeugmodul 430 integriert, wobei Eingangssignale wie Sensordaten, Informationen über die Fahrumgebung, den Fahrzeugzustand sowie Fahrerreaktionen von den Untermodulen 410, 420, 430 bereitgestellt werden, um eine Simulation der ausgewählten Testfälle T_i für die virtuelle Verifikation von Teilaspekten und/oder des Gesamtsystems von automatisierten Fahrfunktionen eines ADAS/ADS-Systems durchzuführen. Insbesondere die Modellierung der Sensoren 470 ist von besonderer Bedeutung, da Ungenauigkeiten und Messfehler der Sensorsignale der verwendeten Sensoren 470 bei der virtuellen Verifikation werden müssen. Wenn ein ausgewählter Testfall T_i bzw. eine Mehrzahl von Testfällen T_i eine festgelegte Fahraufgabe nicht abdecken kann, werden mittels der Untermodule 410, 420, 430 weitere Daten bereitgestellt, um für einen Testfall T_i ein ganzheitliches Fahrgeschehen einschließlich der Reaktionen des Fahrers, des Kraftfahrzeugs 10 und der übrigen Verkehrsakteure zu simulieren.
Das Simulationsmodul 400 führt somit eine Simulation der Testfälle T_i für eine festgelegte Fahraufgabe durch und übergibt die Simulationsergebnisse 450 dem Bewertungsmodul 500.
Das Bewertungsmodul 500 bewertet die Simulationsergebnisse 450 hinsichtlich der Verifikation von Teilaspekten und/oder des Gesamtsystems von automatisierten Fahrfunktionen eines ADAS/ADS-Systems aufgrund der Leistungs- und Funktionsfähigkeit von Teilaspekten und/oder des Gesamtsystems von ein oder mehreren Fahrfunktionen bzw. der Gesamtperformance des simulierten ADAS/ADS-Systems insbesondere in Form von Leistungsindikatoren (KPIs) und Bewertungskennwerten. Zudem kann die Qualität des durchgeführten Simulationsverfahrens bewertet werden insbesondere in Form von Simulationsqualitätskriterien (SQCs). Aus diesen Bewertungen erstellt das Bewertungsmodul 500 Bewertungsergebnisse 550.
KPIs dienen zur Beschreibung der Leistung eines zu testenden ADAS/ADS-Systems, wobei für die Verifikation von Teilaspekten und/oder des Gesamtsystems von ein oder mehreren Fahrfunktionen bzw. der Gesamtperformance des simulierten ADAS/ADS-Systems spezifische funktionale KPIs wie die Überprüfung von gesendeten Daten an eine Displayeinrichtung im Kraftfahrzeug, die Zeitdauer für die Übermittlung eines Take-over-Request an den Fahrer des Kraftfahrzeugs, etc. implementiert werden entsprechend den jeweiligen Funktionen und Aspekten des ADAS/ADS-Systems, die gemäß einer vorgegebenen Spezifikation verifiziert werden sollen. Zudem können weitere KPIs für Bewertungskategorien wie Komfort, Sicherheit, Natürlichkeit des Fahrens und festgelegt werden. Beispiele für KPIs sind die Bewertung einer minimalen Distanz zu einem anderen Fahrzeug, eine mittlere Beschleunigung bei einem Verzögerungsszenario oder die Art der Durchführung eines Überholmanövers.
KPIs stellen somit eine Metrik zur Verifizierung der korrekten Funktionalität eines zu testenden ADAS/ADS-Systems dar.
Bei den Bewertungskennwerten handelt es sich insbesondere um Labels zur Kennzeichnung von besonderen Eigenschaften der Verifikationsergebnisse wie „bestanden“ oder „unzureichend“ oder um eine Ja/Nein-Metrik hinsichtlich des Auftretens einer Kollision bzw. der Vermeidung einer Kollision. Die KPIs, Bewertungskennwerte und SQCs können durch Zahlenwerte aber auch durch boolesche Werte darstellt werden.
Dabei können sowohl für die KPIs als auch für die SQCs direkte und indirekte Bewertungsmetriken verwendet werden. Direkte Bewertungsmetriken enthalten Daten direkt aus simulierten Messdaten. Indirekte Bewertungsmetriken verwenden insbesondere Szenarienparameter als Datenquelle. Ein Beispiel für die Anwendung indirekter Bewertungsmetriken ist die Implementierung von Simulationsmodellen, die das subjektive Empfinden eines Fahrers bei der Durchführung einer Fahrfunktion eines ADAS/ADS-Systems quantifizieren und bewerten. Auf Basis der KPIs und SQCs lassen sich somit die Ergebnisse eines simulierten Testfalls T_i durch Zahlenwerte bzw. boolesche Werte darstellen und daraus die Verifikation eines ADAS/ADS-System für verifikationsrelevante Szenarien Sz_i(ver) ableiten.
Die Kombination aus dem Simulationsmodul 400 und dem Auswertungsmodul 500 bildet somit die Basis für die Bearbeitung von Testfällen T_i im Rahmen der virtuellen Verifikation eines ADAS/ADS-Systems. Vom Testagenten 220 erstellte Testfälle T_i mit verifikationsrelevanten Szenarien Sz_i(ver) werden in dem Simulationsmodul 400 mittels des Fahrumgebungsmoduls 410, des Fahrermoduls 420 und des Kraftfahrzeugmoduls 430 simuliert. Das Simulationsmodul 400 hat zudem Zugriff auf die Parameterdatenbank 320 und die Szenariendatenbank 330, um die erforderlichen Informationen zu erhalten. Nach erfolgreicher Simulation werden die Simulationsergebnisse 450 an das Bewertungsmodul 500 übergeben.
Das Ausgabemodul 700 erstellt mittels der Bewertungsergebnisse 550 insbesondere in Form der Leistungsindikatoren (KPIs) eine Verifikationsanalyse 750 der korrekten Funktionalität eines zu testenden ADAS/ADS-Systems für die ausgewählten Testfälle T_i. Zudem enthält der Datensatz 750 bzw. das Ausgabeergebnis Informationen über die durchgeführte Simulation. Die Qualität des Verifikationsanalyse 750 hängt dabei von der Qualität der Szenariobeschreibung der verifikationsrelevanten Szenarien Sz_i(ver) und der Art der Simulation durch das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Kraftfahrzeugmodul 430 sowie der Definition der Bewertungsmetriken in Form von KPIs ab. Des Weiteren sollten die verwendeten Algorithmen für die Softwareapplikationen der Simulationsmodelle 412, 422, 432 über eine hohe Qualität verfügen, um durch das Simulationsverfahren belastbare Verifikationsergebnisse zu erzeugen. Da das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Kraftfahrzeugmodul 430 als eigenständige Untermodule des Simulationsmoduls 400 ausgebildet sind, können diese Untermodule 410, 420, 430 zudem unabhängig voneinander weiterentwickelt werden, was zu einer höheren Qualität des Gesamtprozesses führt.
Diese Verifikationsanalyse 750 kann dann als Ausgabeergebnis von dem Ausgabemodul 700 ausgegeben werden. Die Verifikationsanalyse 750 umfasst insbesondere einen Bericht mit Textbausteinen, Diagrammen und Histogrammen, in dem die simulierten Testfälle T_i und die Simulationsergebnisse wie „bestanden“ und „unzureichend“ sowie die zugehörigen KPIs dargestellt sind. Mittels der KPIs kann analysiert werden, warum die unzureichenden Testfälle T_i die Erwartungswerte nicht erfüllt haben. Ein Testingenieur kann der Verifikationsanalyse 750 entnehmen, welche Spezifikationsanforderungen von dem ADAS/ADS-System erfüllt wurden und für welche Aspekte Verbesserungsbedarf besteht. Da die virtuelle Verifikation automatisiert und in kurzer Zeit durchgeführt werden kann, können insbesondere die Auswirkungen von kleinen Softwareänderungen bei einem ADAS/ADS-System ohne großen Aufwand analysiert werden. Insbesondere ist vorgesehen, dass die Programmierung und Anpassung des ADAS/ADS-Systems im Rahmen der virtuellen Verifikation mittels einer kontinuierlichen Integration (engl. continuous integration) erfolgt, um eine hohe Softwarequalität sicherzustellen.
In 3 sind die Verfahrensschritte zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug 10 dargestellt.
In einem Schritt S10 werden Testfälle T_i von einem Testagenten 220 erstellt, wobei für jeden Testfall T_i zumindest ein verifikationsrelevantes Szenario Sz_i(ver) ausgewählt wird.
In einem Schritt S20 wird eine Simulation von einem Simulationsmodul 400 mit den erstellten Testfällen T_i zur Bestimmung von Simulationsergebnissen 450 durchgeführt, wobei das Simulationsmodul 400 ein Fahrumgebungsmodul 410 und/oder ein Fahrermodul 420 und/oder ein Kraftfahrzeugmodul 430 umfasst, die jeweils ausgebildet sind, Testfälle T_i mit verifikationsrelevanten Szenarien Sz_i(ver) zu simulieren.
In einem Schritt S30 wird eine Bewertung der Simulationsergebnisse 450 durch ein Bewertungsmodul 500 zur Bestimmung von Bewertungsergebnissen 550 durchgeführt, wobei das Bewertungsmodul 500 ein Fahrfunktionsbewertungsmodul 520 zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennzahlen für die Verifikation umfasst.
In einem Schritt S40 wird eine Verifikationsanalyse 750 zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen 550 von dem Ausgabemodul 700 generiert und ausgegeben, insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.
4 stellt schematisch ein Computerprogrammprodukt 900 dar, das einen ausführbaren Programmcode 950 umfasst, der konfiguriert ist, das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung auszuführen.
Mit der vorliegenden Erfindung ist eine automatisierte virtuelle Verifikation zumindest von Teilaspekten eines ADAS/ADS-Systems durch entsprechend angepasste Simulationsverfahren möglich. Durch die funktionalen KPIs können Verifikationsergebnisse quantifiziert werden, so dass ein Testingenieur der Verifikationsanalyse entnehmen kann, welche Spezifikationsanforderungen von dem ADAS/ADS-System erfüllt wurden und für welche Aspekte Verbesserungsbedarf besteht. Da die virtuelle Verifikation automatisiert und in kurzer Zeit durchgeführt werden kann, können insbesondere die Auswirkungen von kleinen Softwareänderungen bei einem ADAS/ADS-System ohne großen Aufwand analysiert werden. Insbesondere kann die Programmierung und Anpassung des ADAS/ADS-Systems im Rahmen der virtuellen Integration mittels einer kontinuierlichen Integration (engl. continuous integration) erfolgen, um eine hohe Softwarequalität sicherzustellen. Hierdurch können Ressourcen eingespart werden, da sowohl das reale Abfahren von Teststrecken mit Standardverkehrssituationen als auch mit spezifischen Corner-Cases reduziert werden kann.
Bezugszeichen

10: Kraftfahrzeug
100: System
200: Testagentenmodul
220: Testagent
230: Teststrategie
300: Testdatenbank
320: Parameterdatenbank
330: Szenariendatenbank
340: Bewertungsdatenbank
400: Simulationsmodul
410: Fahrumgebungsmodell
412: Simulationsmodell
420: Fahrermodul
422: Simulationsmodell
430: Kraftfahrzeugmodul
432: Simulationsmodell
440: Funktionsmodell
450: Simulationsergebnisse
470: Sensoren
480: Datenbank
500: Bewertungsmodul
510: Funktionsbewertungsmodul
520: Simulationsbewertungsmodul
550: Bewertungsergebnisse
700: Ausgabemodul
750: Datensatz mit kritischen Szenarien
900: Computerprogrammprodukt
950: Programmcode

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102019124615 A1 [0006]
DE 102017009971 A1 [0007]
DE 112020000222 T5 [0008]
US 10489529 B2 [0009]

Claims

Verfahren zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug (10), insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems, wobei ein Szenario (SZ_i) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt, umfassend: - Erstellen (S10) von Testfällen (T_i) von einem Testagenten (220), wobei für jeden Testfall (T_i) zumindest ein verifikationsrelevantes Szenario (SZ_i(ver)) ausgewählt wird; - Durchführen (S20) einer Simulation von einem Simulationsmodul (400) mit den erstellten Testfällen (T_i) zur Bestimmung von Simulationsergebnissen (450), wobei das Simulationsmodul (400) ein Fahrumgebungsmodul (410) und/oder ein Fahrermodul (420) und/oder ein Kraftfahrzeugmodul (430) umfasst, die jeweils ausgebildet sind, Testfälle (T_i) mit verifikationsrelevanten Szenarien (SZ_i(ver)) zu simulieren; - Durchführen (S30) einer Bewertung der Simulationsergebnisse (450) durch ein Bewertungsmodul (500) zur Bestimmung von Bewertungsergebnissen (550), wobei das Bewertungsmodul (500) ein Fahrfunktionsbewertungsmodul (520) zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennwerten für die Verifikation umfasst; - Generieren und Ausgeben (S40) einer Verifikationsanalyse (750) zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen (550) von dem Ausgabemodul (700), insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.
Verfahren nach Anspruch 1, wobei das Fahrumgebungsmodul (410) zumindest ein Simulationsmodell (412) umfasst, das die Fahrumgebung des Kraftfahrzeugs (10) und die beteiligten Akteure in einem verifikationsrelevanten Szenario (SZ_i(ver)) modelliert.
Verfahren nach Anspruch 1 oder 2, wobei das Fahrermodul (420) zumindest ein Simulationsmodell (422) umfasst, das das mögliche Verhalten des Fahrers in einem verifikationsrelevanten Szenario (SZ_i(ver)) modelliert.
Verfahren nach einem der Ansprüche 1 bis 3, wobei das Kraftfahrzeugmodul (430) zumindest ein Simulationsmodell (432) umfasst, das das mögliche Verhalten des Kraftfahrzeugs (10) in einem verifikationsrelevanten Szenario (SZ_i(ver)) modelliert.
Verfahren nach einem der Ansprüche 2 bis 4, wobei das Simulationsmodell (412), das Simulationsmodell (422) und das Simulationsmodell (432) Softwareapplikationen mit Algorithmen der künstlichen Intelligenz wie neuronale Netze und/oder Simulationsalgorithmen wie X-in-the-Loop (XiL) umfassen.
Verfahren nach Anspruch 5, wobei die Algorithmen und Berechnungsverfahren der Softwareapplikationen Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, und/oder rückgekoppelte neuronale Netzwerke umfassen.
Verfahren nach einem der Ansprüche 1 bis 6, wobei der Testagent (220) zumindest eine Softwareapplikation mit Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet/verwenden.
Verfahren nach einem der Ansprüche 1 bis 7, wobei das Fahrumgebungsmodul (410), das Fahrermodul (420) und das Kraftfahrzeugmodul (430) mit Sensoren (470) und/oder einer Datenbank (450) verbunden ist/sind, um weitere Informationen für die Erstellung der Simulationsmodelle (412, 422, 432) zu erhalten.
Verfahren nach einem der Ansprüche 1 bis 8, wobei das Bewertungsmodul ein Simulationsbewertungsmodul (520) zur Bestimmung der Qualität der Simulation mittels Simulationsqualitätskriterien (SQCs) umfasst, und wobei die Bewertungsergebnisse (550) die Leistungsindikatoren (KPIs), die Bewertungskennwerte und/oder die Simulationsqualitätskriterien (SQCs) umfassen.
Verfahren nach einem der Ansprüche 1 bis 9, wobei ein Szenarioparameter (P_i) eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius und/oder eine Zahl darstellt, und wobei die Sensoren (470) als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, GPS-Systeme, Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren, Drehmomentsensoren, Niederschlagssensoren und/oder Temperatursensoren ausgebildet sind.
System (100) zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug (10), insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems, wobei ein Szenario (SZ_i) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt, umfassend ein Testmodul (200) mit einem Testagenten (220), ein Simulationsmodul (400), ein Bewertungsmodul (500) und ein Ausgabemodul (700); wobei der Testagent (220) ausgebildet ist, Testfälle (T_i) zu erstellen, wobei für jeden Testfall (T_i) zumindest ein verifikationsrelevantes Szenario (SZ_i(ver)) ausgewählt wird; wobei das Simulationsmodul (400) ausgebildet ist, eine Simulation mit den erstellten Testfällen (T_i) durchzuführen zur Bestimmung von Simulationsergebnissen (450), wobei das Simulationsmodul (400) ein Fahrumgebungsmodul (410) und/oder ein Fahrermodul (420) und/oder ein Kraftfahrzeugmodul (430) umfasst, die jeweils ausgebildet sind, Testfälle (T_i) mit verifikationsrelevanten Szenarien (SZ_i(ver)) zu simulieren; wobei das Bewertungsmodul (500) ausgebildet ist, eine Bewertung der Simulationsergebnisse (450) zur Bestimmung von Bewertungsergebnissen (550) durchzuführen, wobei das Bewertungsmodul (500) ein Fahrfunktionsbewertungsmodul (520) zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennwerten für die Verifikation umfasst; und wobei das Ausgabemodul (700) ausgebildet ist, eine Verifikationsanalyse (750) zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen (550) von dem Ausgabemodul (700) zu generieren und auszugeben, insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.
System (100) nach Anspruch 11, wobei das Fahrumgebungsmodul (410) zumindest ein Simulationsmodell (412) umfasst, das die Fahrumgebung des Kraftfahrzeugs (10) und die beteiligten Akteure in einem verifikationsrelevanten Szenario (SZ_i(ver)) modelliert; wobei das Fahrermodul (420) zumindest ein Simulationsmodell (422) umfasst, das das mögliche Verhalten des Fahrers in einem verifikationsrelevanten Szenario (SZ_i(ver)) modelliert; und wobei das Kraftfahrzeugmodul (430) zumindest ein Simulationsmodell (432) umfasst, das das mögliche Verhalten des Kraftfahrzeugs (10) in einem verifikationsrelevanten Szenario (SZ_i(ver)) modelliert, wobei das Simulationsmodell (412), das Simulationsmodell (422) und das Simulationsmodell (432) Softwareapplikationen mit Algorithmen der künstlichen Intelligenz wie neuronale Netze und/oder Simulationsalgorithmen wie X-in-the-Loop (XiL) umfassen.
ADAS/ADS-System für ein Kraftfahrzeug (10), dadurch gekennzeichnet, dass zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS), insbesondere zum Verifizieren, Testen, Trainieren und Applizieren des ADAS/ADS-Systems, das Verfahren nach einem der Ansprüche 1 bis 10 verwendet wird.
ADAS/ADS-System nach Anspruch 13, wobei die Programmierung und Anpassung des ADAS/ADS-Systems im Rahmen der virtuellen Verifikation mittels einer kontinuierlichen Integration (engl. continuous integration) erfolgt.
Computerprogrammprodukt (900), umfassend einen ausführbaren Programmcode (950), der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren nach einem der Ansprüche 1 bis 10 ausführt.