DE102022132922A1 - Method and system for virtual verification of automated driving functions - Google Patents

Method and system for virtual verification of automated driving functions Download PDF

Info

Publication number
DE102022132922A1
DE102022132922A1 DE102022132922.4A DE102022132922A DE102022132922A1 DE 102022132922 A1 DE102022132922 A1 DE 102022132922A1 DE 102022132922 A DE102022132922 A DE 102022132922A DE 102022132922 A1 DE102022132922 A1 DE 102022132922A1
Authority
DE
Germany
Prior art keywords
module
verification
simulation
evaluation
adas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022132922.4A
Other languages
German (de)
Inventor
Moritz Markofsky
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dr Ing HCF Porsche AG
Original Assignee
Dr Ing HCF Porsche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dr Ing HCF Porsche AG filed Critical Dr Ing HCF Porsche AG
Priority to DE102022132922.4A priority Critical patent/DE102022132922A1/en
Publication of DE102022132922A1 publication Critical patent/DE102022132922A1/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug (10), insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems, wobei ein Szenario (SZi) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt, umfassend:- Erstellen von Testfällen (Ti) von einem Testagenten (220), wobei für jeden Testfall (Ti) zumindest ein verifikationsrelevantes Szenario (SZi(ver)) ausgewählt wird;- Durchführen einer Simulation von einem Simulationsmodul (400) mit den erstellten Testfällen (Ti) zur Bestimmung von Simulationsergebnissen (450);- Durchführen einer Bewertung der Simulationsergebnisse (450) durch ein Bewertungsmodul (500) zur Bestimmung von Bewertungsergebnissen (550), wobei das Bewertungsmodul (500) ein Fahrfunktionsbewertungsmodul (520) zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennwerten für die Verifikation umfasst;- Generieren und Ausgeben einer Verifikationsanalyse (750) zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen (550) von dem Ausgabemodul (700), insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.The invention relates to a method for the virtual verification of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) for a motor vehicle (10), in particular for testing, training and applying the ADAS/ADS system, wherein a scenario (SZi) represents a traffic event in a temporal sequence, comprising:- Creation of test cases (Ti) by a test agent (220), wherein for each test case (Ti) at least one verification-relevant scenario (SZi(ver)) is selected;- Carrying out a simulation by a simulation module (400) with the created test cases (Ti) to determine simulation results (450);- Carrying out an evaluation of the simulation results (450) by an evaluation module (500) to determine evaluation results (550), wherein the evaluation module (500) has a driving function evaluation module (520) for determining the performance and safety of a driving function by means of functional performance indicators (KPIs) and Evaluation parameters for the verification;- generating and outputting a verification analysis (750) of at least partial aspects of the ADAS/ADS system on the basis of the evaluation results (550) from the output module (700), in particular in the form of diagrams and histograms for a verification report.

Description

Die Erfindung betrifft ein Verfahren, ein System, ein ADAS/ADS-System und ein Computerprogrammprodukt zur virtuellen Verifikation von automatisierten Fahrfunktionen von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS).The invention relates to a method, a system, an ADAS/ADS system and a computer program product for the virtual verification of automated driving functions of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS).

Moderne Fahrzeuge sind mit einer Vielzahl von Fahrassistenzsystemen bzw. automatisierten Fahrfunktionen ausgestattet, um den Fahrer beim Fahren zu unterstützen und seine Sicherheit zu erhöhen. Fahrassistenzsysteme unterstützen beispielsweise die Geschwindigkeits- und Abstandsregelung sowie Spurhalte- und Spurwechselfunktionen. Dies führt zu einem verbesserten Fahrkomfort und einer höheren Sicherheit insbesondere bei Fahrten auf der Autobahn und bei Überholmanövern.Modern vehicles are equipped with a variety of driver assistance systems or automated driving functions to support the driver while driving and increase safety. Driver assistance systems support, for example, speed and distance control as well as lane keeping and lane changing functions. This leads to improved driving comfort and greater safety, especially when driving on the motorway and when overtaking.

Dieser Trend zu Fahrerassistenzsystemen (engl. Advanced Driver Assistance System, ADAS), automatisierten Fahrsystemen (Automated Driving Systems, ADS) bei Kraftfahrzeugen, aber auch bei Luftfahrzeugen oder Wasserfahrzeugen erfordert jedoch umfangreiche Absicherungsstrategien, da die Verantwortung über die Fahrzeugführung nicht mehr uneingeschränkt beim Fahrer liegt, sondern aktive Funktionen von Rechnereinheiten im Fahrzeug übernommen werden. Daher muss sichergestellt werden, dass autonom sich bewegende Objekte eine sehr geringere Fehlerrate beim Fahrverhalten aufweisen. Für die Erkennung und Klassifizierung von Objekten und die Interpretation von Verkehrsszenarien im Umfeld eines Fahrzeugs ist das gezielte Testen, Trainieren und Applizieren der Fahrerassistenzsysteme und automatisierten Fahrsysteme sowohl in Extrem- und Ausnahmesituationen (engl. Corner-Cases) als auch in alltäglichen Situationen erforderlich. Mit der zunehmenden Leistungsfähigkeit von ADAS/ADS-Systemen steigt allerdings auch die Anzahl der Fahrszenarien, die von den Systemen im Straßenverkehr bewältigt werden müssen.However, this trend towards advanced driver assistance systems (ADAS) and automated driving systems (ADS) in motor vehicles, aircraft and watercraft requires extensive security strategies, as responsibility for driving the vehicle no longer lies entirely with the driver, but active functions are taken over by computer units in the vehicle. It must therefore be ensured that autonomously moving objects have a very low error rate in their driving behavior. The detection and classification of objects and the interpretation of traffic scenarios in the vicinity of a vehicle require targeted testing, training and application of driver assistance systems and automated driving systems in both extreme and exceptional situations (corner cases) and in everyday situations. However, as the performance of ADAS/ADS systems increases, the number of driving scenarios that the systems have to handle in road traffic also increases.

Für die Sicherstellung eines sicheren, komfortablen und effizienten Verhaltens eines ADAS/ADS-Systems werden daher einzelne Funktionen und das Gesamtsystem während der Fahrzeugentwicklung validiert und verifiziert. Bei der Validierung wird gezielt getestet, ob ein ADAS/ADS-System festgelegte Kundenanforderungen erfüllt. Der Validierung vorgeschaltet sind Verifikationstests, mit denen überprüft wird, ob die Module, Komponenten, Subsysteme, die Software und die Softwarearchitektur eines Fahrerassistenzsystems festgelegten Spezifikationen genügen. Hierzu werden bezogen auf die jeweilige festgelegt Spezifikation Testfälle erstellt, um die verschiedenen Aspekte eines ADAS/ADS-Systems zu überprüfen bzw. zu verifizieren. Systemfunktionalitäten, die verifiziert werden, sind beispielsweise die korrekte Informationsanzeige mittels Displays an den Fahrer, das Auslösen von Warnkaskaden durch optische, akustische und/oder haptische Signale, die korrekte Übergabe der Fahraufgabe (Take-over-Request), die korrekte Einstellung der Menüstruktur des ADAS/ADS-Systems, und des Weiteren systeminterne Funktionalitäten wie ein korrektes Startverhalten, das Laden korrekter Datensätze sowie systemübergreifende Funktionalitäten wie die korrekte Kommunikation mit anderen Steuerungsgeräten und externen Systemen, die Fehlererkennung in anderen Systemen wie Sensoren und Aktoren.To ensure that an ADAS/ADS system behaves safely, comfortably and efficiently, individual functions and the entire system are validated and verified during vehicle development. Validation involves testing specifically to determine whether an ADAS/ADS system meets specified customer requirements. Validation is preceded by verification tests to check whether the modules, components, subsystems, software and software architecture of a driver assistance system meet specified specifications. For this purpose, test cases are created based on the respective specified specification in order to check or verify the various aspects of an ADAS/ADS system. System functionalities that are verified include, for example, the correct display of information to the driver via displays, the triggering of warning cascades through optical, acoustic and/or haptic signals, the correct transfer of the driving task (take-over request), the correct setting of the menu structure of the ADAS/ADS system, and further system-internal functionalities such as correct start-up behavior, the loading of correct data sets as well as cross-system functionalities such as correct communication with other control devices and external systems, error detection in other systems such as sensors and actuators.

Die Durchführung der Verifikation erfolgt für einfache ADAS/ADS-Systeme typischerweise auf konventionelle Weise mit Prototypenfahrzeugen. Allerdings sind konventionelle Verifikationstests aufwändig und kostenintensiv, so dass neue Ansätze benötigt werden, um den Entwicklungsprozess für ADAS/ADS-Systeme mit vertretbarem Aufwand und akzeptablen Kosten durchzuführen. Es ist daher erstrebenswert, virtuelle Simulationsverfahren für die Verifikationstests von ADAS/ADS-Systemen zu verwenden und diese in einer Weise zu gestalten, dass damit belastbare Verifikationsergebnisse erzielt werden können.Verification of simple ADAS/ADS systems is typically carried out in a conventional manner using prototype vehicles. However, conventional verification tests are complex and costly, so new approaches are needed to carry out the development process for ADAS/ADS systems with reasonable effort and acceptable costs. It is therefore desirable to use virtual simulation methods for the verification tests of ADAS/ADS systems and to design them in such a way that reliable verification results can be achieved.

Die DE10 2019 124 615 A1 offenbart ein Verfahren zum Beurteilen von Algorithmen für autonome Fahrzeuge, um das Verhalten von Algorithmen für autonome Fahrzeuge an realen und simulierten Daten zu analysieren. Es werden Szenariomerkmale verwendet, bei denen eine Beeinflussung des Alogrithmusverhaltens wahrscheinlicher ist.The DE10 2019 124 615 A1 discloses a method for evaluating algorithms for autonomous vehicles in order to analyze the behavior of algorithms for autonomous vehicles on real and simulated data. Scenario features are used that are more likely to influence the algorithm behavior.

Die DE 10 2017 009 971 A1 offenbart ein Verfahren zum Testen eines Spurhalteassistenzsystems für ein Kraftfahrzeug, wobei die aus einem ereignisbasierten Data-Mining resultierenden logischen Szenarien in eine systematische Testfallgenerierung mit einem generischen Modell für die Szenariobeschreibung einfließen, und wobei die bei einer Testausführung hervorgegangen Testresultate evaluiert werden, um die Testfälle auszuwerten.The EN 10 2017 009 971 A1 discloses a method for testing a lane keeping assistance system for a motor vehicle, wherein the logical scenarios resulting from event-based data mining are incorporated into a systematic test case generation with a generic model for the scenario description, and wherein the test results resulting from a test execution are evaluated in order to evaluate the test cases.

Die DE 11 2020 000 222 T5 offenbart ein Verfahren zur Überwachung des korrekten Verhaltens eines autonomen Fahrzeugs.The EN 11 2020 000 222 T5 discloses a method for monitoring the correct behavior of an autonomous vehicle.

Die US 10 489 529 B2 offenbart ein Verfahren zum Erzeugen eines Szenarios in einer Simulationsumgebung zum Testen und Validieren eines autonomen Fahrzeugs, wobei durch maschinelles Lernen vorhergesagt werden kann, ob ein Szenario relevant ist.The US 10 489 529 B2 discloses a method for generating a scenario in a simulation environment for testing and validating an autonomous vehicle, wherein machine learning can predict whether a scenario is relevant.

Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, Möglichkeiten zur Durchführung von virtuellen Verifikationstests für Systemfunktionalitäten von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) anzugeben, so dass der Verifikationsvorgang weniger Zeit benötigt und mit einer verbesserten Effizienz durchgeführt werden kann, um die Sicherheit von ADAS/ADS-Systemen zu erhöhen und Ressourcen sowie Kosten einsparen zu können.The object underlying the invention is to provide possibilities for carrying out The aim of the invention is to specify a method for performing virtual verification tests for system functionalities of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) so that the verification process takes less time and can be carried out with improved efficiency in order to increase the safety of ADAS/ADS systems and to save resources and costs.

Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 11, hinsichtlich eines ADAS/ADS-Systems durch die Merkmale des Patentanspruchs 13 und hinsichtlich eines Computerprogrammprodukts durch die Merkmale des Patentanspruchs 15 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.This object is achieved according to the invention with regard to a method by the features of patent claim 1, with regard to a system by the features of patent claim 11, with regard to an ADAS/ADS system by the features of patent claim 13 and with regard to a computer program product by the features of patent claim 15. The further claims relate to preferred embodiments of the invention.

Durch die vorliegende Erfindung ist eine automatisierte virtuelle Verifikation zumindest von Teilaspekten eines ADAS/ADS-Systems durch entsprechend angepasste Simulationsverfahren möglich. Durch funktionale KPIs können Verifikationsergebnisse quantifiziert werden, so dass ein Testingenieur der Verifikationsanalyse entnehmen kann, welche Spezifikationsanforderungen von dem ADAS/ADS-System erfüllt wurden und für welche Aspekte Verbesserungsbedarf besteht. Da die virtuelle Verifikation automatisiert und in kurzer Zeit durchgeführt werden kann, können insbesondere die Auswirkungen von kleinen Softwareänderungen bei einem ADAS/ADS-System ohne großen Aufwand analysiert werden.The present invention enables automated virtual verification of at least partial aspects of an ADAS/ADS system using appropriately adapted simulation methods. Functional KPIs can be used to quantify verification results, so that a test engineer can use the verification analysis to determine which specification requirements have been met by the ADAS/ADS system and which aspects need improvement. Since virtual verification can be automated and carried out in a short time, the effects of small software changes in an ADAS/ADS system in particular can be analyzed without great effort.

Gemäß einem ersten Aspekt stellt die Erfindung ein Verfahren zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug, insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar. Das Verfahren umfasst die Verfahrensschritte:

  • - Erstellen von Testfällen von einem Testagenten, wobei für jeden Testfall zumindest ein verifikationsrelevantes Szenario ausgewählt wird;
  • - Durchführen einer Simulation von einem Simulationsmodul mit den erstellten Testfällen zur Bestimmung von Simulationsergebnissen, wobei das Simulationsmodul ein Fahrumgebungsmodul und/oder ein Fahrermodul und/oder ein Kraftfahrzeugmodul umfasst, die jeweils ausgebildet sind, Testfälle mit verifikationsrelevanten Szenarien zu simulieren;
  • - Durchführen einer Bewertung der Simulationsergebnisse durch ein Bewertungsmodul zur Bestimmung von Bewertungsergebnissen, wobei das Bewertungsmodul ein Fahrfunktionsbewertungsmodul zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennwerten für die Verifikation umfasst;
  • - Generieren und Ausgeben einer Verifikationsanalyse zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen von dem Ausgabemodul, insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.
According to a first aspect, the invention provides a method for the virtual verification of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) for a motor vehicle, in particular for testing, training and applying the ADAS/ADS system. A scenario represents a traffic event in a temporal sequence. The method comprises the following method steps:
  • - Creation of test cases by a test agent, whereby for each test case at least one verification-relevant scenario is selected;
  • - Carrying out a simulation by a simulation module with the created test cases to determine simulation results, wherein the simulation module comprises a driving environment module and/or a driver module and/or a motor vehicle module, each of which is designed to simulate test cases with verification-relevant scenarios;
  • - performing an evaluation of the simulation results by an evaluation module for determining evaluation results, the evaluation module comprising a driving function evaluation module for determining the performance and safety of a driving function by means of functional performance indicators (KPIs) and evaluation metrics for verification;
  • - Generating and outputting a verification analysis of at least partial aspects of the ADAS/ADS system based on the evaluation results from the output module, in particular in the form of diagrams and histograms for a verification report.

In einer vorteilhaften Weiterbildung ist vorgesehen, dass das Fahrumgebungsmodul zumindest ein Simulationsmodell umfasst, das die Fahrumgebung des Kraftfahrzeugs und die beteiligten Akteure in einem verifikationsrelevanten Szenario modelliert.In an advantageous further development, it is provided that the driving environment module comprises at least one simulation model that models the driving environment of the motor vehicle and the actors involved in a verification-relevant scenario.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Fahrermodul zumindest ein Simulationsmodell umfasst, das das mögliche Verhalten des Fahrers in einem verifikationsrelevanten Szenario modelliert.In an advantageous embodiment, it is provided that the driver module comprises at least one simulation model that models the possible behavior of the driver in a verification-relevant scenario.

In einer weiteren Ausführungsform ist vorgesehen, dass das Kraftfahrzeugmodul zumindest ein Simulationsmodell umfasst, das das mögliche Verhalten des Kraftfahrzeugs n einem verifikationsrelevanten Szenario modelliert.In a further embodiment, it is provided that the motor vehicle module comprises at least one simulation model that models the possible behavior of the motor vehicle in a verification-relevant scenario.

Vorteilhafterweise umfassen das Simulationsmodell, das Simulationsmodell und das Simulationsmodell Softwareapplikationen mit Algorithmen der künstlichen Intelligenz wie neuronale Netze und/oder Simulationsalgorithmen wie X-in-the-Loop (XiL).Advantageously, the simulation model, the simulation model and the simulation model comprise software applications with artificial intelligence algorithms such as neural networks and/or simulation algorithms such as X-in-the-Loop (XiL).

Insbesondere umfassen die Algorithmen der Softwareapplikationen Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, und/oder rückgekoppelte neuronale Netzwerke.In particular, the algorithms of the software applications include mean values, minimum and maximum values, lookup tables, models of expected values, linear regression methods, Gaussian processes, fast Fourier transformations, integral and differential calculus, Markov methods, probability methods such as Monte Carlo methods, temporal difference learning, extended Kalman filters, radial basis functions, data fields, convergent neural networks, deep neural networks, and/or feedback neural networks.

In einer Weiterentwicklung ist vorgesehen, dass der Testagent zumindest eine Softwareapplikation mit Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet/verwenden.In a further development, it is planned that the test agent uses at least one software application with calculation methods and/or algorithms of artificial intelligence.

In einer weiteren Ausführungsform ist vorgesehen, dass das Fahrumgebungsmodul, das Fahrermodul und das Kraftfahrzeugmodul mit Sensoren und/oder einer Datenbank verbunden ist/sind, um weitere Informationen für die Erstellung der Simulationsmodelle zu erhalten.In a further embodiment, it is provided that the driving environment module, the driver module and the motor vehicle module are equipped with sensors and/or a database to obtain further information for the creation of the simulation models.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Bewertungsmodul ein Simulationsbewertungsmodul zur Bestimmung der Qualität der Simulation mittels Simulationsqualitätskriterien (SQCs) umfasst, und wobei die Bewertungsergebnisse die Leistungsindikatoren (KPIs), die Bewertungskennwerte und/oder die Simulationsqualitätskriterien (SQCs) umfassen.In an advantageous embodiment, it is provided that the evaluation module comprises a simulation evaluation module for determining the quality of the simulation by means of simulation quality criteria (SQCs), and wherein the evaluation results comprise the key performance indicators (KPIs), the evaluation parameters and/or the simulation quality criteria (SQCs).

Insbesondere ist vorgesehen, dass ein Szenarioparameter eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius und/oder eine Zahl darstellt.In particular, it is envisaged that a scenario parameter represents a physical quantity, a chemical quantity, a torque, a rotational speed, a voltage, a current, an acceleration, a speed, a braking value, a direction, an angle, a radius and/or a number.

Vorteilhafterweise sind die Sensoren als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, GPS-Systeme, Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren, Drehmomentsensoren, Niederschlagssensoren und/oder Temperatursensoren ausgebildet.Advantageously, the sensors are designed as radar systems, LIDAR systems for optical distance and speed measurement, image-recording 2D/3D cameras in the visible, IR and/or UV range, GPS systems, acceleration sensors, speed sensors, capacitive sensors, inductive sensors, voltage sensors, torque sensors, precipitation sensors and/or temperature sensors.

Gemäß einem zweiten Aspekt stellt die Erfindung ein System zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug, insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar. According to a second aspect, the invention provides a system for the virtual verification of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) for a motor vehicle, in particular for testing, training and applying the ADAS/ADS system. A scenario represents a traffic situation in a temporal sequence.

Das System umfasst ein Testmodul mit einem Testagenten, ein Simulationsmodul, ein Bewertungsmodul und ein Ausgabemodul. Der Testagent ist ausgebildet, Testfälle zu erstellen, wobei für jeden Testfall zumindest ein verifikationsrelevantes Szenario ausgewählt wird. Das Simulationsmodul ist ausgebildet, eine Simulation mit den erstellten Testfällen durchzuführen zur Bestimmung von Simulationsergebnissen, wobei das Simulationsmodul ein Fahrumgebungsmodul und/oder ein Fahrermodul und/oder ein Kraftfahrzeugmodul umfasst, die jeweils ausgebildet sind, Testfälle mit verifikationsrelevanten Szenarien zu simulieren. Das Bewertungsmodul ist ausgebildet, eine Bewertung der Simulationsergebnisse zur Bestimmung von Bewertungsergebnissen durchzuführen, wobei das Bewertungsmodul ein Fahrfunktionsbewertungsmodul zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennwerten für die Verifikation umfasst. Das Ausgabemodul ist ausgebildet, eine Verifikationsanalyse zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen von dem Ausgabemodul zu generieren und auszugeben, insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.The system comprises a test module with a test agent, a simulation module, an evaluation module and an output module. The test agent is designed to create test cases, with at least one verification-relevant scenario being selected for each test case. The simulation module is designed to carry out a simulation with the created test cases to determine simulation results, with the simulation module comprising a driving environment module and/or a driver module and/or a motor vehicle module, each of which is designed to simulate test cases with verification-relevant scenarios. The evaluation module is designed to carry out an evaluation of the simulation results to determine evaluation results, with the evaluation module comprising a driving function evaluation module for determining the performance and safety of a driving function using functional performance indicators (KPIs) and evaluation parameters for verification. The output module is designed to generate and output a verification analysis of at least partial aspects of the ADAS/ADS system on the basis of the evaluation results from the output module, in particular in the form of diagrams and histograms for a verification report.

In einer vorteilhaften Weiterbildung ist vorgesehen, dass das Fahrumgebungsmodul zumindest ein Simulationsmodell umfasst, das die Fahrumgebung des Kraftfahrzeugs und die beteiligten Akteure in einem verifikationsrelevanten Szenario modelliert.In an advantageous further development, it is provided that the driving environment module comprises at least one simulation model that models the driving environment of the motor vehicle and the actors involved in a verification-relevant scenario.

In einer weiteren Ausführungsform ist vorgesehen, dass das Fahrermodul zumindest ein Simulationsmodell umfasst, das das mögliche Verhalten des Fahrers in einem verifikationsrelevanten Szenario modelliert.In a further embodiment, it is provided that the driver module comprises at least one simulation model that models the possible behavior of the driver in a verification-relevant scenario.

Vorteilhafterweise ist vorgesehen, dass das Kraftfahrzeugmodul zumindest ein Simulationsmodell umfasst, das das mögliche Verhalten des Kraftfahrzeugs in einem verifikationsrelevanten Szenario modelliert.Advantageously, the motor vehicle module comprises at least one simulation model that models the possible behavior of the motor vehicle in a verification-relevant scenario.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Simulationsmodell, das Simulationsmodell und das Simulationsmodell Softwareapplikationen mit Algorithmen der künstlichen Intelligenz wie neuronale Netze und/oder Simulationsalgorithmen wie X-in-the-Loop (XiL) umfassen.In an advantageous embodiment, it is provided that the simulation model, the simulation model and the simulation model comprise software applications with artificial intelligence algorithms such as neural networks and/or simulation algorithms such as X-in-the-Loop (XiL).

Gemäß einem dritten Aspekt stellt die Erfindung ein ADAS/ADS-System für ein Kraftfahrzeug bereit, wobei zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS), insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems, das Verfahren gemäß dem ersten Aspekt verwendet wird.According to a third aspect, the invention provides an ADAS/ADS system for a motor vehicle, wherein the method according to the first aspect is used for the virtual verification of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS), in particular for testing, training and applying the ADAS/ADS system.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Programmierung und Anpassung des ADAS/ADS-Systems im Rahmen der virtuellen Verifikation mittels einer kontinuierlichen Integration (engl. continuous integration) erfolgt.In an advantageous embodiment, the programming and adaptation of the ADAS/ADS system is carried out within the framework of virtual verification by means of continuous integration.

Gemäß einem vierten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der derart konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.According to a fourth aspect, the invention provides a computer program product comprising an executable program code configured to carry out the method according to the first aspect when executed.

Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.The invention is explained in more detail below with reference to embodiments shown in the drawing.

Dabei zeigt:

  • 1 ein Blockdiagramm zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems;
  • 2 ein Blockdiagramm eines erfindungsgemäßen Simulationsmoduls;
  • 3 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
  • 4 ein Blockdiagramm eines Computerprogrammprodukt gemäß einer Ausführungsform des vierten Aspekts der Erfindung.
It shows:
  • 1 a block diagram for explaining an embodiment of a system according to the invention;
  • 2 a block diagram of a simulation module according to the invention;
  • 3 a flow chart explaining the individual method steps of a method according to the invention;
  • 4 a block diagram of a computer program product according to an embodiment of the fourth aspect of the invention.

Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden in der nachfolgenden Beschreibung in Verbindung mit den Ansprüchen erläutert.Additional features, aspects and advantages of the invention or embodiments thereof are explained in the following description in conjunction with the claims.

Für das Testen, Trainieren, Absichern und Applizieren von Fahrerassistenzsystemen (ADAS) und automatisierten Fahrsystemen (ADS) werden zunehmend simulierte Verkehrsszenarien, die durch Programmierung erstellt werden, verwendet. Als Szenario wird im Rahmen der Erfindung ein Verkehrsgeschehen in einer zeitlichen Sequenz bezeichnet. Ein Beispiel für ein Szenario ist das Befahren einer Autobahnbrücke, das Abbiegen auf einer Abbiegespur, das Durchfahren eines Tunnels, das Einbiegen in einen Kreisverkehr oder das Halten vor einem Fußgängerübergang. Darüber hinaus können spezifische Sichtverhältnisse beispielsweise aufgrund der Dämmerung oder einer hohen Sonnenlichteinstrahlung sowie Umweltbedingungen wie das Wetter und die Jahreszeit, das Verkehrsaufkommen sowie bestimmte geographische topographische Verhältnisse ein Szenario beeinflussen. Beispielsweise kann ein Überholvorgang als ein Szenario beschrieben werden, bei dem ein erstes Fahrzeug sich zunächst hinter einem anderen Fahrzeug befindet, dann einen Spurwechsel auf die andere Fahrbahn durchführt und die Geschwindigkeit erhöht, um das andere Fahrzeug zu überholen. Ein derartiges Szenario wird auch als Cut-In-Szenario bezeichnet.Simulated traffic scenarios created by programming are increasingly being used to test, train, secure and apply driver assistance systems (ADAS) and automated driving systems (ADS). In the context of the invention, a scenario refers to a traffic event in a temporal sequence. An example of a scenario is driving over a motorway bridge, turning into a turning lane, driving through a tunnel, turning into a roundabout or stopping in front of a pedestrian crossing. In addition, specific visibility conditions, for example due to twilight or high levels of sunlight, as well as environmental conditions such as the weather and the time of year, the volume of traffic and certain geographical topographical conditions can influence a scenario. For example, an overtaking maneuver can be described as a scenario in which a first vehicle is initially behind another vehicle, then changes lanes to the other lane and increases speed to overtake the other vehicle. Such a scenario is also referred to as a cut-in scenario.

Um Fahrerassistenzsysteme (ADAS) und automatisierte Fahrsysteme (ADS) in einem Kraftfahrzeug einsetzen zu können, müssen diese für einen verlässlichen Einsatz validiert und verifiziert werden. Ziel der Validierung ist es, für einen Datensatz oder mehrere Datensätze die Zuverlässigkeit und Robustheit eines Fahrerassistenzsystems (ADAS) bzw. eines automatisierten Fahrsystems (ADS) in der gesamten ODD nachzuweisen und anschließend eine Freigabe zu erteilen. In order to be able to use driver assistance systems (ADAS) and automated driving systems (ADS) in a motor vehicle, they must be validated and verified for reliable use. The aim of the validation is to demonstrate the reliability and robustness of a driver assistance system (ADAS) or an automated driving system (ADS) in the entire ODD for one or more data sets and then to issue an approval.

Der Validierung vorgeschaltet sind Verifikationstests, mit denen überprüft wird, ob die Module, Komponenten, Subsysteme, die Software und die Softwarearchitektur eines Fahrerassistenzsystems festgelegten Spezifikationen genügen. Hierzu werden bezogen auf die jeweilige festgelegt Spezifikation Testfälle erstellt, um die verschiedenen Aspekte eines ADAS/ADS-Systems zu überprüfen bzw. zu verifizieren. Systemfunktionalitäten, die verifiziert werden, sind beispielsweise die korrekte Informationsanzeige mittels Displays an den Fahrer, das Auslösen von Warnkaskaden mittels optischer, akustischer und/oder haptischer Signale, die korrekte Übergabe der Fahraufgabe (Take-over-Request), die korrekte Einstellung der Menüstruktur des Systems, des Weiteren systeminterne Funktionalitäten wie ein korrektes Startverhalten, das Laden korrekter Datensätze sowie systemübergreifende Funktionalitäten wie die korrekte Kommunikation mit anderen Steuerungsgeräten und externen Systemen, die Fehlererkennung in anderen Systemen wie Sensoren und Aktoren.Validation is preceded by verification tests that check whether the modules, components, subsystems, software and software architecture of a driver assistance system meet specified specifications. For this purpose, test cases are created based on the respective specified specification in order to check or verify the various aspects of an ADAS/ADS system. System functionalities that are verified include, for example, the correct display of information to the driver via displays, the triggering of warning cascades using optical, acoustic and/or haptic signals, the correct transfer of the driving task (take-over request), the correct setting of the system's menu structure, and also system-internal functionalities such as correct start-up behavior, loading of correct data sets and cross-system functionalities such as correct communication with other control devices and external systems, and error detection in other systems such as sensors and actuators.

Erfindungsgemäß werden für die Verifikation verifikationsrelevante Szenarien verwendet, die entweder auch für die Validierung verwendet werden können oder die spezifisch für die Verifikation von einem Ingenieur und/oder mittels Generierungsalgorithmen entwickelt werden.According to the invention, verification-relevant scenarios are used for the verification, which can either also be used for validation or which are developed specifically for the verification by an engineer and/or by means of generation algorithms.

1 zeigt ein erfindungsgemäßes System 100 für die virtuelle Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS). Erfindungsgemäß wird ein modularer Simulationsansatz für die virtuelle Verifikation von ADAS/ADS-Systemen verwendet. Das erfindungsgemäße System 100 umfasst ein Testagentenmodul 200 mit einem Testagenten 220, eine Parameterdatenbank 320, eine Szenariendatenbank 330, eine Bewertungsdatenbank 340, eine Testdatenbank 300, ein Simulationsmodul 400, ein Bewertungsmodul 500 und ein Ausgabemodul 700, die jeweils mit einem Prozessor und/oder einer Speichereinheit versehen sein können. 1 shows a system 100 according to the invention for the virtual verification of automated driving functions of a driver assistance system of a driver assistance system (ADAS) and/or an automated driving system (ADS). According to the invention, a modular simulation approach is used for the virtual verification of ADAS/ADS systems. The system 100 according to the invention comprises a test agent module 200 with a test agent 220, a parameter database 320, a scenario database 330, an evaluation database 340, a test database 300, a simulation module 400, an evaluation module 500 and an output module 700, each of which can be provided with a processor and/or a memory unit.

Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Prozessoreinheit und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Der Prozessor ist speziell dazu eingerichtet, die Programmbefehle derart auszuführen, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder zu realisieren. Insbesondere kann ein Modul in einer Cloud-Computing-Infrastruktur integriert sein.In the context of the invention, a "module" can be understood as, for example, a processor and/or a processor unit and/or a memory unit for storing program instructions. The processor is specifically designed to execute the program instructions in such a way as to implement or realize the method according to the invention or a step of the method according to the invention. In particular, a module can be integrated into a cloud computing infrastructure.

Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, des Systems, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Insbesondere kann der Prozessor hochparallele Recheneinheiten und leistungsfähige Grafikmodule enthalten.In the context of the invention, a "processor" can be understood as meaning, for example, a machine or an electronic circuit. A processor can in particular be a main processor (Central Processing Unit, CPU), a microprocessor or a microcontroller, for example an application-specific integrated circuit or a digital signal processor, possibly in combination with a memory unit for storing program instructions, etc. A processor can also be understood to mean a virtualized processor, a virtual machine or a soft CPU. It can also be, for example, a programmable processor that is equipped with configuration steps for carrying out the above-mentioned method according to the invention or is configured with configuration steps such that the programmable processor implements the inventive features of the method, the system, the modules, or other aspects and/or partial aspects of the invention. In particular, the processor can contain highly parallel computing units and powerful graphics modules.

Unter einer „Speichereinheit“ oder einem „Speichermodul“ kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form eines Arbeitsspeichers (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.In the context of the invention, a "memory unit" or a "memory module" can be understood to mean, for example, a volatile memory in the form of a random access memory (RAM) or a permanent memory such as a hard disk or a data carrier or, for example, a removable memory module. The memory module can also be a cloud-based storage solution.

Der Testagent 220 des Testagentenmoduls 200 erstellt mittels einer Softwareapplikation eine Mehrzahl von Testfällen Ti für eine oder mehrere Fahraufgaben, für die eine Verifikation insbesondere der Module, Komponenten, Subsysteme, der Software und der Systemarchitektur eines ADAS/ADS-Systems erfolgen soll. Die jeweilige Fahraufgabe wird vor dem Starten der Simulation formuliert, beispielsweise von einem Experten wie einem Ingenieur. Es kann aber auch vorgesehen sein, dass eine Liste von Fahraufgaben von einer Softwareapplikation generiert wird. Diese Liste kann dann sukzessive von dem erfindungsgemäßen System 100 bearbeitet werden. Eine beispielhafte Fahraufgabe ist ein Spurwechsel auf einer Autobahn.The test agent 220 of the test agent module 200 uses a software application to create a plurality of test cases T i for one or more driving tasks for which a verification of the modules, components, subsystems, software and system architecture of an ADAS/ADS system is to be carried out. The respective driving task is formulated before the simulation is started, for example by an expert such as an engineer. However, it can also be provided that a list of driving tasks is generated by a software application. This list can then be processed successively by the system 100 according to the invention. An example driving task is changing lanes on a motorway.

Es kann vorgesehen sein, dass ein Testingenieur maschinenlesbare Testfälle Ti beispielsweise aus einer Systemspezifikation erstellt und diese vordefinierten Testfälle Ti werden dann von dem Testagenten 220 verwendet. Für die Auswahl und die Gestaltung der Testfälle Ti kann eine Teststrategie 230 vorgesehen sein, die vorgibt, wie der Testagent 220 die Testfälle Ti erstellt. Für die Festlegung der Teststrategie 230 können verschiedene Berechnungsverfahren und Algorithmen, insbesondere Algorithmen der künstlichen Intelligenz vorgesehen sein.It can be provided that a test engineer creates machine-readable test cases T i , for example from a system specification, and these predefined test cases T i are then used by the test agent 220. A test strategy 230 can be provided for the selection and design of the test cases T i , which specifies how the test agent 220 creates the test cases T i . Various calculation methods and algorithms, in particular artificial intelligence algorithms, can be provided for determining the test strategy 230.

Die erforderlichen Informationen für die Erstellung der Testfälle Ti kann der Testagent 220 der Parameterdatenbank 320, der Szenariendatenbank 330 und der Bewertungsdatenbank 340 entnehmen. Im Rahmen der Erfindung kann vorgesehen sein, dass darüber hinaus weitere Datenbanken verwendet werden. Die erstellten Testfälle Ti werden in der Testdatenbank 300 gespeichert. Falls ein Testingenieur direkt die Testfälle Ti erstellt, dann werden diese in dem passenden Format in der Testdatenbank 300 gespeichert und der Testagent 220 kann die Testfälle Ti der Testdatenbank 300 entnehmen.The test agent 220 can obtain the information required to create the test cases T i from the parameter database 320, the scenario database 330 and the evaluation database 340. Within the scope of the invention, it can be provided that additional databases are used. The test cases T i created are stored in the test database 300. If a test engineer creates the test cases T i directly, they are stored in the appropriate format in the test database 300 and the test agent 220 can obtain the test cases T i from the test database 300.

Unter „Datenbank“ ist sowohl ein Speicheralgorithmus als auch die Hardware in Form einer Speichereinheit zu verstehen. Insbesondere können die Datenbanken 300, 320, 330, 340 als Teil einer Cloud-Computing-Infrastruktur ausgebildet sein. The term “database” refers to both a storage algorithm and the hardware in the form of a storage unit. In particular, the databases 300, 320, 330, 340 can be designed as part of a cloud computing infrastructure.

Unter Daten sind im Zusammenhang mit der Erfindung sowohl Rohdaten als auch bereits aufbereitete Daten aus Messergebnissen von Sensoren sowie aus weiteren Datenquellen zu verstehen.In the context of the invention, data refers to both raw data and already processed data from measurement results from sensors and from other data sources.

Die Erstellung der Testfälle Ti erfolgt auf der Basis von parametrisierten Szenarien SZpi, die auch als logische Szenarien bezeichnet werden, und in der Szenariendatenbank 330 gespeichert sind. Als ein parametrisiertes Szenario SZpi, wird im Rahmen der Erfindung ein Szenario bezeichnet, das insbesondere in einem maschinenlesbaren Code geschrieben ist. Ein parametrisiertes Szenario SZpi wird durch verschiedene Szenarioparameter P1, P2, ... , Pn aus einer Menge von möglichen Szenarioparametern Pi und zugehörigen Szenarioparameterwerten PV1, PV2, ... , PVn aus einer Menge von möglichen Szenarioparameterwerten PVi definiert, wobei Szenarioparameterwerte PVi den Wertebereich eines Szenarioparameters Pi festlegen. Als ein konkretes Szenario SZc wird ein Szenario SZ bezeichnet, bei dem die Szenarioparameter Pci und die zugehörigen Szenarioparameterwerte PVci bzw. Wertebereiche der Szenarioparameterwerte PVci festgelegt sind. Bei beiden Szenarien, sowohl dem parametrisierten Szenario SZp als auch dem konkreten Szenario SZc, handelt es sich jeweils um Szenarien, die insbesondere in einem maschinenlesbaren Code geschrieben sind.The test cases T i are created on the basis of parameterized scenarios SZp i , which are also referred to as logical scenarios, and are stored in the scenario database 330. In the context of the invention, a parameterized scenario SZp i is a scenario that is written in particular in a machine-readable code. A parameterized scenario SZp i is defined by various scenario parameters P 1 , P 2 , ... , P n from a set of possible scenario parameters P i and associated scenario parameter values PV 1 , PV 2 , ... , PV n from a set of possible scenario parameter values PV i , where scenario parameter values PV i specify the value range of a scenario parameter P i . A concrete scenario SZc is a scenario SZ in which the scenario parameters Pc i and the associated scenario parameter values PVc i or value ranges of the scenario parameter values PVc i are specified. Both scenarios, the parameterized scenario SZp and the concrete scenario SZc, are scenarios that are written in machine-readable code.

Ein Szenarioparameter Pi stellt beispielsweise eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius, einen Ort, eine Zahl, ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit dar. Szenarioparameter Pi kennzeichnen somit im Rahmen der vorliegenden Erfindung Eigenschaften und Merkmale eines Szenarios. Ein Beispiel für einen Szenarioparameter Pi ist die Geschwindigkeit eines Ego-Fahrzeugs und ein Wertebereich des zugehörigen Szenarioparameterwertes PVi kann den Bereich von 100 km/h bis 180 km/h für ein Szenario SZpi umfassen. Für ein anderes Szenario SZpk kann der Wertebereich des Szenarioparameterwertes PVi sich von 40 km/h bis 70 km/h erstrecken.For example, a scenario parameter P i represents a physical quantity, a chemical quantity, a torque, a rotational speed, a voltage, a current, an acceleration, a speed, a braking value, a direction, an angle, a radius, a location, a number, a moving object such as a motor vehicle, a person or a cyclist, an immovable object such as a building or a tree, a road configuration such as a motorway, a road sign, a traffic light, a tunnel, a roundabout, a turning lane, a traffic volume, a topographical structure such as a gradient, a time of day, a temperature, a precipitation value, a weather and/or a time of year. Scenario parameters P i thus characterize properties and characteristics of a scenario within the scope of the present invention. An example of a scenario parameter P i is the speed of an ego vehicle and a value range of the associated scenario parameter value PV i can cover the range from 100 km/h to 180 km/h for a scenario SZp i . For another scenario SZp k the value range of the scenario parameter value PV i can extend from 40 km/h to 70 km/h.

Ein parametrisiertes Szenario SZp umfasst eine zeitliche Folge von Zeitintervallen Δt1,Δt2.,...,Δtn, in denen jeweils verschiedene Szenen und Ereignisse stattfinden. Ein parametrisiertes Szenario SZp beginnt mit einer Startszene und entwickelt sich dann durch auftretende Ereignisse weiter, aus denen im zeitlichen Verlauf neue Folgeszenen entstehen. Die Startszene wird somit durch ein oder mehrere Ereignisse verändert. Bei einem Ereignis kann es sich sowohl um eine von einem Verkehrsteilnehmer aktiv ausgelöste Reaktion wie eine Beschleunigung handeln als auch um ein Ereignis, das zyklisch wiederkehrt, wie beispielsweise die Schaltvorgänge einer Ampel. Die Startszene und die einzelnen Folgeszenen umfassen somit jeweils nur ein kleines Zeitintervall Δt bzw. eine Momentaufnahme, während ein parametrisiertes Szenario SZp eine längere Zeitspanne umfasst.A parameterized scenario SZp comprises a temporal sequence of time intervals Δt 1 ,Δt 2 .,...,Δt n , in each of which different scenes and events take place. A parameterized scenario SZp begins with a start scene and then develops further through events that occur, from which new subsequent scenes arise over time. The start scene is thus changed by one or more events. An event can be a reaction actively triggered by a road user, such as acceleration, or an event that recurs cyclically, such as the switching of a traffic light. The start scene and the individual subsequent scenes therefore each only cover a small time interval Δt or a snapshot, whereas a parameterized scenario SZp covers a longer period of time.

Bei einem Testfall Ti handelt es sich somit um ein relevantes parametrisiertes Szenario SZp und die Festlegung von Szenarioparametern Pi und gegebenenfalls weiteren Parametern. Insbesondere können zusätzlich Applikationsparameter Pappi und Bewertungsparameter vorgesehen sein, die eine weitere Anpassung eines parametrisierten Szenarios SZpi an einen spezifischen Anwendungsfall ermöglichen.A test case T i is therefore a relevant parameterized scenario SZp and the definition of scenario parameters P i and, if necessary, other parameters. In particular, additional application parameters Papp i and evaluation parameters can be provided, which enable further adaptation of a parameterized scenario SZp i to a specific application case.

Erfindungsgemäß werden zusätzlich zu bereits vorhandenen parametrisierten Szenarien SZpi verifikationsrelevante parametrisierte Szenarien SZpi(ver) erstellt, die für die Verifikation erforderlich sind. Ein Beispiel für ein verifikationsrelevantes Szenario SZpi(ver) ist ein Szenario, das das Rekuperationsmanagement bei einem Bremsmanöver-Szenario widerspiegelt. Für die Erstellung von parametrisierten Szenarien SZpi und verifikationsrelevante parametrisierte Szenarien SZpi(ver) können verschiedene Quellen wie Anforderungsspezifikationen, Expertenwissen, und/oder Messungen im öffentlichen Straßenverkehr oder auf Testgeländen mittels Sensoren verwendet werden. Die verwendeten Sensoren können insbesondere als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, und/oder GPS-Systeme ausgebildet sein. Des Weiteren können Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren Niederschlagssensoren und/oder Temperatursensoren, etc. verwendet werden. So kann mittels einer Softwareapplikation aus aufgenommenen Daten an einem bestimmten geographischen Ort ein jeweils passendes parametrisiertes Szenario SZpi. abgeleitet werden. Die Softwareapplikation verwendet insbesondere Algorithmen der künstlichen Intelligenz zur Identifikation der parametrisierten Szenarien SZpi. Bei den Algorithmen der künstlichen Intelligenz kann es sich insbesondere um Encoder und Decoder mit neuronalen Netzen handeln.According to the invention, in addition to existing parameterized scenarios SZp i, verification-relevant parameterized scenarios SZp i (ver) are created that are required for the verification. An example of a verification-relevant scenario SZp i (ver) is a scenario that reflects recuperation management in a braking maneuver scenario. Various sources such as requirement specifications, expert knowledge, and/or measurements in public traffic or on test sites using sensors can be used to create parameterized scenarios SZp i and verification-relevant parameterized scenarios SZp i (ver). The sensors used can in particular be designed as radar systems, LIDAR systems for optical distance and speed measurement, image-recording 2D/3D cameras in the visible, IR and/or UV range, and/or GPS systems. Furthermore, acceleration sensors, speed sensors, capacitive sensors, inductive sensors, voltage sensors, precipitation sensors and/or temperature sensors, etc. can be used. In this way, a software application can be used to derive a suitable parameterized scenario SZp i . from recorded data at a specific geographical location. The software application uses artificial intelligence algorithms in particular to identify the parameterized scenarios SZp i . The artificial intelligence algorithms can in particular be encoders and decoders with neural networks.

Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronen-Ausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Durch die Anordnung und die Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie vorwärtsgerichtete Netzwerke (engl. feedforward neural network (RNN)) ohne Rückkopplung, rückgekoppelte Netzwerke (engl. recurrent neural network) mit Rückkopplung oder gefaltete neuronale Netze (engl. convolutional neural networks (CNN)).A neural network consists of neurons that are arranged in several layers and connected to one another in different ways. A neuron is able to receive information at its input from outside or from another neuron, evaluate the information in a certain way and pass it on in a modified form at the neuron output to another neuron or output it as the final result. Hidden neurons are arranged between the input neurons and output neurons. Depending on the type of network, there can be several layers of hidden neurons. The arrangement and connection of the neurons creates different types of neural networks, such as feedforward neural networks (RNN) without feedback, recurrent neural networks with feedback, or convolutional neural networks (CNN).

Im Rahmen der vorliegenden Erfindung erstellt der Testagent 220 aus der Menge an möglichen verifikationsrelevanten parametrisierten Szenarien SZpi(ver) und parametrisierten Szenarien SZpi diejenigen Testfälle Ti, die für die Verifikation eines ADAS/ADS-Systems von Interesse sind bzw. der Testagent 220 verwendet die von einem Testingenieur vordefinierten Testfälle Ti, Für die Verifikation können neben den spezifisch für die Verifikation erstellten verifikationsrelevanten parametrisierten Szenarien SZpi(ver) teilweise auch parametrisierte Szenarien SZpi verwendet werden, die für andere Zwecke wie eine Validierung des ADAS/ADS-Systems generiert worden sind und bereits in der Szenariendatenbank 330 gespeichert sind. Ein Beispiel für ein solches parametrisiertes Szenario SZpi ist ein kritisches Bremsmanöver für einen Take-over-Request. Typischerweise wird von einem Testingenieur eine maschinenlesbare Testspezifikation erstellt. Diese enthält die zu testenden verifikationsrelevanten parametrisierten Szenarien Szpi(ver), die Szenarioparameter Pi und eine Metrik insbesondere in Form funktionaler KPIs für die Verifikation sowie Erwartungswerte.Within the scope of the present invention, the test agent 220 creates from the set of possible verification-relevant parameterized scenarios SZp i (ver) and parameterized scenarios SZp i those test cases T i that are of interest for the verification of an ADAS/ADS system, or the test agent 220 uses the test cases T i predefined by a test engineer. In addition to the verification-relevant parameterized scenarios SZp i (ver) created specifically for the verification, parameterized scenarios SZp i that have been generated for other purposes such as validation of the ADAS/ADS system and are already stored in the scenario database 330 can also be used for the verification. An example of such a parameterized scenario SZp i is a critical braking maneuver for a take-over request. Typically, a test engineer creates a machine-readable test specification. This contains the verification-relevant para metricized scenarios Szp i (ver), the scenario parameters P i and a metric, particularly in the form of functional KPIs for verification and expected values.

Für die jeweilige Verifikationsaufgabe wählt der Testagent 220 somit passende verifikationsrelevante parametrisierte Szenarien SZpi(ver) und parametrisierte Szenarien SZpi aus der Szenariendatenbank 330 und passende Kalibrierungsparameter Pcali aus der Parameterdatenbank 320 aus. Diese von dem Testagenten 220 erstellten relevanten Testfälle Ti decken insbesondere die in einer Spezifikation festgelegten Anforderungen ab, die von automatisierten Fahrfunktionen eines ADAS/ADS-Systems beherrscht und entsprechend verifiziert werden müssen.For the respective verification task, the test agent 220 thus selects suitable verification-relevant parameterized scenarios SZp i (ver) and parameterized scenarios SZp i from the scenario database 330 and suitable calibration parameters Pcal i from the parameter database 320. These relevant test cases T i created by the test agent 220 cover in particular the requirements defined in a specification that must be mastered by automated driving functions of an ADAS/ADS system and verified accordingly.

Die Teststrategie 230 des Testagenten 220 entscheidet somit, welche Testfälle Ti mit ausgewählten Kombinationen von verifikationsrelevanten parametrisierten Szenarien SZpi(ver) und/oder parametrisierten Szenarien SZpi sowie passenden Kalibrierungsparametern Pcali sowie gegebenenfalls weiteren Parametern erstellt werden. Die verwendete Strategie wird durch die festgelegte Spezifikation vorgegeben. Im Rahmen der Erfindung ist jedoch insbesondere vorgesehen, dass die Testfälle Ti von einem Testingenieur erstellt werden. Die auf diese Weise bestimmten Testfälle Ti speichert der Testagent 220 in der Testdatenbank 300.The test strategy 230 of the test agent 220 thus decides which test cases T i are created with selected combinations of verification-relevant parameterized scenarios SZp i (ver) and/or parameterized scenarios SZp i as well as suitable calibration parameters Pcal i and, if necessary, other parameters. The strategy used is specified by the established specification. Within the scope of the invention, however, it is particularly provided that the test cases T i are created by a test engineer. The test cases T i determined in this way are stored by the test agent 220 in the test database 300.

Für die Durchführung einer Simulation übergibt der Testagent 220 die erstellten Testfälle Ti an das Simulationsmodul 400. Das Simulationsmodul 400 über ein Fahrumgebungsmodul 410, ein Fahrermodul 420 und ein Kraftfahrzeugmodul 430, die als austauschbare Untermodule ausgebildet sind und die Aufgabe haben, jeweils die im Folgenden genannten Teilaspekte eines jeweiligen Testfalls Ti oder einer Mehrzahl von Testfällen Ti zu simulieren. Durch diese drei Untermodule 410, 420, 430 kann die virtuelle Verifikation von Teilaspekten und/oder des Gesamtsystems von automatisierten Fahrfunktionen eines ADAS/ADS-Systems durchgeführt werden, da die Simulation im 3F-Parameterraum, der durch die Fahrumgebung, das Fahrzeug und den Fahrer bestimmt ist, stattfindet.To carry out a simulation, the test agent 220 transfers the created test cases T i to the simulation module 400. The simulation module 400 has a driving environment module 410, a driver module 420 and a motor vehicle module 430, which are designed as interchangeable sub-modules and have the task of simulating the partial aspects of a respective test case T i or a plurality of test cases T i mentioned below. These three sub-modules 410, 420, 430 can be used to carry out the virtual verification of partial aspects and/or the overall system of automated driving functions of an ADAS/ADS system, since the simulation takes place in the 3F parameter space, which is determined by the driving environment, the vehicle and the driver.

Wie in der 2 dargestellt, umfasst das Fahrumgebungsmodul 410 zumindest ein Simulationsmodell 412, das die Fahrumgebung des Kraftfahrzeugs 10 und die an einem Szenario beteiligten Akteure abbildet. Bei den Akteuren handelt es sich um andere Verkehrsteilnehmer wie Fahrer von anderen Kraftfahrzeugen, Radfahrer und Fußgänger. Dieses Simulationsmodell 412 enthält eine Softwareapplikation, die derart ausgebildet ist, dass sie Testfälle Ti basierend auf verifikationsrelevanten parametrisierten Szenarien SZpi(ver) verarbeitet und für diese Testfälle Ti das mögliche Verhalten der Akteure in der durch den Testfall Ti definierten Fahrsituation modelliert. Für die Berechnungsverfahren verwendet das Simulationsmodell 412 insbesondere Algorithmen der künstlichen Intelligenz wie neuronale Netze und Simulationsalgorithmen wie X-in-the-Loop (XiL).Like in the 2 As shown, the driving environment module 410 comprises at least one simulation model 412 which maps the driving environment of the motor vehicle 10 and the actors involved in a scenario. The actors are other road users such as drivers of other motor vehicles, cyclists and pedestrians. This simulation model 412 contains a software application which is designed in such a way that it processes test cases T i based on verification-relevant parameterized scenarios SZp i (ver) and models the possible behavior of the actors in the driving situation defined by the test case T i for these test cases T i . For the calculation methods, the simulation model 412 uses in particular artificial intelligence algorithms such as neural networks and simulation algorithms such as X-in-the-Loop (XiL).

Das Fahrermodul 420 umfasst zumindest ein Simulationsmodell 422, das sich auf das Fahrverhalten eines Fahrers wie dynamisch oder defensiv bezieht. Zudem enthält dieses Simulationsmodell 422 eine Softwareapplikation, die derart ausgebildet ist, dass sie Testfälle Ti basierend auf verifikationsrelevanten parametrisierten Szenarien SZpi(ver) verarbeitet und das mögliche Verhalten des Fahrers in einer Fahrsituation wie einen Bremsvorgang oder einen Beschleunigungsvorgang modelliert. Insbesondere werden von dem Simulationsmodell 422 die möglichen Reaktionen des Fahrers auf optische und/oder akustische Warnhinweise, die beispielsweise von einer Fahrfunktion ausgelöst und auf einer Benutzerschnittstelle wie einem Display oder über ein Mikrofon ausgegeben werden, modelliert zum besseren Verständnis einer Mensch-Maschinen-Interaktion. Für die Berechnungsverfahren verwendet das Simulationsmodell 422 insbesondere Algorithmen der künstlichen Intelligenz wie neuronale Netze und Simulationsalgorithmen wie X-in-the-Loop (XiL).The driver module 420 comprises at least one simulation model 422 that relates to the driving behavior of a driver, such as dynamic or defensive. In addition, this simulation model 422 contains a software application that is designed to process test cases T i based on verification-relevant parameterized scenarios SZp i (ver) and models the possible behavior of the driver in a driving situation such as braking or acceleration. In particular, the simulation model 422 models the possible reactions of the driver to optical and/or acoustic warnings that are triggered, for example, by a driving function and output on a user interface such as a display or via a microphone, in order to better understand human-machine interaction. For the calculation methods, the simulation model 422 uses in particular artificial intelligence algorithms such as neural networks and simulation algorithms such as X-in-the-Loop (XiL).

Das Kraftfahrzeugmodul 430 umfasst zumindest ein Simulationsmodell 432, das verschiedene Varianten eines Kraftfahrzeugs beispielsweise hinsichtlich der unterschiedlichen Ausbildung des Antriebsstrangs, der Fahrdynamik und weiterer Teilfunktionen und deren Interaktionen untereinander beispielsweise über ein Bussystem abbildet. Des Weiteren enthält das Simulationsmodell 432 eine Softwareapplikation, die derart ausgebildet ist, dass sie Testfälle Ti basierend auf verifikationsrelevanten parametrisierten Szenarien SZpi(ver) verarbeitet und das mögliche Verhalten des Kraftfahrzeugs 10 in einer Fahrsituation wie einen Warnhinweis an den Fahrer oder das Auslösen einer Notbremsung durch entsprechend ausgebildete Fahrfunktionen modelliert. Dabei können die Ausprägung und die Reaktionen einer Fahrfunktion eines ADAS/ADS-Systems in einer Fahrsituation variiert werden. Auch diese Softwareapplikation umfasst insbesondere Algorithmen der künstlichen Intelligenz wie neuronale Netze und Simulationsalgorithmen wie X-in-the-Loop (XiL).The motor vehicle module 430 comprises at least one simulation model 432, which maps different variants of a motor vehicle, for example with regard to the different design of the drive train, the driving dynamics and other sub-functions and their interactions with one another, for example via a bus system. The simulation model 432 also contains a software application that is designed in such a way that it processes test cases T i based on verification-relevant parameterized scenarios SZp i (ver) and models the possible behavior of the motor vehicle 10 in a driving situation, such as a warning to the driver or the triggering of an emergency brake by appropriately designed driving functions. The characteristics and reactions of a driving function of an ADAS/ADS system can be varied in a driving situation. This software application also includes, in particular, artificial intelligence algorithms such as neural networks and simulation algorithms such as X-in-the-Loop (XiL).

Insbesondere können die Algorithmen der Softwareapplikationen Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, und/oder rückgekoppelte neuronale Netzwerke umfassen.In particular, the algorithms of the software applications can calculate mean values, minimum and maximum values, lookup tables, models for expected values, linear regression methods, Gaussian processes, fast Fourier transformations, integral and differential calculus, Markov methods, probability methods such as Monte Carlo calculations. drive, temporal difference learning, extended Kalman filters, radial basis functions, data fields, convergent neural networks, deep neural networks, and/or feedback neural networks.

Das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Fahrzeugmodul 430 sind somit für die Simulation von Testfällen Ti basierend auf verifikationsrelevanten parametrisierten Szenarien SZpi(ver) ausgebildet und interagieren miteinander, da es wechselseitige Abhängigkeiten gibt, wie beispielsweise die Reaktion eines Fahrers auf das Verhalten eines Akteurs in einer Fahrsituation. Die Untermodule 410, 420, 430 setzen somit die Beschreibung des jeweiligen Testfalls Ti für eine spezifische Situation bzw. Konfiguration um und stellen die notwendigen Eingangsdaten für die Simulation einer Fahrfunktion in einem Fahrfunktionsmodul 440 bereit, um die Voraussetzungen für eine virtuelle Verifikation von Teilaspekten und/oder des Gesamtsystems von automatisierten Fahrfunktionen eines ADAS/ADS-Systems bereitzustellen.The driving environment module 410, the driver module 420 and the vehicle module 430 are thus designed for the simulation of test cases T i based on verification-relevant parameterized scenarios SZp i (ver) and interact with each other because there are mutual dependencies, such as the reaction of a driver to the behavior of an actor in a driving situation. The sub-modules 410, 420, 430 thus implement the description of the respective test case T i for a specific situation or configuration and provide the necessary input data for the simulation of a driving function in a driving function module 440 in order to provide the prerequisites for a virtual verification of partial aspects and/or the overall system of automated driving functions of an ADAS/ADS system.

Das Simulationsmodul 400 bzw. die verschiedenen Untermodule 410, 420, 430 sind mit ein oder mehreren Datenbanken 480 verbunden, in denen Sensorsignale von Sensoren 470 und weitere Daten gespeichert sind. Bei den Sensorsignalen handelt es sich insbesondere um Messdaten von Eigenschaften und Merkmalen eines Kraftfahrzeugs 10 sowie von Akteuren und Ereignissen in der Umgebung des Kraftfahrzeugs 10, die beim Befahren einer Fahrstrecke jeweils während eines definierten Zeitfensters Δti und/oder eines definierten Fahrstreckenabschnitts Δxi aufgenommen wurden. Bei den Akteuren in der Verkehrsumgebung des Kraftfahrzeugs 10 handelt es sich insbesondere um andere Verkehrsteilnehmer wie Kraftfahrzeuge, Fußgänger, Radfahrer, und bei den Ereignissen beispielsweise um einen Beschleunigungsvorgang, einen Spurwechsel, oder ein Umschalten einer Ampel. Die Sensoren 470 können insbesondere als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, und/oder GPS-Systeme ausgebildet sein. Des Weiteren können Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren Niederschlagssensoren und/oder Temperatursensoren, etc. verwendet werden.The simulation module 400 or the various sub-modules 410, 420, 430 are connected to one or more databases 480 in which sensor signals from sensors 470 and other data are stored. The sensor signals are in particular measurement data of properties and characteristics of a motor vehicle 10 as well as of actors and events in the environment of the motor vehicle 10, which were recorded when driving along a route during a defined time window Δt i and/or a defined route section Δx i . The actors in the traffic environment of the motor vehicle 10 are in particular other road users such as motor vehicles, pedestrians, cyclists, and the events are, for example, an acceleration process, a lane change, or a traffic light switching. The sensors 470 can be designed in particular as radar systems, LIDAR systems for optical distance and speed measurement, image-recording 2D/3D cameras in the visible, IR and/or UV range, and/or GPS systems. Furthermore, acceleration sensors, speed sensors, capacitive sensors, inductive sensors, voltage sensors, precipitation sensors and/or temperature sensors, etc. can be used.

In der Datenbank 480 können zudem weitere historische Daten in Form von Bildern, Graphiken, Zeitreihen, Kenngrößen, etc. für die Verifikation gespeichert sein. So können beispielsweise Zielgrößen, Zielwerte und Erwartungswerte in der Datenbank 480 abgelegt sein, die einen Sicherheitsstandard für die Verifikation definieren. Die Datenbank 480 kann ebenfalls in einer Cloud-Computing-Infrastruktur integriert sein.In addition, further historical data in the form of images, graphics, time series, parameters, etc. can be stored in the database 480 for verification. For example, target values, target values and expected values can be stored in the database 480, which define a security standard for the verification. The database 480 can also be integrated into a cloud computing infrastructure.

Darüber hinaus können zusätzliche Datenquellen beziehungsweise Datenbanken verwendet werden. Hierzu zählen insbesondere Datenbanken, die Daten über das Straßennetz mit Straßenspezifikationen wie beispielsweise Fahrspuren und Brücken, die Straßeninfrastruktur wie beispielsweise den Straßenbelag, die Randbebauung, die Straßenführung, etc. beinhalten. Zudem sind Daten über Verkehrszahlen wie das reale stündliche Verkehrsaufkommen an einem bestimmten Verkehrsschauplatz für bestimmte Szenarien-Typen, wie beispielsweise ein Stau, von Interesse. Da auch die Wetterverhältnisse einen Szenario-Typ definieren können, sind Wetterdaten eine weitere Datenquelle.In addition, additional data sources or databases can be used. These include in particular databases that contain data on the road network with road specifications such as lanes and bridges, the road infrastructure such as the road surface, the edge development, the road layout, etc. In addition, data on traffic figures such as the real hourly traffic volume at a certain traffic location are of interest for certain types of scenarios, such as a traffic jam. Since weather conditions can also define a scenario type, weather data is another data source.

Die von dem Testagenten ausgewählten Testfälle Ti werden in das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Kraftfahrzeugmodul 430 integriert, wobei Eingangssignale wie Sensordaten, Informationen über die Fahrumgebung, den Fahrzeugzustand sowie Fahrerreaktionen von den Untermodulen 410, 420, 430 bereitgestellt werden, um eine Simulation der ausgewählten Testfälle Ti für die virtuelle Verifikation von Teilaspekten und/oder des Gesamtsystems von automatisierten Fahrfunktionen eines ADAS/ADS-Systems durchzuführen. Insbesondere die Modellierung der Sensoren 470 ist von besonderer Bedeutung, da Ungenauigkeiten und Messfehler der Sensorsignale der verwendeten Sensoren 470 bei der virtuellen Verifikation werden müssen. Wenn ein ausgewählter Testfall Ti bzw. eine Mehrzahl von Testfällen Ti eine festgelegte Fahraufgabe nicht abdecken kann, werden mittels der Untermodule 410, 420, 430 weitere Daten bereitgestellt, um für einen Testfall Ti ein ganzheitliches Fahrgeschehen einschließlich der Reaktionen des Fahrers, des Kraftfahrzeugs 10 und der übrigen Verkehrsakteure zu simulieren.The test cases T i selected by the test agent are integrated into the driving environment module 410, the driver module 420 and the motor vehicle module 430, with input signals such as sensor data, information about the driving environment, the vehicle state and driver reactions being provided by the sub-modules 410, 420, 430 in order to carry out a simulation of the selected test cases T i for the virtual verification of partial aspects and/or the entire system of automated driving functions of an ADAS/ADS system. In particular, the modeling of the sensors 470 is of particular importance, since inaccuracies and measurement errors of the sensor signals of the sensors 470 used must be taken into account in the virtual verification. If a selected test case T i or a plurality of test cases T i cannot cover a specified driving task, further data are provided by means of the sub-modules 410, 420, 430 in order to simulate a holistic driving event for a test case T i , including the reactions of the driver, the motor vehicle 10 and the other traffic actors.

Das Simulationsmodul 400 führt somit eine Simulation der Testfälle Ti für eine festgelegte Fahraufgabe durch und übergibt die Simulationsergebnisse 450 dem Bewertungsmodul 500.The simulation module 400 thus carries out a simulation of the test cases T i for a defined driving task and passes the simulation results 450 to the evaluation module 500.

Das Bewertungsmodul 500 bewertet die Simulationsergebnisse 450 hinsichtlich der Verifikation von Teilaspekten und/oder des Gesamtsystems von automatisierten Fahrfunktionen eines ADAS/ADS-Systems aufgrund der Leistungs- und Funktionsfähigkeit von Teilaspekten und/oder des Gesamtsystems von ein oder mehreren Fahrfunktionen bzw. der Gesamtperformance des simulierten ADAS/ADS-Systems insbesondere in Form von Leistungsindikatoren (KPIs) und Bewertungskennwerten. Zudem kann die Qualität des durchgeführten Simulationsverfahrens bewertet werden insbesondere in Form von Simulationsqualitätskriterien (SQCs). Aus diesen Bewertungen erstellt das Bewertungsmodul 500 Bewertungsergebnisse 550.The evaluation module 500 evaluates the simulation results 450 with regard to the verification of partial aspects and/or the overall system of automated driving functions of an ADAS/ADS system based on the performance and functionality of partial aspects and/or the overall system of one or more driving functions or the overall performance of the simulated ADAS/ADS system, in particular in the form of key performance indicators (KPIs) and evaluation parameters. In addition, the quality of the simulation process carried out can be evaluated, in particular in the form of simulation quality criteria. (SQCs). From these assessments, the assessment module 500 creates assessment results 550.

KPIs dienen zur Beschreibung der Leistung eines zu testenden ADAS/ADS-Systems, wobei für die Verifikation von Teilaspekten und/oder des Gesamtsystems von ein oder mehreren Fahrfunktionen bzw. der Gesamtperformance des simulierten ADAS/ADS-Systems spezifische funktionale KPIs wie die Überprüfung von gesendeten Daten an eine Displayeinrichtung im Kraftfahrzeug, die Zeitdauer für die Übermittlung eines Take-over-Request an den Fahrer des Kraftfahrzeugs, etc. implementiert werden entsprechend den jeweiligen Funktionen und Aspekten des ADAS/ADS-Systems, die gemäß einer vorgegebenen Spezifikation verifiziert werden sollen. Zudem können weitere KPIs für Bewertungskategorien wie Komfort, Sicherheit, Natürlichkeit des Fahrens und festgelegt werden. Beispiele für KPIs sind die Bewertung einer minimalen Distanz zu einem anderen Fahrzeug, eine mittlere Beschleunigung bei einem Verzögerungsszenario oder die Art der Durchführung eines Überholmanövers. KPIs are used to describe the performance of an ADAS/ADS system to be tested, whereby for the verification of partial aspects and/or the overall system of one or more driving functions or the overall performance of the simulated ADAS/ADS system, specific functional KPIs such as the verification of data sent to a display device in the motor vehicle, the time required to transmit a take-over request to the driver of the motor vehicle, etc. are implemented according to the respective functions and aspects of the ADAS/ADS system that are to be verified according to a given specification. In addition, further KPIs can be defined for evaluation categories such as comfort, safety, naturalness of driving, etc. Examples of KPIs are the evaluation of a minimum distance to another vehicle, an average acceleration in a deceleration scenario or the manner in which an overtaking maneuver is carried out.

KPIs stellen somit eine Metrik zur Verifizierung der korrekten Funktionalität eines zu testenden ADAS/ADS-Systems dar.KPIs therefore represent a metric for verifying the correct functionality of an ADAS/ADS system under test.

Bei den Bewertungskennwerten handelt es sich insbesondere um Labels zur Kennzeichnung von besonderen Eigenschaften der Verifikationsergebnisse wie „bestanden“ oder „unzureichend“ oder um eine Ja/Nein-Metrik hinsichtlich des Auftretens einer Kollision bzw. der Vermeidung einer Kollision. Die KPIs, Bewertungskennwerte und SQCs können durch Zahlenwerte aber auch durch boolesche Werte darstellt werden.The evaluation indicators are in particular labels for identifying special properties of the verification results such as "passed" or "unsatisfactory" or a yes/no metric regarding the occurrence of a collision or the avoidance of a collision. The KPIs, evaluation indicators and SQCs can be represented by numerical values or by Boolean values.

Dabei können sowohl für die KPIs als auch für die SQCs direkte und indirekte Bewertungsmetriken verwendet werden. Direkte Bewertungsmetriken enthalten Daten direkt aus simulierten Messdaten. Indirekte Bewertungsmetriken verwenden insbesondere Szenarienparameter als Datenquelle. Ein Beispiel für die Anwendung indirekter Bewertungsmetriken ist die Implementierung von Simulationsmodellen, die das subjektive Empfinden eines Fahrers bei der Durchführung einer Fahrfunktion eines ADAS/ADS-Systems quantifizieren und bewerten. Auf Basis der KPIs und SQCs lassen sich somit die Ergebnisse eines simulierten Testfalls Ti durch Zahlenwerte bzw. boolesche Werte darstellen und daraus die Verifikation eines ADAS/ADS-System für verifikationsrelevante Szenarien Szi(ver) ableiten.Direct and indirect evaluation metrics can be used for both the KPIs and the SQCs. Direct evaluation metrics contain data directly from simulated measurement data. Indirect evaluation metrics use scenario parameters in particular as a data source. An example of the application of indirect evaluation metrics is the implementation of simulation models that quantify and evaluate the subjective perception of a driver when carrying out a driving function of an ADAS/ADS system. Based on the KPIs and SQCs, the results of a simulated test case T i can be represented by numerical values or Boolean values and the verification of an ADAS/ADS system for verification-relevant scenarios Sz i (ver) can be derived from this.

Die Kombination aus dem Simulationsmodul 400 und dem Auswertungsmodul 500 bildet somit die Basis für die Bearbeitung von Testfällen Ti im Rahmen der virtuellen Verifikation eines ADAS/ADS-Systems. Vom Testagenten 220 erstellte Testfälle Ti mit verifikationsrelevanten Szenarien Szi(ver) werden in dem Simulationsmodul 400 mittels des Fahrumgebungsmoduls 410, des Fahrermoduls 420 und des Kraftfahrzeugmoduls 430 simuliert. Das Simulationsmodul 400 hat zudem Zugriff auf die Parameterdatenbank 320 und die Szenariendatenbank 330, um die erforderlichen Informationen zu erhalten. Nach erfolgreicher Simulation werden die Simulationsergebnisse 450 an das Bewertungsmodul 500 übergeben. The combination of the simulation module 400 and the evaluation module 500 thus forms the basis for processing test cases T i as part of the virtual verification of an ADAS/ADS system. Test cases T i created by the test agent 220 with verification-relevant scenarios Sz i (ver) are simulated in the simulation module 400 using the driving environment module 410, the driver module 420 and the motor vehicle module 430. The simulation module 400 also has access to the parameter database 320 and the scenario database 330 in order to obtain the required information. After a successful simulation, the simulation results 450 are transferred to the evaluation module 500.

Das Ausgabemodul 700 erstellt mittels der Bewertungsergebnisse 550 insbesondere in Form der Leistungsindikatoren (KPIs) eine Verifikationsanalyse 750 der korrekten Funktionalität eines zu testenden ADAS/ADS-Systems für die ausgewählten Testfälle Ti. Zudem enthält der Datensatz 750 bzw. das Ausgabeergebnis Informationen über die durchgeführte Simulation. Die Qualität des Verifikationsanalyse 750 hängt dabei von der Qualität der Szenariobeschreibung der verifikationsrelevanten Szenarien Szi(ver) und der Art der Simulation durch das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Kraftfahrzeugmodul 430 sowie der Definition der Bewertungsmetriken in Form von KPIs ab. Des Weiteren sollten die verwendeten Algorithmen für die Softwareapplikationen der Simulationsmodelle 412, 422, 432 über eine hohe Qualität verfügen, um durch das Simulationsverfahren belastbare Verifikationsergebnisse zu erzeugen. Da das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Kraftfahrzeugmodul 430 als eigenständige Untermodule des Simulationsmoduls 400 ausgebildet sind, können diese Untermodule 410, 420, 430 zudem unabhängig voneinander weiterentwickelt werden, was zu einer höheren Qualität des Gesamtprozesses führt.The output module 700 uses the evaluation results 550, particularly in the form of key performance indicators (KPIs), to create a verification analysis 750 of the correct functionality of an ADAS/ADS system to be tested for the selected test cases T i . In addition, the data set 750 or the output result contains information about the simulation carried out. The quality of the verification analysis 750 depends on the quality of the scenario description of the verification-relevant scenarios Sz i (ver) and the type of simulation by the driving environment module 410, the driver module 420 and the motor vehicle module 430 as well as the definition of the evaluation metrics in the form of KPIs. Furthermore, the algorithms used for the software applications of the simulation models 412, 422, 432 should be of high quality in order to generate reliable verification results through the simulation process. Since the driving environment module 410, the driver module 420 and the motor vehicle module 430 are designed as independent sub-modules of the simulation module 400, these sub-modules 410, 420, 430 can also be further developed independently of one another, which leads to a higher quality of the overall process.

Diese Verifikationsanalyse 750 kann dann als Ausgabeergebnis von dem Ausgabemodul 700 ausgegeben werden. Die Verifikationsanalyse 750 umfasst insbesondere einen Bericht mit Textbausteinen, Diagrammen und Histogrammen, in dem die simulierten Testfälle Ti und die Simulationsergebnisse wie „bestanden“ und „unzureichend“ sowie die zugehörigen KPIs dargestellt sind. Mittels der KPIs kann analysiert werden, warum die unzureichenden Testfälle Ti die Erwartungswerte nicht erfüllt haben. Ein Testingenieur kann der Verifikationsanalyse 750 entnehmen, welche Spezifikationsanforderungen von dem ADAS/ADS-System erfüllt wurden und für welche Aspekte Verbesserungsbedarf besteht. Da die virtuelle Verifikation automatisiert und in kurzer Zeit durchgeführt werden kann, können insbesondere die Auswirkungen von kleinen Softwareänderungen bei einem ADAS/ADS-System ohne großen Aufwand analysiert werden. Insbesondere ist vorgesehen, dass die Programmierung und Anpassung des ADAS/ADS-Systems im Rahmen der virtuellen Verifikation mittels einer kontinuierlichen Integration (engl. continuous integration) erfolgt, um eine hohe Softwarequalität sicherzustellen.This verification analysis 750 can then be output as an output result from the output module 700. The verification analysis 750 includes in particular a report with text modules, diagrams and histograms in which the simulated test cases T i and the simulation results such as "passed" and "unsatisfactory" as well as the associated KPIs are shown. The KPIs can be used to analyze why the inadequate test cases T i did not meet the expected values. A test engineer can use the verification analysis 750 to determine which specification requirements were met by the ADAS/ADS system and which aspects need improvement. Since the virtual verification can be automated and carried out in a short time, the effects of small software changes in an ADAS/ADS system in particular can be analyzed without great effort. In particular, it is intended that the programming and adaptation of the ADAS/ADS system can be carried out as part of the virtual Verification is carried out using continuous integration to ensure high software quality.

In 3 sind die Verfahrensschritte zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug 10 dargestellt.In 3 the method steps for the virtual verification of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) for a motor vehicle 10 are shown.

In einem Schritt S10 werden Testfälle Ti von einem Testagenten 220 erstellt, wobei für jeden Testfall Ti zumindest ein verifikationsrelevantes Szenario Szi(ver) ausgewählt wird.In a step S10, test cases T i are created by a test agent 220, wherein for each test case T i at least one verification-relevant scenario Sz i (ver) is selected.

In einem Schritt S20 wird eine Simulation von einem Simulationsmodul 400 mit den erstellten Testfällen Ti zur Bestimmung von Simulationsergebnissen 450 durchgeführt, wobei das Simulationsmodul 400 ein Fahrumgebungsmodul 410 und/oder ein Fahrermodul 420 und/oder ein Kraftfahrzeugmodul 430 umfasst, die jeweils ausgebildet sind, Testfälle Ti mit verifikationsrelevanten Szenarien Szi(ver) zu simulieren.In a step S20, a simulation is carried out by a simulation module 400 with the created test cases T i to determine simulation results 450, wherein the simulation module 400 comprises a driving environment module 410 and/or a driver module 420 and/or a motor vehicle module 430, which are each designed to simulate test cases T i with verification-relevant scenarios Sz i (ver).

In einem Schritt S30 wird eine Bewertung der Simulationsergebnisse 450 durch ein Bewertungsmodul 500 zur Bestimmung von Bewertungsergebnissen 550 durchgeführt, wobei das Bewertungsmodul 500 ein Fahrfunktionsbewertungsmodul 520 zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennzahlen für die Verifikation umfasst.In a step S30, an evaluation of the simulation results 450 is carried out by an evaluation module 500 for determining evaluation results 550, wherein the evaluation module 500 comprises a driving function evaluation module 520 for determining the performance and safety of a driving function by means of functional performance indicators (KPIs) and evaluation metrics for verification.

In einem Schritt S40 wird eine Verifikationsanalyse 750 zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen 550 von dem Ausgabemodul 700 generiert und ausgegeben, insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.In a step S40, a verification analysis 750 of at least partial aspects of the ADAS/ADS system is generated and output by the output module 700 on the basis of the evaluation results 550, in particular in the form of diagrams and histograms for a verification report.

4 stellt schematisch ein Computerprogrammprodukt 900 dar, das einen ausführbaren Programmcode 950 umfasst, der konfiguriert ist, das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung auszuführen. 4 schematically illustrates a computer program product 900 comprising an executable program code 950 configured to carry out the method according to the first aspect of the present invention.

Mit der vorliegenden Erfindung ist eine automatisierte virtuelle Verifikation zumindest von Teilaspekten eines ADAS/ADS-Systems durch entsprechend angepasste Simulationsverfahren möglich. Durch die funktionalen KPIs können Verifikationsergebnisse quantifiziert werden, so dass ein Testingenieur der Verifikationsanalyse entnehmen kann, welche Spezifikationsanforderungen von dem ADAS/ADS-System erfüllt wurden und für welche Aspekte Verbesserungsbedarf besteht. Da die virtuelle Verifikation automatisiert und in kurzer Zeit durchgeführt werden kann, können insbesondere die Auswirkungen von kleinen Softwareänderungen bei einem ADAS/ADS-System ohne großen Aufwand analysiert werden. Insbesondere kann die Programmierung und Anpassung des ADAS/ADS-Systems im Rahmen der virtuellen Integration mittels einer kontinuierlichen Integration (engl. continuous integration) erfolgen, um eine hohe Softwarequalität sicherzustellen. Hierdurch können Ressourcen eingespart werden, da sowohl das reale Abfahren von Teststrecken mit Standardverkehrssituationen als auch mit spezifischen Corner-Cases reduziert werden kann.The present invention enables automated virtual verification of at least partial aspects of an ADAS/ADS system using appropriately adapted simulation methods. The functional KPIs can be used to quantify verification results, so that a test engineer can use the verification analysis to determine which specification requirements have been met by the ADAS/ADS system and which aspects need improvement. Since virtual verification can be automated and carried out in a short time, the effects of small software changes in an ADAS/ADS system in particular can be analyzed without great effort. In particular, the programming and adaptation of the ADAS/ADS system can be carried out as part of the virtual integration using continuous integration in order to ensure high software quality. This can save resources, as both the actual driving of test routes with standard traffic situations and with specific corner cases can be reduced.

BezugszeichenReference symbols

1010
KraftfahrzeugMotor vehicle
100100
Systemsystem
200200
TestagentenmodulTest agent module
220220
TestagentTest agent
230230
TeststrategieTest strategy
300300
TestdatenbankTest database
320320
ParameterdatenbankParameter database
330330
SzenariendatenbankScenario database
340340
BewertungsdatenbankRating database
400400
SimulationsmodulSimulation module
410410
FahrumgebungsmodellDriving environment model
412412
SimulationsmodellSimulation model
420420
FahrermodulDriver module
422422
SimulationsmodellSimulation model
430430
KraftfahrzeugmodulAutomotive module
432432
SimulationsmodellSimulation model
440440
FunktionsmodellFunctional model
450450
SimulationsergebnisseSimulation results
470470
SensorenSensors
480480
DatenbankDatabase
500500
BewertungsmodulEvaluation module
510510
FunktionsbewertungsmodulFunctional evaluation module
520520
SimulationsbewertungsmodulSimulation evaluation module
550550
BewertungsergebnisseEvaluation results
700700
AusgabemodulOutput module
750750
Datensatz mit kritischen SzenarienDataset with critical scenarios
900900
ComputerprogrammproduktComputer program product
950950
ProgrammcodeProgram code

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102019124615 A1 [0006]DE 102019124615 A1 [0006]
  • DE 102017009971 A1 [0007]DE 102017009971 A1 [0007]
  • DE 112020000222 T5 [0008]EN 112020000222 T5 [0008]
  • US 10489529 B2 [0009]US 10489529 B2 [0009]

Claims (15)

Verfahren zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug (10), insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems, wobei ein Szenario (SZi) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt, umfassend: - Erstellen (S10) von Testfällen (Ti) von einem Testagenten (220), wobei für jeden Testfall (Ti) zumindest ein verifikationsrelevantes Szenario (SZi(ver)) ausgewählt wird; - Durchführen (S20) einer Simulation von einem Simulationsmodul (400) mit den erstellten Testfällen (Ti) zur Bestimmung von Simulationsergebnissen (450), wobei das Simulationsmodul (400) ein Fahrumgebungsmodul (410) und/oder ein Fahrermodul (420) und/oder ein Kraftfahrzeugmodul (430) umfasst, die jeweils ausgebildet sind, Testfälle (Ti) mit verifikationsrelevanten Szenarien (SZi(ver)) zu simulieren; - Durchführen (S30) einer Bewertung der Simulationsergebnisse (450) durch ein Bewertungsmodul (500) zur Bestimmung von Bewertungsergebnissen (550), wobei das Bewertungsmodul (500) ein Fahrfunktionsbewertungsmodul (520) zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennwerten für die Verifikation umfasst; - Generieren und Ausgeben (S40) einer Verifikationsanalyse (750) zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen (550) von dem Ausgabemodul (700), insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.Method for the virtual verification of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) for a motor vehicle (10), in particular for testing, training and applying the ADAS/ADS system, wherein a scenario (SZ i ) represents a traffic event in a temporal sequence, comprising: - creation (S10) of test cases (T i ) by a test agent (220), wherein for each test case (T i ) at least one verification-relevant scenario (SZ i (ver)) is selected; - Carrying out (S20) a simulation by a simulation module (400) with the created test cases (T i ) to determine simulation results (450), wherein the simulation module (400) comprises a driving environment module (410) and/or a driver module (420) and/or a motor vehicle module (430), each of which is designed to simulate test cases (T i ) with verification-relevant scenarios (SZ i (ver)); - Carrying out (S30) an evaluation of the simulation results (450) by an evaluation module (500) to determine evaluation results (550), wherein the evaluation module (500) comprises a driving function evaluation module (520) for determining the performance and safety of a driving function by means of functional performance indicators (KPIs) and evaluation parameters for the verification; - generating and outputting (S40) a verification analysis (750) of at least partial aspects of the ADAS/ADS system on the basis of the evaluation results (550) from the output module (700), in particular in the form of diagrams and histograms for a verification report. Verfahren nach Anspruch 1, wobei das Fahrumgebungsmodul (410) zumindest ein Simulationsmodell (412) umfasst, das die Fahrumgebung des Kraftfahrzeugs (10) und die beteiligten Akteure in einem verifikationsrelevanten Szenario (SZi(ver)) modelliert.Procedure according to Claim 1 , wherein the driving environment module (410) comprises at least one simulation model (412) which models the driving environment of the motor vehicle (10) and the actors involved in a verification-relevant scenario (SZ i (ver)). Verfahren nach Anspruch 1 oder 2, wobei das Fahrermodul (420) zumindest ein Simulationsmodell (422) umfasst, das das mögliche Verhalten des Fahrers in einem verifikationsrelevanten Szenario (SZi(ver)) modelliert.Procedure according to Claim 1 or 2 , wherein the driver module (420) comprises at least one simulation model (422) which models the possible behavior of the driver in a verification-relevant scenario (SZ i (ver)). Verfahren nach einem der Ansprüche 1 bis 3, wobei das Kraftfahrzeugmodul (430) zumindest ein Simulationsmodell (432) umfasst, das das mögliche Verhalten des Kraftfahrzeugs (10) in einem verifikationsrelevanten Szenario (SZi(ver)) modelliert.Method according to one of the Claims 1 until 3 , wherein the motor vehicle module (430) comprises at least one simulation model (432) which models the possible behavior of the motor vehicle (10) in a verification-relevant scenario (SZ i (ver)). Verfahren nach einem der Ansprüche 2 bis 4, wobei das Simulationsmodell (412), das Simulationsmodell (422) und das Simulationsmodell (432) Softwareapplikationen mit Algorithmen der künstlichen Intelligenz wie neuronale Netze und/oder Simulationsalgorithmen wie X-in-the-Loop (XiL) umfassen.Method according to one of the Claims 2 until 4 , wherein the simulation model (412), the simulation model (422) and the simulation model (432) comprise software applications with artificial intelligence algorithms such as neural networks and/or simulation algorithms such as X-in-the-Loop (XiL). Verfahren nach Anspruch 5, wobei die Algorithmen und Berechnungsverfahren der Softwareapplikationen Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, und/oder rückgekoppelte neuronale Netzwerke umfassen.Procedure according to Claim 5 , whereby the algorithms and calculation methods of the software applications include mean values, minimum and maximum values, lookup tables, models for expected values, linear regression methods, Gaussian processes, fast Fourier transformations, integral and differential calculus, Markov methods, probability methods such as Monte Carlo methods, temporal difference learning, extended Kalman filters, radial basis functions, data fields, convergent neural networks, deep neural networks, and/or feedback neural networks. Verfahren nach einem der Ansprüche 1 bis 6, wobei der Testagent (220) zumindest eine Softwareapplikation mit Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet/verwenden.Method according to one of the Claims 1 until 6 , wherein the test agent (220) uses at least one software application with calculation methods and/or algorithms of artificial intelligence. Verfahren nach einem der Ansprüche 1 bis 7, wobei das Fahrumgebungsmodul (410), das Fahrermodul (420) und das Kraftfahrzeugmodul (430) mit Sensoren (470) und/oder einer Datenbank (450) verbunden ist/sind, um weitere Informationen für die Erstellung der Simulationsmodelle (412, 422, 432) zu erhalten.Method according to one of the Claims 1 until 7 , wherein the driving environment module (410), the driver module (420) and the motor vehicle module (430) are connected to sensors (470) and/or a database (450) in order to obtain further information for the creation of the simulation models (412, 422, 432). Verfahren nach einem der Ansprüche 1 bis 8, wobei das Bewertungsmodul ein Simulationsbewertungsmodul (520) zur Bestimmung der Qualität der Simulation mittels Simulationsqualitätskriterien (SQCs) umfasst, und wobei die Bewertungsergebnisse (550) die Leistungsindikatoren (KPIs), die Bewertungskennwerte und/oder die Simulationsqualitätskriterien (SQCs) umfassen.Method according to one of the Claims 1 until 8th , wherein the evaluation module comprises a simulation evaluation module (520) for determining the quality of the simulation using simulation quality criteria (SQCs), and wherein the evaluation results (550) comprise the key performance indicators (KPIs), the evaluation metrics and/or the simulation quality criteria (SQCs). Verfahren nach einem der Ansprüche 1 bis 9, wobei ein Szenarioparameter (Pi) eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius und/oder eine Zahl darstellt, und wobei die Sensoren (470) als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, GPS-Systeme, Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren, Drehmomentsensoren, Niederschlagssensoren und/oder Temperatursensoren ausgebildet sind.Method according to one of the Claims 1 until 9 , wherein a scenario parameter (P i ) represents a physical quantity, a chemical quantity, a torque, a rotational speed, a voltage, a current, an acceleration, a speed, a braking value, a direction, an angle, a radius and/or a number, and wherein the sensors (470) are designed as radar systems, LIDAR systems for optical distance and speed measurement, image-recording 2D/3D cameras in the visible, IR and/or UV range, GPS systems, acceleration sensors, speed sensors, capacitive sensors, inductive sensors, voltage sensors, torque sensors, precipitation sensors and/or temperature sensors. System (100) zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug (10), insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems, wobei ein Szenario (SZi) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt, umfassend ein Testmodul (200) mit einem Testagenten (220), ein Simulationsmodul (400), ein Bewertungsmodul (500) und ein Ausgabemodul (700); wobei der Testagent (220) ausgebildet ist, Testfälle (Ti) zu erstellen, wobei für jeden Testfall (Ti) zumindest ein verifikationsrelevantes Szenario (SZi(ver)) ausgewählt wird; wobei das Simulationsmodul (400) ausgebildet ist, eine Simulation mit den erstellten Testfällen (Ti) durchzuführen zur Bestimmung von Simulationsergebnissen (450), wobei das Simulationsmodul (400) ein Fahrumgebungsmodul (410) und/oder ein Fahrermodul (420) und/oder ein Kraftfahrzeugmodul (430) umfasst, die jeweils ausgebildet sind, Testfälle (Ti) mit verifikationsrelevanten Szenarien (SZi(ver)) zu simulieren; wobei das Bewertungsmodul (500) ausgebildet ist, eine Bewertung der Simulationsergebnisse (450) zur Bestimmung von Bewertungsergebnissen (550) durchzuführen, wobei das Bewertungsmodul (500) ein Fahrfunktionsbewertungsmodul (520) zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennwerten für die Verifikation umfasst; und wobei das Ausgabemodul (700) ausgebildet ist, eine Verifikationsanalyse (750) zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen (550) von dem Ausgabemodul (700) zu generieren und auszugeben, insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.System (100) for the virtual verification of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) for a motor vehicle (10), in particular for testing, training and applying the ADAS/ADS system, wherein a scenario (SZ i ) represents a traffic event in a temporal sequence, comprising a test module (200) with a test agent (220), a simulation module (400), an evaluation module (500) and an output module (700); wherein the test agent (220) is designed to create test cases (T i ), wherein for each test case (T i ) at least one verification-relevant scenario (SZ i (ver)) is selected; wherein the simulation module (400) is designed to carry out a simulation with the created test cases (T i ) to determine simulation results (450), wherein the simulation module (400) comprises a driving environment module (410) and/or a driver module (420) and/or a motor vehicle module (430), each of which is designed to simulate test cases (T i ) with verification-relevant scenarios (SZ i (ver)); wherein the evaluation module (500) is designed to carry out an evaluation of the simulation results (450) to determine evaluation results (550), wherein the evaluation module (500) comprises a driving function evaluation module (520) for determining the performance and safety of a driving function by means of functional performance indicators (KPIs) and evaluation parameters for the verification; and wherein the output module (700) is designed to generate and output a verification analysis (750) of at least partial aspects of the ADAS/ADS system on the basis of the evaluation results (550) from the output module (700), in particular in the form of diagrams and histograms for a verification report. System (100) nach Anspruch 11, wobei das Fahrumgebungsmodul (410) zumindest ein Simulationsmodell (412) umfasst, das die Fahrumgebung des Kraftfahrzeugs (10) und die beteiligten Akteure in einem verifikationsrelevanten Szenario (SZi(ver)) modelliert; wobei das Fahrermodul (420) zumindest ein Simulationsmodell (422) umfasst, das das mögliche Verhalten des Fahrers in einem verifikationsrelevanten Szenario (SZi(ver)) modelliert; und wobei das Kraftfahrzeugmodul (430) zumindest ein Simulationsmodell (432) umfasst, das das mögliche Verhalten des Kraftfahrzeugs (10) in einem verifikationsrelevanten Szenario (SZi(ver)) modelliert, wobei das Simulationsmodell (412), das Simulationsmodell (422) und das Simulationsmodell (432) Softwareapplikationen mit Algorithmen der künstlichen Intelligenz wie neuronale Netze und/oder Simulationsalgorithmen wie X-in-the-Loop (XiL) umfassen.System (100) after Claim 11 , wherein the driving environment module (410) comprises at least one simulation model (412) which models the driving environment of the motor vehicle (10) and the actors involved in a verification-relevant scenario (SZ i (ver)); wherein the driver module (420) comprises at least one simulation model (422) which models the possible behavior of the driver in a verification-relevant scenario (SZ i (ver)); and wherein the motor vehicle module (430) comprises at least one simulation model (432) which models the possible behavior of the motor vehicle (10) in a verification-relevant scenario (SZ i (ver)), wherein the simulation model (412), the simulation model (422) and the simulation model (432) comprise software applications with artificial intelligence algorithms such as neural networks and/or simulation algorithms such as X-in-the-Loop (XiL). ADAS/ADS-System für ein Kraftfahrzeug (10), dadurch gekennzeichnet, dass zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS), insbesondere zum Verifizieren, Testen, Trainieren und Applizieren des ADAS/ADS-Systems, das Verfahren nach einem der Ansprüche 1 bis 10 verwendet wird.ADAS/ADS system for a motor vehicle (10), characterized in that for the virtual verification of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS), in particular for verifying, testing, training and applying the ADAS/ADS system, the method according to one of the Claims 1 until 10 is used. ADAS/ADS-System nach Anspruch 13, wobei die Programmierung und Anpassung des ADAS/ADS-Systems im Rahmen der virtuellen Verifikation mittels einer kontinuierlichen Integration (engl. continuous integration) erfolgt.ADAS/ADS system according to Claim 13 , whereby the programming and adaptation of the ADAS/ADS system is carried out within the framework of virtual verification by means of continuous integration. Computerprogrammprodukt (900), umfassend einen ausführbaren Programmcode (950), der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren nach einem der Ansprüche 1 bis 10 ausführt.Computer program product (900) comprising an executable program code (950) configured to execute the method according to one of the Claims 1 until 10 executes.
DE102022132922.4A 2022-12-12 2022-12-12 Method and system for virtual verification of automated driving functions Pending DE102022132922A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022132922.4A DE102022132922A1 (en) 2022-12-12 2022-12-12 Method and system for virtual verification of automated driving functions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022132922.4A DE102022132922A1 (en) 2022-12-12 2022-12-12 Method and system for virtual verification of automated driving functions

Publications (1)

Publication Number Publication Date
DE102022132922A1 true DE102022132922A1 (en) 2024-06-13

Family

ID=91185828

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022132922.4A Pending DE102022132922A1 (en) 2022-12-12 2022-12-12 Method and system for virtual verification of automated driving functions

Country Status (1)

Country Link
DE (1) DE102022132922A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017009971A1 (en) 2017-10-26 2019-05-02 Daimler Ag A method of testing a lane keeping assistance system for a vehicle
US10489529B2 (en) 2016-10-14 2019-11-26 Zoox, Inc. Scenario description language
DE102019124615A1 (en) 2018-09-12 2020-03-12 Ford Global Technologies, Llc ASSESSING ALGORITHMS FOR AUTONOMOUS VEHICLES
DE112020000222T5 (en) 2019-12-17 2021-10-14 Foretellix Ltd. SYSTEM AND PROCEDURE THEREOF FOR MONITORING THE CORRECT BEHAVIOR OF AN AUTONOMOUS VEHICLE

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489529B2 (en) 2016-10-14 2019-11-26 Zoox, Inc. Scenario description language
DE102017009971A1 (en) 2017-10-26 2019-05-02 Daimler Ag A method of testing a lane keeping assistance system for a vehicle
DE102019124615A1 (en) 2018-09-12 2020-03-12 Ford Global Technologies, Llc ASSESSING ALGORITHMS FOR AUTONOMOUS VEHICLES
DE112020000222T5 (en) 2019-12-17 2021-10-14 Foretellix Ltd. SYSTEM AND PROCEDURE THEREOF FOR MONITORING THE CORRECT BEHAVIOR OF AN AUTONOMOUS VEHICLE

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALL-ELECTRONICS: Artikel: Testkilometer auf der Straße sparen - Virtuelle Fahrkilometer: Closed-Loop-Prüfsysteme für hochautomatisierte Fahrfunktionen. Stand: 03. März 2021. URL: https://www.all-electronics.de/automotive-transportation/virtuelle-fahrkilometer-closed-loop-pruefsysteme-fuer-hochautomatisierte-fahrfunktionen.html [abgerufen am 31.07.2023]
WITTE, Frank: Testmanagement und Softwaretest - Theoretische Grundlagen und praktische Umsetzung. 2., erweiterte Auflage. Springer Wiesbaden, 2019. S. 49 - 60, 217 - 229, 231 - 241. ISBN: 978-3-658-25087-4

Similar Documents

Publication Publication Date Title
DE102016220913A1 (en) Method and device for generating test cases for autonomous vehicles
DE102007053501A1 (en) Method for developing and / or testing at least one safety and / or driver assistance system for a motor vehicle and simulation environment
DE102019102205A1 (en) SYSTEM AND METHOD FOR THE END TO END VALIDATION OF AUTONOMOUS VEHICLES
DE102022112059B3 (en) Method, system and computer program product for calibrating and validating a driver assistance system (ADAS) and/or an automated driving system (ADS)
DE102018100487A1 (en) OBJECT TRACKING THROUGH UNDUE MONITORING
DE102019124018A1 (en) Method for optimizing tests of control systems for automated vehicle dynamics systems
WO2021058223A1 (en) Method for applying automated driving functions efficiently and in a simulated manner
DE102019219241A1 (en) Method for creating a road user algorithm for computer simulation of road users, method for training at least one algorithm for a control device of a motor vehicle, computer program product and motor vehicle
DE202022106107U1 (en) System for testing level 3 automated driving systems (ADS)
EP3945338A2 (en) Signal processing path, environment recognition device and method for validating an automated driving system
DE102020120141A1 (en) Procedure for optimizing tests of control systems for automated vehicle dynamics systems using probabilistically predicted system responses
EP4226248A1 (en) Method and a system for testing a driver assistance system for a vehicle
AT524822A1 (en) Method for testing a driver assistance system of a vehicle
DE102022112060B3 (en) Scenario database for a method and a system for calibrating and validating a driver assistance system (ADAS) and/or an automated driving system (ADS)
DE102022102501B3 (en) Method, system and computer program product for determining an assessment of the functionality of a component of a motor vehicle
DE102022108677B3 (en) Method, system and computer program product for determining objective parameters for predicting a subjective evaluation of a driver assistance system and/or an automated driver assistance function
AT524932B1 (en) Method and system for testing a driver assistance system for a vehicle
DE102019215973A1 (en) U-TURN CONTROL SYSTEM FOR AUTONOMOUS VEHICLE AND PROCEDURE FOR THE SAME
DE102022132922A1 (en) Method and system for virtual verification of automated driving functions
DE102021213538A1 (en) Simulation to validate an automated driving function for a vehicle
DE102022132917A1 (en) Method and system for determining the criticality and controllability of scenarios for automated driving functions
DE102021202083A1 (en) Computer-implemented method for training at least one algorithm for a control unit of a motor vehicle, computer program product, control unit and motor vehicle
DE102020214203A1 (en) Method for determining a lane change intention of another motor vehicle located in the immediate vicinity of a motor vehicle, and assistance system
DE112020006317T5 (en) COMPUTER SYSTEM AND METHOD FOR TRAINING A TRAFFIC AGENT IN A SIMULATION ENVIRONMENT
DE102022117841A1 (en) Method, system and computer program product for calibrating and validating a driver assistance system (ADAS) and/or an automated driving system (ADS) taking into account a subjective evaluation

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication