DE102022132922A1 - Method and system for virtual verification of automated driving functions - Google Patents
Method and system for virtual verification of automated driving functions Download PDFInfo
- Publication number
- DE102022132922A1 DE102022132922A1 DE102022132922.4A DE102022132922A DE102022132922A1 DE 102022132922 A1 DE102022132922 A1 DE 102022132922A1 DE 102022132922 A DE102022132922 A DE 102022132922A DE 102022132922 A1 DE102022132922 A1 DE 102022132922A1
- Authority
- DE
- Germany
- Prior art keywords
- module
- verification
- simulation
- evaluation
- adas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000006870 function Effects 0.000 title claims abstract description 46
- 238000012360 testing method Methods 0.000 claims abstract description 138
- 238000004088 simulation Methods 0.000 claims abstract description 114
- 238000011156 evaluation Methods 0.000 claims abstract description 75
- 238000012795 verification Methods 0.000 claims abstract description 50
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims abstract description 10
- 230000002123 temporal effect Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 230000006399 behavior Effects 0.000 claims description 19
- 238000013473 artificial intelligence Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 9
- 238000002872 Statistical quality control Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 5
- 238000001556 precipitation Methods 0.000 claims description 5
- 230000001939 inductive effect Effects 0.000 claims description 4
- 238000012417 linear regression Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 238000000342 Monte Carlo simulation Methods 0.000 claims description 2
- 208000018910 keratinopathic ichthyosis Diseases 0.000 abstract 1
- 210000002569 neuron Anatomy 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 238000010200 validation analysis Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug (10), insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems, wobei ein Szenario (SZi) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt, umfassend:- Erstellen von Testfällen (Ti) von einem Testagenten (220), wobei für jeden Testfall (Ti) zumindest ein verifikationsrelevantes Szenario (SZi(ver)) ausgewählt wird;- Durchführen einer Simulation von einem Simulationsmodul (400) mit den erstellten Testfällen (Ti) zur Bestimmung von Simulationsergebnissen (450);- Durchführen einer Bewertung der Simulationsergebnisse (450) durch ein Bewertungsmodul (500) zur Bestimmung von Bewertungsergebnissen (550), wobei das Bewertungsmodul (500) ein Fahrfunktionsbewertungsmodul (520) zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennwerten für die Verifikation umfasst;- Generieren und Ausgeben einer Verifikationsanalyse (750) zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen (550) von dem Ausgabemodul (700), insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.The invention relates to a method for the virtual verification of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) for a motor vehicle (10), in particular for testing, training and applying the ADAS/ADS system, wherein a scenario (SZi) represents a traffic event in a temporal sequence, comprising:- Creation of test cases (Ti) by a test agent (220), wherein for each test case (Ti) at least one verification-relevant scenario (SZi(ver)) is selected;- Carrying out a simulation by a simulation module (400) with the created test cases (Ti) to determine simulation results (450);- Carrying out an evaluation of the simulation results (450) by an evaluation module (500) to determine evaluation results (550), wherein the evaluation module (500) has a driving function evaluation module (520) for determining the performance and safety of a driving function by means of functional performance indicators (KPIs) and Evaluation parameters for the verification;- generating and outputting a verification analysis (750) of at least partial aspects of the ADAS/ADS system on the basis of the evaluation results (550) from the output module (700), in particular in the form of diagrams and histograms for a verification report.
Description
Die Erfindung betrifft ein Verfahren, ein System, ein ADAS/ADS-System und ein Computerprogrammprodukt zur virtuellen Verifikation von automatisierten Fahrfunktionen von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS).The invention relates to a method, a system, an ADAS/ADS system and a computer program product for the virtual verification of automated driving functions of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS).
Moderne Fahrzeuge sind mit einer Vielzahl von Fahrassistenzsystemen bzw. automatisierten Fahrfunktionen ausgestattet, um den Fahrer beim Fahren zu unterstützen und seine Sicherheit zu erhöhen. Fahrassistenzsysteme unterstützen beispielsweise die Geschwindigkeits- und Abstandsregelung sowie Spurhalte- und Spurwechselfunktionen. Dies führt zu einem verbesserten Fahrkomfort und einer höheren Sicherheit insbesondere bei Fahrten auf der Autobahn und bei Überholmanövern.Modern vehicles are equipped with a variety of driver assistance systems or automated driving functions to support the driver while driving and increase safety. Driver assistance systems support, for example, speed and distance control as well as lane keeping and lane changing functions. This leads to improved driving comfort and greater safety, especially when driving on the motorway and when overtaking.
Dieser Trend zu Fahrerassistenzsystemen (engl. Advanced Driver Assistance System, ADAS), automatisierten Fahrsystemen (Automated Driving Systems, ADS) bei Kraftfahrzeugen, aber auch bei Luftfahrzeugen oder Wasserfahrzeugen erfordert jedoch umfangreiche Absicherungsstrategien, da die Verantwortung über die Fahrzeugführung nicht mehr uneingeschränkt beim Fahrer liegt, sondern aktive Funktionen von Rechnereinheiten im Fahrzeug übernommen werden. Daher muss sichergestellt werden, dass autonom sich bewegende Objekte eine sehr geringere Fehlerrate beim Fahrverhalten aufweisen. Für die Erkennung und Klassifizierung von Objekten und die Interpretation von Verkehrsszenarien im Umfeld eines Fahrzeugs ist das gezielte Testen, Trainieren und Applizieren der Fahrerassistenzsysteme und automatisierten Fahrsysteme sowohl in Extrem- und Ausnahmesituationen (engl. Corner-Cases) als auch in alltäglichen Situationen erforderlich. Mit der zunehmenden Leistungsfähigkeit von ADAS/ADS-Systemen steigt allerdings auch die Anzahl der Fahrszenarien, die von den Systemen im Straßenverkehr bewältigt werden müssen.However, this trend towards advanced driver assistance systems (ADAS) and automated driving systems (ADS) in motor vehicles, aircraft and watercraft requires extensive security strategies, as responsibility for driving the vehicle no longer lies entirely with the driver, but active functions are taken over by computer units in the vehicle. It must therefore be ensured that autonomously moving objects have a very low error rate in their driving behavior. The detection and classification of objects and the interpretation of traffic scenarios in the vicinity of a vehicle require targeted testing, training and application of driver assistance systems and automated driving systems in both extreme and exceptional situations (corner cases) and in everyday situations. However, as the performance of ADAS/ADS systems increases, the number of driving scenarios that the systems have to handle in road traffic also increases.
Für die Sicherstellung eines sicheren, komfortablen und effizienten Verhaltens eines ADAS/ADS-Systems werden daher einzelne Funktionen und das Gesamtsystem während der Fahrzeugentwicklung validiert und verifiziert. Bei der Validierung wird gezielt getestet, ob ein ADAS/ADS-System festgelegte Kundenanforderungen erfüllt. Der Validierung vorgeschaltet sind Verifikationstests, mit denen überprüft wird, ob die Module, Komponenten, Subsysteme, die Software und die Softwarearchitektur eines Fahrerassistenzsystems festgelegten Spezifikationen genügen. Hierzu werden bezogen auf die jeweilige festgelegt Spezifikation Testfälle erstellt, um die verschiedenen Aspekte eines ADAS/ADS-Systems zu überprüfen bzw. zu verifizieren. Systemfunktionalitäten, die verifiziert werden, sind beispielsweise die korrekte Informationsanzeige mittels Displays an den Fahrer, das Auslösen von Warnkaskaden durch optische, akustische und/oder haptische Signale, die korrekte Übergabe der Fahraufgabe (Take-over-Request), die korrekte Einstellung der Menüstruktur des ADAS/ADS-Systems, und des Weiteren systeminterne Funktionalitäten wie ein korrektes Startverhalten, das Laden korrekter Datensätze sowie systemübergreifende Funktionalitäten wie die korrekte Kommunikation mit anderen Steuerungsgeräten und externen Systemen, die Fehlererkennung in anderen Systemen wie Sensoren und Aktoren.To ensure that an ADAS/ADS system behaves safely, comfortably and efficiently, individual functions and the entire system are validated and verified during vehicle development. Validation involves testing specifically to determine whether an ADAS/ADS system meets specified customer requirements. Validation is preceded by verification tests to check whether the modules, components, subsystems, software and software architecture of a driver assistance system meet specified specifications. For this purpose, test cases are created based on the respective specified specification in order to check or verify the various aspects of an ADAS/ADS system. System functionalities that are verified include, for example, the correct display of information to the driver via displays, the triggering of warning cascades through optical, acoustic and/or haptic signals, the correct transfer of the driving task (take-over request), the correct setting of the menu structure of the ADAS/ADS system, and further system-internal functionalities such as correct start-up behavior, the loading of correct data sets as well as cross-system functionalities such as correct communication with other control devices and external systems, error detection in other systems such as sensors and actuators.
Die Durchführung der Verifikation erfolgt für einfache ADAS/ADS-Systeme typischerweise auf konventionelle Weise mit Prototypenfahrzeugen. Allerdings sind konventionelle Verifikationstests aufwändig und kostenintensiv, so dass neue Ansätze benötigt werden, um den Entwicklungsprozess für ADAS/ADS-Systeme mit vertretbarem Aufwand und akzeptablen Kosten durchzuführen. Es ist daher erstrebenswert, virtuelle Simulationsverfahren für die Verifikationstests von ADAS/ADS-Systemen zu verwenden und diese in einer Weise zu gestalten, dass damit belastbare Verifikationsergebnisse erzielt werden können.Verification of simple ADAS/ADS systems is typically carried out in a conventional manner using prototype vehicles. However, conventional verification tests are complex and costly, so new approaches are needed to carry out the development process for ADAS/ADS systems with reasonable effort and acceptable costs. It is therefore desirable to use virtual simulation methods for the verification tests of ADAS/ADS systems and to design them in such a way that reliable verification results can be achieved.
Die
Die
Die
Die
Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, Möglichkeiten zur Durchführung von virtuellen Verifikationstests für Systemfunktionalitäten von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) anzugeben, so dass der Verifikationsvorgang weniger Zeit benötigt und mit einer verbesserten Effizienz durchgeführt werden kann, um die Sicherheit von ADAS/ADS-Systemen zu erhöhen und Ressourcen sowie Kosten einsparen zu können.The object underlying the invention is to provide possibilities for carrying out The aim of the invention is to specify a method for performing virtual verification tests for system functionalities of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) so that the verification process takes less time and can be carried out with improved efficiency in order to increase the safety of ADAS/ADS systems and to save resources and costs.
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 11, hinsichtlich eines ADAS/ADS-Systems durch die Merkmale des Patentanspruchs 13 und hinsichtlich eines Computerprogrammprodukts durch die Merkmale des Patentanspruchs 15 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.This object is achieved according to the invention with regard to a method by the features of patent claim 1, with regard to a system by the features of patent claim 11, with regard to an ADAS/ADS system by the features of patent claim 13 and with regard to a computer program product by the features of patent claim 15. The further claims relate to preferred embodiments of the invention.
Durch die vorliegende Erfindung ist eine automatisierte virtuelle Verifikation zumindest von Teilaspekten eines ADAS/ADS-Systems durch entsprechend angepasste Simulationsverfahren möglich. Durch funktionale KPIs können Verifikationsergebnisse quantifiziert werden, so dass ein Testingenieur der Verifikationsanalyse entnehmen kann, welche Spezifikationsanforderungen von dem ADAS/ADS-System erfüllt wurden und für welche Aspekte Verbesserungsbedarf besteht. Da die virtuelle Verifikation automatisiert und in kurzer Zeit durchgeführt werden kann, können insbesondere die Auswirkungen von kleinen Softwareänderungen bei einem ADAS/ADS-System ohne großen Aufwand analysiert werden.The present invention enables automated virtual verification of at least partial aspects of an ADAS/ADS system using appropriately adapted simulation methods. Functional KPIs can be used to quantify verification results, so that a test engineer can use the verification analysis to determine which specification requirements have been met by the ADAS/ADS system and which aspects need improvement. Since virtual verification can be automated and carried out in a short time, the effects of small software changes in an ADAS/ADS system in particular can be analyzed without great effort.
Gemäß einem ersten Aspekt stellt die Erfindung ein Verfahren zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug, insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar. Das Verfahren umfasst die Verfahrensschritte:
- - Erstellen von Testfällen von einem Testagenten, wobei für jeden Testfall zumindest ein verifikationsrelevantes Szenario ausgewählt wird;
- - Durchführen einer Simulation von einem Simulationsmodul mit den erstellten Testfällen zur Bestimmung von Simulationsergebnissen, wobei das Simulationsmodul ein Fahrumgebungsmodul und/oder ein Fahrermodul und/oder ein Kraftfahrzeugmodul umfasst, die jeweils ausgebildet sind, Testfälle mit verifikationsrelevanten Szenarien zu simulieren;
- - Durchführen einer Bewertung der Simulationsergebnisse durch ein Bewertungsmodul zur Bestimmung von Bewertungsergebnissen, wobei das Bewertungsmodul ein Fahrfunktionsbewertungsmodul zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennwerten für die Verifikation umfasst;
- - Generieren und Ausgeben einer Verifikationsanalyse zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen von dem Ausgabemodul, insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.
- - Creation of test cases by a test agent, whereby for each test case at least one verification-relevant scenario is selected;
- - Carrying out a simulation by a simulation module with the created test cases to determine simulation results, wherein the simulation module comprises a driving environment module and/or a driver module and/or a motor vehicle module, each of which is designed to simulate test cases with verification-relevant scenarios;
- - performing an evaluation of the simulation results by an evaluation module for determining evaluation results, the evaluation module comprising a driving function evaluation module for determining the performance and safety of a driving function by means of functional performance indicators (KPIs) and evaluation metrics for verification;
- - Generating and outputting a verification analysis of at least partial aspects of the ADAS/ADS system based on the evaluation results from the output module, in particular in the form of diagrams and histograms for a verification report.
In einer vorteilhaften Weiterbildung ist vorgesehen, dass das Fahrumgebungsmodul zumindest ein Simulationsmodell umfasst, das die Fahrumgebung des Kraftfahrzeugs und die beteiligten Akteure in einem verifikationsrelevanten Szenario modelliert.In an advantageous further development, it is provided that the driving environment module comprises at least one simulation model that models the driving environment of the motor vehicle and the actors involved in a verification-relevant scenario.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Fahrermodul zumindest ein Simulationsmodell umfasst, das das mögliche Verhalten des Fahrers in einem verifikationsrelevanten Szenario modelliert.In an advantageous embodiment, it is provided that the driver module comprises at least one simulation model that models the possible behavior of the driver in a verification-relevant scenario.
In einer weiteren Ausführungsform ist vorgesehen, dass das Kraftfahrzeugmodul zumindest ein Simulationsmodell umfasst, das das mögliche Verhalten des Kraftfahrzeugs n einem verifikationsrelevanten Szenario modelliert.In a further embodiment, it is provided that the motor vehicle module comprises at least one simulation model that models the possible behavior of the motor vehicle in a verification-relevant scenario.
Vorteilhafterweise umfassen das Simulationsmodell, das Simulationsmodell und das Simulationsmodell Softwareapplikationen mit Algorithmen der künstlichen Intelligenz wie neuronale Netze und/oder Simulationsalgorithmen wie X-in-the-Loop (XiL).Advantageously, the simulation model, the simulation model and the simulation model comprise software applications with artificial intelligence algorithms such as neural networks and/or simulation algorithms such as X-in-the-Loop (XiL).
Insbesondere umfassen die Algorithmen der Softwareapplikationen Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, und/oder rückgekoppelte neuronale Netzwerke.In particular, the algorithms of the software applications include mean values, minimum and maximum values, lookup tables, models of expected values, linear regression methods, Gaussian processes, fast Fourier transformations, integral and differential calculus, Markov methods, probability methods such as Monte Carlo methods, temporal difference learning, extended Kalman filters, radial basis functions, data fields, convergent neural networks, deep neural networks, and/or feedback neural networks.
In einer Weiterentwicklung ist vorgesehen, dass der Testagent zumindest eine Softwareapplikation mit Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet/verwenden.In a further development, it is planned that the test agent uses at least one software application with calculation methods and/or algorithms of artificial intelligence.
In einer weiteren Ausführungsform ist vorgesehen, dass das Fahrumgebungsmodul, das Fahrermodul und das Kraftfahrzeugmodul mit Sensoren und/oder einer Datenbank verbunden ist/sind, um weitere Informationen für die Erstellung der Simulationsmodelle zu erhalten.In a further embodiment, it is provided that the driving environment module, the driver module and the motor vehicle module are equipped with sensors and/or a database to obtain further information for the creation of the simulation models.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Bewertungsmodul ein Simulationsbewertungsmodul zur Bestimmung der Qualität der Simulation mittels Simulationsqualitätskriterien (SQCs) umfasst, und wobei die Bewertungsergebnisse die Leistungsindikatoren (KPIs), die Bewertungskennwerte und/oder die Simulationsqualitätskriterien (SQCs) umfassen.In an advantageous embodiment, it is provided that the evaluation module comprises a simulation evaluation module for determining the quality of the simulation by means of simulation quality criteria (SQCs), and wherein the evaluation results comprise the key performance indicators (KPIs), the evaluation parameters and/or the simulation quality criteria (SQCs).
Insbesondere ist vorgesehen, dass ein Szenarioparameter eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius und/oder eine Zahl darstellt.In particular, it is envisaged that a scenario parameter represents a physical quantity, a chemical quantity, a torque, a rotational speed, a voltage, a current, an acceleration, a speed, a braking value, a direction, an angle, a radius and/or a number.
Vorteilhafterweise sind die Sensoren als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, GPS-Systeme, Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren, Drehmomentsensoren, Niederschlagssensoren und/oder Temperatursensoren ausgebildet.Advantageously, the sensors are designed as radar systems, LIDAR systems for optical distance and speed measurement, image-recording 2D/3D cameras in the visible, IR and/or UV range, GPS systems, acceleration sensors, speed sensors, capacitive sensors, inductive sensors, voltage sensors, torque sensors, precipitation sensors and/or temperature sensors.
Gemäß einem zweiten Aspekt stellt die Erfindung ein System zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug, insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar. According to a second aspect, the invention provides a system for the virtual verification of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) for a motor vehicle, in particular for testing, training and applying the ADAS/ADS system. A scenario represents a traffic situation in a temporal sequence.
Das System umfasst ein Testmodul mit einem Testagenten, ein Simulationsmodul, ein Bewertungsmodul und ein Ausgabemodul. Der Testagent ist ausgebildet, Testfälle zu erstellen, wobei für jeden Testfall zumindest ein verifikationsrelevantes Szenario ausgewählt wird. Das Simulationsmodul ist ausgebildet, eine Simulation mit den erstellten Testfällen durchzuführen zur Bestimmung von Simulationsergebnissen, wobei das Simulationsmodul ein Fahrumgebungsmodul und/oder ein Fahrermodul und/oder ein Kraftfahrzeugmodul umfasst, die jeweils ausgebildet sind, Testfälle mit verifikationsrelevanten Szenarien zu simulieren. Das Bewertungsmodul ist ausgebildet, eine Bewertung der Simulationsergebnisse zur Bestimmung von Bewertungsergebnissen durchzuführen, wobei das Bewertungsmodul ein Fahrfunktionsbewertungsmodul zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennwerten für die Verifikation umfasst. Das Ausgabemodul ist ausgebildet, eine Verifikationsanalyse zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen von dem Ausgabemodul zu generieren und auszugeben, insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.The system comprises a test module with a test agent, a simulation module, an evaluation module and an output module. The test agent is designed to create test cases, with at least one verification-relevant scenario being selected for each test case. The simulation module is designed to carry out a simulation with the created test cases to determine simulation results, with the simulation module comprising a driving environment module and/or a driver module and/or a motor vehicle module, each of which is designed to simulate test cases with verification-relevant scenarios. The evaluation module is designed to carry out an evaluation of the simulation results to determine evaluation results, with the evaluation module comprising a driving function evaluation module for determining the performance and safety of a driving function using functional performance indicators (KPIs) and evaluation parameters for verification. The output module is designed to generate and output a verification analysis of at least partial aspects of the ADAS/ADS system on the basis of the evaluation results from the output module, in particular in the form of diagrams and histograms for a verification report.
In einer vorteilhaften Weiterbildung ist vorgesehen, dass das Fahrumgebungsmodul zumindest ein Simulationsmodell umfasst, das die Fahrumgebung des Kraftfahrzeugs und die beteiligten Akteure in einem verifikationsrelevanten Szenario modelliert.In an advantageous further development, it is provided that the driving environment module comprises at least one simulation model that models the driving environment of the motor vehicle and the actors involved in a verification-relevant scenario.
In einer weiteren Ausführungsform ist vorgesehen, dass das Fahrermodul zumindest ein Simulationsmodell umfasst, das das mögliche Verhalten des Fahrers in einem verifikationsrelevanten Szenario modelliert.In a further embodiment, it is provided that the driver module comprises at least one simulation model that models the possible behavior of the driver in a verification-relevant scenario.
Vorteilhafterweise ist vorgesehen, dass das Kraftfahrzeugmodul zumindest ein Simulationsmodell umfasst, das das mögliche Verhalten des Kraftfahrzeugs in einem verifikationsrelevanten Szenario modelliert.Advantageously, the motor vehicle module comprises at least one simulation model that models the possible behavior of the motor vehicle in a verification-relevant scenario.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Simulationsmodell, das Simulationsmodell und das Simulationsmodell Softwareapplikationen mit Algorithmen der künstlichen Intelligenz wie neuronale Netze und/oder Simulationsalgorithmen wie X-in-the-Loop (XiL) umfassen.In an advantageous embodiment, it is provided that the simulation model, the simulation model and the simulation model comprise software applications with artificial intelligence algorithms such as neural networks and/or simulation algorithms such as X-in-the-Loop (XiL).
Gemäß einem dritten Aspekt stellt die Erfindung ein ADAS/ADS-System für ein Kraftfahrzeug bereit, wobei zur virtuellen Verifikation von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS), insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems, das Verfahren gemäß dem ersten Aspekt verwendet wird.According to a third aspect, the invention provides an ADAS/ADS system for a motor vehicle, wherein the method according to the first aspect is used for the virtual verification of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS), in particular for testing, training and applying the ADAS/ADS system.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Programmierung und Anpassung des ADAS/ADS-Systems im Rahmen der virtuellen Verifikation mittels einer kontinuierlichen Integration (engl. continuous integration) erfolgt.In an advantageous embodiment, the programming and adaptation of the ADAS/ADS system is carried out within the framework of virtual verification by means of continuous integration.
Gemäß einem vierten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der derart konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.According to a fourth aspect, the invention provides a computer program product comprising an executable program code configured to carry out the method according to the first aspect when executed.
Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.The invention is explained in more detail below with reference to embodiments shown in the drawing.
Dabei zeigt:
-
1 ein Blockdiagramm zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems; -
2 ein Blockdiagramm eines erfindungsgemäßen Simulationsmoduls; -
3 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens; -
4 ein Blockdiagramm eines Computerprogrammprodukt gemäß einer Ausführungsform des vierten Aspekts der Erfindung.
-
1 a block diagram for explaining an embodiment of a system according to the invention; -
2 a block diagram of a simulation module according to the invention; -
3 a flow chart explaining the individual method steps of a method according to the invention; -
4 a block diagram of a computer program product according to an embodiment of the fourth aspect of the invention.
Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden in der nachfolgenden Beschreibung in Verbindung mit den Ansprüchen erläutert.Additional features, aspects and advantages of the invention or embodiments thereof are explained in the following description in conjunction with the claims.
Für das Testen, Trainieren, Absichern und Applizieren von Fahrerassistenzsystemen (ADAS) und automatisierten Fahrsystemen (ADS) werden zunehmend simulierte Verkehrsszenarien, die durch Programmierung erstellt werden, verwendet. Als Szenario wird im Rahmen der Erfindung ein Verkehrsgeschehen in einer zeitlichen Sequenz bezeichnet. Ein Beispiel für ein Szenario ist das Befahren einer Autobahnbrücke, das Abbiegen auf einer Abbiegespur, das Durchfahren eines Tunnels, das Einbiegen in einen Kreisverkehr oder das Halten vor einem Fußgängerübergang. Darüber hinaus können spezifische Sichtverhältnisse beispielsweise aufgrund der Dämmerung oder einer hohen Sonnenlichteinstrahlung sowie Umweltbedingungen wie das Wetter und die Jahreszeit, das Verkehrsaufkommen sowie bestimmte geographische topographische Verhältnisse ein Szenario beeinflussen. Beispielsweise kann ein Überholvorgang als ein Szenario beschrieben werden, bei dem ein erstes Fahrzeug sich zunächst hinter einem anderen Fahrzeug befindet, dann einen Spurwechsel auf die andere Fahrbahn durchführt und die Geschwindigkeit erhöht, um das andere Fahrzeug zu überholen. Ein derartiges Szenario wird auch als Cut-In-Szenario bezeichnet.Simulated traffic scenarios created by programming are increasingly being used to test, train, secure and apply driver assistance systems (ADAS) and automated driving systems (ADS). In the context of the invention, a scenario refers to a traffic event in a temporal sequence. An example of a scenario is driving over a motorway bridge, turning into a turning lane, driving through a tunnel, turning into a roundabout or stopping in front of a pedestrian crossing. In addition, specific visibility conditions, for example due to twilight or high levels of sunlight, as well as environmental conditions such as the weather and the time of year, the volume of traffic and certain geographical topographical conditions can influence a scenario. For example, an overtaking maneuver can be described as a scenario in which a first vehicle is initially behind another vehicle, then changes lanes to the other lane and increases speed to overtake the other vehicle. Such a scenario is also referred to as a cut-in scenario.
Um Fahrerassistenzsysteme (ADAS) und automatisierte Fahrsysteme (ADS) in einem Kraftfahrzeug einsetzen zu können, müssen diese für einen verlässlichen Einsatz validiert und verifiziert werden. Ziel der Validierung ist es, für einen Datensatz oder mehrere Datensätze die Zuverlässigkeit und Robustheit eines Fahrerassistenzsystems (ADAS) bzw. eines automatisierten Fahrsystems (ADS) in der gesamten ODD nachzuweisen und anschließend eine Freigabe zu erteilen. In order to be able to use driver assistance systems (ADAS) and automated driving systems (ADS) in a motor vehicle, they must be validated and verified for reliable use. The aim of the validation is to demonstrate the reliability and robustness of a driver assistance system (ADAS) or an automated driving system (ADS) in the entire ODD for one or more data sets and then to issue an approval.
Der Validierung vorgeschaltet sind Verifikationstests, mit denen überprüft wird, ob die Module, Komponenten, Subsysteme, die Software und die Softwarearchitektur eines Fahrerassistenzsystems festgelegten Spezifikationen genügen. Hierzu werden bezogen auf die jeweilige festgelegt Spezifikation Testfälle erstellt, um die verschiedenen Aspekte eines ADAS/ADS-Systems zu überprüfen bzw. zu verifizieren. Systemfunktionalitäten, die verifiziert werden, sind beispielsweise die korrekte Informationsanzeige mittels Displays an den Fahrer, das Auslösen von Warnkaskaden mittels optischer, akustischer und/oder haptischer Signale, die korrekte Übergabe der Fahraufgabe (Take-over-Request), die korrekte Einstellung der Menüstruktur des Systems, des Weiteren systeminterne Funktionalitäten wie ein korrektes Startverhalten, das Laden korrekter Datensätze sowie systemübergreifende Funktionalitäten wie die korrekte Kommunikation mit anderen Steuerungsgeräten und externen Systemen, die Fehlererkennung in anderen Systemen wie Sensoren und Aktoren.Validation is preceded by verification tests that check whether the modules, components, subsystems, software and software architecture of a driver assistance system meet specified specifications. For this purpose, test cases are created based on the respective specified specification in order to check or verify the various aspects of an ADAS/ADS system. System functionalities that are verified include, for example, the correct display of information to the driver via displays, the triggering of warning cascades using optical, acoustic and/or haptic signals, the correct transfer of the driving task (take-over request), the correct setting of the system's menu structure, and also system-internal functionalities such as correct start-up behavior, loading of correct data sets and cross-system functionalities such as correct communication with other control devices and external systems, and error detection in other systems such as sensors and actuators.
Erfindungsgemäß werden für die Verifikation verifikationsrelevante Szenarien verwendet, die entweder auch für die Validierung verwendet werden können oder die spezifisch für die Verifikation von einem Ingenieur und/oder mittels Generierungsalgorithmen entwickelt werden.According to the invention, verification-relevant scenarios are used for the verification, which can either also be used for validation or which are developed specifically for the verification by an engineer and/or by means of generation algorithms.
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Prozessoreinheit und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Der Prozessor ist speziell dazu eingerichtet, die Programmbefehle derart auszuführen, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder zu realisieren. Insbesondere kann ein Modul in einer Cloud-Computing-Infrastruktur integriert sein.In the context of the invention, a "module" can be understood as, for example, a processor and/or a processor unit and/or a memory unit for storing program instructions. The processor is specifically designed to execute the program instructions in such a way as to implement or realize the method according to the invention or a step of the method according to the invention. In particular, a module can be integrated into a cloud computing infrastructure.
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, des Systems, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Insbesondere kann der Prozessor hochparallele Recheneinheiten und leistungsfähige Grafikmodule enthalten.In the context of the invention, a "processor" can be understood as meaning, for example, a machine or an electronic circuit. A processor can in particular be a main processor (Central Processing Unit, CPU), a microprocessor or a microcontroller, for example an application-specific integrated circuit or a digital signal processor, possibly in combination with a memory unit for storing program instructions, etc. A processor can also be understood to mean a virtualized processor, a virtual machine or a soft CPU. It can also be, for example, a programmable processor that is equipped with configuration steps for carrying out the above-mentioned method according to the invention or is configured with configuration steps such that the programmable processor implements the inventive features of the method, the system, the modules, or other aspects and/or partial aspects of the invention. In particular, the processor can contain highly parallel computing units and powerful graphics modules.
Unter einer „Speichereinheit“ oder einem „Speichermodul“ kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form eines Arbeitsspeichers (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.In the context of the invention, a "memory unit" or a "memory module" can be understood to mean, for example, a volatile memory in the form of a random access memory (RAM) or a permanent memory such as a hard disk or a data carrier or, for example, a removable memory module. The memory module can also be a cloud-based storage solution.
Der Testagent 220 des Testagentenmoduls 200 erstellt mittels einer Softwareapplikation eine Mehrzahl von Testfällen Ti für eine oder mehrere Fahraufgaben, für die eine Verifikation insbesondere der Module, Komponenten, Subsysteme, der Software und der Systemarchitektur eines ADAS/ADS-Systems erfolgen soll. Die jeweilige Fahraufgabe wird vor dem Starten der Simulation formuliert, beispielsweise von einem Experten wie einem Ingenieur. Es kann aber auch vorgesehen sein, dass eine Liste von Fahraufgaben von einer Softwareapplikation generiert wird. Diese Liste kann dann sukzessive von dem erfindungsgemäßen System 100 bearbeitet werden. Eine beispielhafte Fahraufgabe ist ein Spurwechsel auf einer Autobahn.The
Es kann vorgesehen sein, dass ein Testingenieur maschinenlesbare Testfälle Ti beispielsweise aus einer Systemspezifikation erstellt und diese vordefinierten Testfälle Ti werden dann von dem Testagenten 220 verwendet. Für die Auswahl und die Gestaltung der Testfälle Ti kann eine Teststrategie 230 vorgesehen sein, die vorgibt, wie der Testagent 220 die Testfälle Ti erstellt. Für die Festlegung der Teststrategie 230 können verschiedene Berechnungsverfahren und Algorithmen, insbesondere Algorithmen der künstlichen Intelligenz vorgesehen sein.It can be provided that a test engineer creates machine-readable test cases T i , for example from a system specification, and these predefined test cases T i are then used by the
Die erforderlichen Informationen für die Erstellung der Testfälle Ti kann der Testagent 220 der Parameterdatenbank 320, der Szenariendatenbank 330 und der Bewertungsdatenbank 340 entnehmen. Im Rahmen der Erfindung kann vorgesehen sein, dass darüber hinaus weitere Datenbanken verwendet werden. Die erstellten Testfälle Ti werden in der Testdatenbank 300 gespeichert. Falls ein Testingenieur direkt die Testfälle Ti erstellt, dann werden diese in dem passenden Format in der Testdatenbank 300 gespeichert und der Testagent 220 kann die Testfälle Ti der Testdatenbank 300 entnehmen.The
Unter „Datenbank“ ist sowohl ein Speicheralgorithmus als auch die Hardware in Form einer Speichereinheit zu verstehen. Insbesondere können die Datenbanken 300, 320, 330, 340 als Teil einer Cloud-Computing-Infrastruktur ausgebildet sein. The term “database” refers to both a storage algorithm and the hardware in the form of a storage unit. In particular, the
Unter Daten sind im Zusammenhang mit der Erfindung sowohl Rohdaten als auch bereits aufbereitete Daten aus Messergebnissen von Sensoren sowie aus weiteren Datenquellen zu verstehen.In the context of the invention, data refers to both raw data and already processed data from measurement results from sensors and from other data sources.
Die Erstellung der Testfälle Ti erfolgt auf der Basis von parametrisierten Szenarien SZpi, die auch als logische Szenarien bezeichnet werden, und in der Szenariendatenbank 330 gespeichert sind. Als ein parametrisiertes Szenario SZpi, wird im Rahmen der Erfindung ein Szenario bezeichnet, das insbesondere in einem maschinenlesbaren Code geschrieben ist. Ein parametrisiertes Szenario SZpi wird durch verschiedene Szenarioparameter P1, P2, ... , Pn aus einer Menge von möglichen Szenarioparametern Pi und zugehörigen Szenarioparameterwerten PV1, PV2, ... , PVn aus einer Menge von möglichen Szenarioparameterwerten PVi definiert, wobei Szenarioparameterwerte PVi den Wertebereich eines Szenarioparameters Pi festlegen. Als ein konkretes Szenario SZc wird ein Szenario SZ bezeichnet, bei dem die Szenarioparameter Pci und die zugehörigen Szenarioparameterwerte PVci bzw. Wertebereiche der Szenarioparameterwerte PVci festgelegt sind. Bei beiden Szenarien, sowohl dem parametrisierten Szenario SZp als auch dem konkreten Szenario SZc, handelt es sich jeweils um Szenarien, die insbesondere in einem maschinenlesbaren Code geschrieben sind.The test cases T i are created on the basis of parameterized scenarios SZp i , which are also referred to as logical scenarios, and are stored in the
Ein Szenarioparameter Pi stellt beispielsweise eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius, einen Ort, eine Zahl, ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit dar. Szenarioparameter Pi kennzeichnen somit im Rahmen der vorliegenden Erfindung Eigenschaften und Merkmale eines Szenarios. Ein Beispiel für einen Szenarioparameter Pi ist die Geschwindigkeit eines Ego-Fahrzeugs und ein Wertebereich des zugehörigen Szenarioparameterwertes PVi kann den Bereich von 100 km/h bis 180 km/h für ein Szenario SZpi umfassen. Für ein anderes Szenario SZpk kann der Wertebereich des Szenarioparameterwertes PVi sich von 40 km/h bis 70 km/h erstrecken.For example, a scenario parameter P i represents a physical quantity, a chemical quantity, a torque, a rotational speed, a voltage, a current, an acceleration, a speed, a braking value, a direction, an angle, a radius, a location, a number, a moving object such as a motor vehicle, a person or a cyclist, an immovable object such as a building or a tree, a road configuration such as a motorway, a road sign, a traffic light, a tunnel, a roundabout, a turning lane, a traffic volume, a topographical structure such as a gradient, a time of day, a temperature, a precipitation value, a weather and/or a time of year. Scenario parameters P i thus characterize properties and characteristics of a scenario within the scope of the present invention. An example of a scenario parameter P i is the speed of an ego vehicle and a value range of the associated scenario parameter value PV i can cover the range from 100 km/h to 180 km/h for a scenario SZp i . For another scenario SZp k the value range of the scenario parameter value PV i can extend from 40 km/h to 70 km/h.
Ein parametrisiertes Szenario SZp umfasst eine zeitliche Folge von Zeitintervallen Δt1,Δt2.,...,Δtn, in denen jeweils verschiedene Szenen und Ereignisse stattfinden. Ein parametrisiertes Szenario SZp beginnt mit einer Startszene und entwickelt sich dann durch auftretende Ereignisse weiter, aus denen im zeitlichen Verlauf neue Folgeszenen entstehen. Die Startszene wird somit durch ein oder mehrere Ereignisse verändert. Bei einem Ereignis kann es sich sowohl um eine von einem Verkehrsteilnehmer aktiv ausgelöste Reaktion wie eine Beschleunigung handeln als auch um ein Ereignis, das zyklisch wiederkehrt, wie beispielsweise die Schaltvorgänge einer Ampel. Die Startszene und die einzelnen Folgeszenen umfassen somit jeweils nur ein kleines Zeitintervall Δt bzw. eine Momentaufnahme, während ein parametrisiertes Szenario SZp eine längere Zeitspanne umfasst.A parameterized scenario SZp comprises a temporal sequence of time intervals Δt 1 ,Δt 2 .,...,Δt n , in each of which different scenes and events take place. A parameterized scenario SZp begins with a start scene and then develops further through events that occur, from which new subsequent scenes arise over time. The start scene is thus changed by one or more events. An event can be a reaction actively triggered by a road user, such as acceleration, or an event that recurs cyclically, such as the switching of a traffic light. The start scene and the individual subsequent scenes therefore each only cover a small time interval Δt or a snapshot, whereas a parameterized scenario SZp covers a longer period of time.
Bei einem Testfall Ti handelt es sich somit um ein relevantes parametrisiertes Szenario SZp und die Festlegung von Szenarioparametern Pi und gegebenenfalls weiteren Parametern. Insbesondere können zusätzlich Applikationsparameter Pappi und Bewertungsparameter vorgesehen sein, die eine weitere Anpassung eines parametrisierten Szenarios SZpi an einen spezifischen Anwendungsfall ermöglichen.A test case T i is therefore a relevant parameterized scenario SZp and the definition of scenario parameters P i and, if necessary, other parameters. In particular, additional application parameters Papp i and evaluation parameters can be provided, which enable further adaptation of a parameterized scenario SZp i to a specific application case.
Erfindungsgemäß werden zusätzlich zu bereits vorhandenen parametrisierten Szenarien SZpi verifikationsrelevante parametrisierte Szenarien SZpi(ver) erstellt, die für die Verifikation erforderlich sind. Ein Beispiel für ein verifikationsrelevantes Szenario SZpi(ver) ist ein Szenario, das das Rekuperationsmanagement bei einem Bremsmanöver-Szenario widerspiegelt. Für die Erstellung von parametrisierten Szenarien SZpi und verifikationsrelevante parametrisierte Szenarien SZpi(ver) können verschiedene Quellen wie Anforderungsspezifikationen, Expertenwissen, und/oder Messungen im öffentlichen Straßenverkehr oder auf Testgeländen mittels Sensoren verwendet werden. Die verwendeten Sensoren können insbesondere als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, und/oder GPS-Systeme ausgebildet sein. Des Weiteren können Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren Niederschlagssensoren und/oder Temperatursensoren, etc. verwendet werden. So kann mittels einer Softwareapplikation aus aufgenommenen Daten an einem bestimmten geographischen Ort ein jeweils passendes parametrisiertes Szenario SZpi. abgeleitet werden. Die Softwareapplikation verwendet insbesondere Algorithmen der künstlichen Intelligenz zur Identifikation der parametrisierten Szenarien SZpi. Bei den Algorithmen der künstlichen Intelligenz kann es sich insbesondere um Encoder und Decoder mit neuronalen Netzen handeln.According to the invention, in addition to existing parameterized scenarios SZp i, verification-relevant parameterized scenarios SZp i (ver) are created that are required for the verification. An example of a verification-relevant scenario SZp i (ver) is a scenario that reflects recuperation management in a braking maneuver scenario. Various sources such as requirement specifications, expert knowledge, and/or measurements in public traffic or on test sites using sensors can be used to create parameterized scenarios SZp i and verification-relevant parameterized scenarios SZp i (ver). The sensors used can in particular be designed as radar systems, LIDAR systems for optical distance and speed measurement, image-recording 2D/3D cameras in the visible, IR and/or UV range, and/or GPS systems. Furthermore, acceleration sensors, speed sensors, capacitive sensors, inductive sensors, voltage sensors, precipitation sensors and/or temperature sensors, etc. can be used. In this way, a software application can be used to derive a suitable parameterized scenario SZp i . from recorded data at a specific geographical location. The software application uses artificial intelligence algorithms in particular to identify the parameterized scenarios SZp i . The artificial intelligence algorithms can in particular be encoders and decoders with neural networks.
Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronen-Ausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Durch die Anordnung und die Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie vorwärtsgerichtete Netzwerke (engl. feedforward neural network (RNN)) ohne Rückkopplung, rückgekoppelte Netzwerke (engl. recurrent neural network) mit Rückkopplung oder gefaltete neuronale Netze (engl. convolutional neural networks (CNN)).A neural network consists of neurons that are arranged in several layers and connected to one another in different ways. A neuron is able to receive information at its input from outside or from another neuron, evaluate the information in a certain way and pass it on in a modified form at the neuron output to another neuron or output it as the final result. Hidden neurons are arranged between the input neurons and output neurons. Depending on the type of network, there can be several layers of hidden neurons. The arrangement and connection of the neurons creates different types of neural networks, such as feedforward neural networks (RNN) without feedback, recurrent neural networks with feedback, or convolutional neural networks (CNN).
Im Rahmen der vorliegenden Erfindung erstellt der Testagent 220 aus der Menge an möglichen verifikationsrelevanten parametrisierten Szenarien SZpi(ver) und parametrisierten Szenarien SZpi diejenigen Testfälle Ti, die für die Verifikation eines ADAS/ADS-Systems von Interesse sind bzw. der Testagent 220 verwendet die von einem Testingenieur vordefinierten Testfälle Ti, Für die Verifikation können neben den spezifisch für die Verifikation erstellten verifikationsrelevanten parametrisierten Szenarien SZpi(ver) teilweise auch parametrisierte Szenarien SZpi verwendet werden, die für andere Zwecke wie eine Validierung des ADAS/ADS-Systems generiert worden sind und bereits in der Szenariendatenbank 330 gespeichert sind. Ein Beispiel für ein solches parametrisiertes Szenario SZpi ist ein kritisches Bremsmanöver für einen Take-over-Request. Typischerweise wird von einem Testingenieur eine maschinenlesbare Testspezifikation erstellt. Diese enthält die zu testenden verifikationsrelevanten parametrisierten Szenarien Szpi(ver), die Szenarioparameter Pi und eine Metrik insbesondere in Form funktionaler KPIs für die Verifikation sowie Erwartungswerte.Within the scope of the present invention, the
Für die jeweilige Verifikationsaufgabe wählt der Testagent 220 somit passende verifikationsrelevante parametrisierte Szenarien SZpi(ver) und parametrisierte Szenarien SZpi aus der Szenariendatenbank 330 und passende Kalibrierungsparameter Pcali aus der Parameterdatenbank 320 aus. Diese von dem Testagenten 220 erstellten relevanten Testfälle Ti decken insbesondere die in einer Spezifikation festgelegten Anforderungen ab, die von automatisierten Fahrfunktionen eines ADAS/ADS-Systems beherrscht und entsprechend verifiziert werden müssen.For the respective verification task, the
Die Teststrategie 230 des Testagenten 220 entscheidet somit, welche Testfälle Ti mit ausgewählten Kombinationen von verifikationsrelevanten parametrisierten Szenarien SZpi(ver) und/oder parametrisierten Szenarien SZpi sowie passenden Kalibrierungsparametern Pcali sowie gegebenenfalls weiteren Parametern erstellt werden. Die verwendete Strategie wird durch die festgelegte Spezifikation vorgegeben. Im Rahmen der Erfindung ist jedoch insbesondere vorgesehen, dass die Testfälle Ti von einem Testingenieur erstellt werden. Die auf diese Weise bestimmten Testfälle Ti speichert der Testagent 220 in der Testdatenbank 300.The
Für die Durchführung einer Simulation übergibt der Testagent 220 die erstellten Testfälle Ti an das Simulationsmodul 400. Das Simulationsmodul 400 über ein Fahrumgebungsmodul 410, ein Fahrermodul 420 und ein Kraftfahrzeugmodul 430, die als austauschbare Untermodule ausgebildet sind und die Aufgabe haben, jeweils die im Folgenden genannten Teilaspekte eines jeweiligen Testfalls Ti oder einer Mehrzahl von Testfällen Ti zu simulieren. Durch diese drei Untermodule 410, 420, 430 kann die virtuelle Verifikation von Teilaspekten und/oder des Gesamtsystems von automatisierten Fahrfunktionen eines ADAS/ADS-Systems durchgeführt werden, da die Simulation im 3F-Parameterraum, der durch die Fahrumgebung, das Fahrzeug und den Fahrer bestimmt ist, stattfindet.To carry out a simulation, the
Wie in der
Das Fahrermodul 420 umfasst zumindest ein Simulationsmodell 422, das sich auf das Fahrverhalten eines Fahrers wie dynamisch oder defensiv bezieht. Zudem enthält dieses Simulationsmodell 422 eine Softwareapplikation, die derart ausgebildet ist, dass sie Testfälle Ti basierend auf verifikationsrelevanten parametrisierten Szenarien SZpi(ver) verarbeitet und das mögliche Verhalten des Fahrers in einer Fahrsituation wie einen Bremsvorgang oder einen Beschleunigungsvorgang modelliert. Insbesondere werden von dem Simulationsmodell 422 die möglichen Reaktionen des Fahrers auf optische und/oder akustische Warnhinweise, die beispielsweise von einer Fahrfunktion ausgelöst und auf einer Benutzerschnittstelle wie einem Display oder über ein Mikrofon ausgegeben werden, modelliert zum besseren Verständnis einer Mensch-Maschinen-Interaktion. Für die Berechnungsverfahren verwendet das Simulationsmodell 422 insbesondere Algorithmen der künstlichen Intelligenz wie neuronale Netze und Simulationsalgorithmen wie X-in-the-Loop (XiL).The
Das Kraftfahrzeugmodul 430 umfasst zumindest ein Simulationsmodell 432, das verschiedene Varianten eines Kraftfahrzeugs beispielsweise hinsichtlich der unterschiedlichen Ausbildung des Antriebsstrangs, der Fahrdynamik und weiterer Teilfunktionen und deren Interaktionen untereinander beispielsweise über ein Bussystem abbildet. Des Weiteren enthält das Simulationsmodell 432 eine Softwareapplikation, die derart ausgebildet ist, dass sie Testfälle Ti basierend auf verifikationsrelevanten parametrisierten Szenarien SZpi(ver) verarbeitet und das mögliche Verhalten des Kraftfahrzeugs 10 in einer Fahrsituation wie einen Warnhinweis an den Fahrer oder das Auslösen einer Notbremsung durch entsprechend ausgebildete Fahrfunktionen modelliert. Dabei können die Ausprägung und die Reaktionen einer Fahrfunktion eines ADAS/ADS-Systems in einer Fahrsituation variiert werden. Auch diese Softwareapplikation umfasst insbesondere Algorithmen der künstlichen Intelligenz wie neuronale Netze und Simulationsalgorithmen wie X-in-the-Loop (XiL).The
Insbesondere können die Algorithmen der Softwareapplikationen Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, und/oder rückgekoppelte neuronale Netzwerke umfassen.In particular, the algorithms of the software applications can calculate mean values, minimum and maximum values, lookup tables, models for expected values, linear regression methods, Gaussian processes, fast Fourier transformations, integral and differential calculus, Markov methods, probability methods such as Monte Carlo calculations. drive, temporal difference learning, extended Kalman filters, radial basis functions, data fields, convergent neural networks, deep neural networks, and/or feedback neural networks.
Das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Fahrzeugmodul 430 sind somit für die Simulation von Testfällen Ti basierend auf verifikationsrelevanten parametrisierten Szenarien SZpi(ver) ausgebildet und interagieren miteinander, da es wechselseitige Abhängigkeiten gibt, wie beispielsweise die Reaktion eines Fahrers auf das Verhalten eines Akteurs in einer Fahrsituation. Die Untermodule 410, 420, 430 setzen somit die Beschreibung des jeweiligen Testfalls Ti für eine spezifische Situation bzw. Konfiguration um und stellen die notwendigen Eingangsdaten für die Simulation einer Fahrfunktion in einem Fahrfunktionsmodul 440 bereit, um die Voraussetzungen für eine virtuelle Verifikation von Teilaspekten und/oder des Gesamtsystems von automatisierten Fahrfunktionen eines ADAS/ADS-Systems bereitzustellen.The driving
Das Simulationsmodul 400 bzw. die verschiedenen Untermodule 410, 420, 430 sind mit ein oder mehreren Datenbanken 480 verbunden, in denen Sensorsignale von Sensoren 470 und weitere Daten gespeichert sind. Bei den Sensorsignalen handelt es sich insbesondere um Messdaten von Eigenschaften und Merkmalen eines Kraftfahrzeugs 10 sowie von Akteuren und Ereignissen in der Umgebung des Kraftfahrzeugs 10, die beim Befahren einer Fahrstrecke jeweils während eines definierten Zeitfensters Δti und/oder eines definierten Fahrstreckenabschnitts Δxi aufgenommen wurden. Bei den Akteuren in der Verkehrsumgebung des Kraftfahrzeugs 10 handelt es sich insbesondere um andere Verkehrsteilnehmer wie Kraftfahrzeuge, Fußgänger, Radfahrer, und bei den Ereignissen beispielsweise um einen Beschleunigungsvorgang, einen Spurwechsel, oder ein Umschalten einer Ampel. Die Sensoren 470 können insbesondere als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, und/oder GPS-Systeme ausgebildet sein. Des Weiteren können Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren Niederschlagssensoren und/oder Temperatursensoren, etc. verwendet werden.The
In der Datenbank 480 können zudem weitere historische Daten in Form von Bildern, Graphiken, Zeitreihen, Kenngrößen, etc. für die Verifikation gespeichert sein. So können beispielsweise Zielgrößen, Zielwerte und Erwartungswerte in der Datenbank 480 abgelegt sein, die einen Sicherheitsstandard für die Verifikation definieren. Die Datenbank 480 kann ebenfalls in einer Cloud-Computing-Infrastruktur integriert sein.In addition, further historical data in the form of images, graphics, time series, parameters, etc. can be stored in the
Darüber hinaus können zusätzliche Datenquellen beziehungsweise Datenbanken verwendet werden. Hierzu zählen insbesondere Datenbanken, die Daten über das Straßennetz mit Straßenspezifikationen wie beispielsweise Fahrspuren und Brücken, die Straßeninfrastruktur wie beispielsweise den Straßenbelag, die Randbebauung, die Straßenführung, etc. beinhalten. Zudem sind Daten über Verkehrszahlen wie das reale stündliche Verkehrsaufkommen an einem bestimmten Verkehrsschauplatz für bestimmte Szenarien-Typen, wie beispielsweise ein Stau, von Interesse. Da auch die Wetterverhältnisse einen Szenario-Typ definieren können, sind Wetterdaten eine weitere Datenquelle.In addition, additional data sources or databases can be used. These include in particular databases that contain data on the road network with road specifications such as lanes and bridges, the road infrastructure such as the road surface, the edge development, the road layout, etc. In addition, data on traffic figures such as the real hourly traffic volume at a certain traffic location are of interest for certain types of scenarios, such as a traffic jam. Since weather conditions can also define a scenario type, weather data is another data source.
Die von dem Testagenten ausgewählten Testfälle Ti werden in das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Kraftfahrzeugmodul 430 integriert, wobei Eingangssignale wie Sensordaten, Informationen über die Fahrumgebung, den Fahrzeugzustand sowie Fahrerreaktionen von den Untermodulen 410, 420, 430 bereitgestellt werden, um eine Simulation der ausgewählten Testfälle Ti für die virtuelle Verifikation von Teilaspekten und/oder des Gesamtsystems von automatisierten Fahrfunktionen eines ADAS/ADS-Systems durchzuführen. Insbesondere die Modellierung der Sensoren 470 ist von besonderer Bedeutung, da Ungenauigkeiten und Messfehler der Sensorsignale der verwendeten Sensoren 470 bei der virtuellen Verifikation werden müssen. Wenn ein ausgewählter Testfall Ti bzw. eine Mehrzahl von Testfällen Ti eine festgelegte Fahraufgabe nicht abdecken kann, werden mittels der Untermodule 410, 420, 430 weitere Daten bereitgestellt, um für einen Testfall Ti ein ganzheitliches Fahrgeschehen einschließlich der Reaktionen des Fahrers, des Kraftfahrzeugs 10 und der übrigen Verkehrsakteure zu simulieren.The test cases T i selected by the test agent are integrated into the driving
Das Simulationsmodul 400 führt somit eine Simulation der Testfälle Ti für eine festgelegte Fahraufgabe durch und übergibt die Simulationsergebnisse 450 dem Bewertungsmodul 500.The
Das Bewertungsmodul 500 bewertet die Simulationsergebnisse 450 hinsichtlich der Verifikation von Teilaspekten und/oder des Gesamtsystems von automatisierten Fahrfunktionen eines ADAS/ADS-Systems aufgrund der Leistungs- und Funktionsfähigkeit von Teilaspekten und/oder des Gesamtsystems von ein oder mehreren Fahrfunktionen bzw. der Gesamtperformance des simulierten ADAS/ADS-Systems insbesondere in Form von Leistungsindikatoren (KPIs) und Bewertungskennwerten. Zudem kann die Qualität des durchgeführten Simulationsverfahrens bewertet werden insbesondere in Form von Simulationsqualitätskriterien (SQCs). Aus diesen Bewertungen erstellt das Bewertungsmodul 500 Bewertungsergebnisse 550.The
KPIs dienen zur Beschreibung der Leistung eines zu testenden ADAS/ADS-Systems, wobei für die Verifikation von Teilaspekten und/oder des Gesamtsystems von ein oder mehreren Fahrfunktionen bzw. der Gesamtperformance des simulierten ADAS/ADS-Systems spezifische funktionale KPIs wie die Überprüfung von gesendeten Daten an eine Displayeinrichtung im Kraftfahrzeug, die Zeitdauer für die Übermittlung eines Take-over-Request an den Fahrer des Kraftfahrzeugs, etc. implementiert werden entsprechend den jeweiligen Funktionen und Aspekten des ADAS/ADS-Systems, die gemäß einer vorgegebenen Spezifikation verifiziert werden sollen. Zudem können weitere KPIs für Bewertungskategorien wie Komfort, Sicherheit, Natürlichkeit des Fahrens und festgelegt werden. Beispiele für KPIs sind die Bewertung einer minimalen Distanz zu einem anderen Fahrzeug, eine mittlere Beschleunigung bei einem Verzögerungsszenario oder die Art der Durchführung eines Überholmanövers. KPIs are used to describe the performance of an ADAS/ADS system to be tested, whereby for the verification of partial aspects and/or the overall system of one or more driving functions or the overall performance of the simulated ADAS/ADS system, specific functional KPIs such as the verification of data sent to a display device in the motor vehicle, the time required to transmit a take-over request to the driver of the motor vehicle, etc. are implemented according to the respective functions and aspects of the ADAS/ADS system that are to be verified according to a given specification. In addition, further KPIs can be defined for evaluation categories such as comfort, safety, naturalness of driving, etc. Examples of KPIs are the evaluation of a minimum distance to another vehicle, an average acceleration in a deceleration scenario or the manner in which an overtaking maneuver is carried out.
KPIs stellen somit eine Metrik zur Verifizierung der korrekten Funktionalität eines zu testenden ADAS/ADS-Systems dar.KPIs therefore represent a metric for verifying the correct functionality of an ADAS/ADS system under test.
Bei den Bewertungskennwerten handelt es sich insbesondere um Labels zur Kennzeichnung von besonderen Eigenschaften der Verifikationsergebnisse wie „bestanden“ oder „unzureichend“ oder um eine Ja/Nein-Metrik hinsichtlich des Auftretens einer Kollision bzw. der Vermeidung einer Kollision. Die KPIs, Bewertungskennwerte und SQCs können durch Zahlenwerte aber auch durch boolesche Werte darstellt werden.The evaluation indicators are in particular labels for identifying special properties of the verification results such as "passed" or "unsatisfactory" or a yes/no metric regarding the occurrence of a collision or the avoidance of a collision. The KPIs, evaluation indicators and SQCs can be represented by numerical values or by Boolean values.
Dabei können sowohl für die KPIs als auch für die SQCs direkte und indirekte Bewertungsmetriken verwendet werden. Direkte Bewertungsmetriken enthalten Daten direkt aus simulierten Messdaten. Indirekte Bewertungsmetriken verwenden insbesondere Szenarienparameter als Datenquelle. Ein Beispiel für die Anwendung indirekter Bewertungsmetriken ist die Implementierung von Simulationsmodellen, die das subjektive Empfinden eines Fahrers bei der Durchführung einer Fahrfunktion eines ADAS/ADS-Systems quantifizieren und bewerten. Auf Basis der KPIs und SQCs lassen sich somit die Ergebnisse eines simulierten Testfalls Ti durch Zahlenwerte bzw. boolesche Werte darstellen und daraus die Verifikation eines ADAS/ADS-System für verifikationsrelevante Szenarien Szi(ver) ableiten.Direct and indirect evaluation metrics can be used for both the KPIs and the SQCs. Direct evaluation metrics contain data directly from simulated measurement data. Indirect evaluation metrics use scenario parameters in particular as a data source. An example of the application of indirect evaluation metrics is the implementation of simulation models that quantify and evaluate the subjective perception of a driver when carrying out a driving function of an ADAS/ADS system. Based on the KPIs and SQCs, the results of a simulated test case T i can be represented by numerical values or Boolean values and the verification of an ADAS/ADS system for verification-relevant scenarios Sz i (ver) can be derived from this.
Die Kombination aus dem Simulationsmodul 400 und dem Auswertungsmodul 500 bildet somit die Basis für die Bearbeitung von Testfällen Ti im Rahmen der virtuellen Verifikation eines ADAS/ADS-Systems. Vom Testagenten 220 erstellte Testfälle Ti mit verifikationsrelevanten Szenarien Szi(ver) werden in dem Simulationsmodul 400 mittels des Fahrumgebungsmoduls 410, des Fahrermoduls 420 und des Kraftfahrzeugmoduls 430 simuliert. Das Simulationsmodul 400 hat zudem Zugriff auf die Parameterdatenbank 320 und die Szenariendatenbank 330, um die erforderlichen Informationen zu erhalten. Nach erfolgreicher Simulation werden die Simulationsergebnisse 450 an das Bewertungsmodul 500 übergeben. The combination of the
Das Ausgabemodul 700 erstellt mittels der Bewertungsergebnisse 550 insbesondere in Form der Leistungsindikatoren (KPIs) eine Verifikationsanalyse 750 der korrekten Funktionalität eines zu testenden ADAS/ADS-Systems für die ausgewählten Testfälle Ti. Zudem enthält der Datensatz 750 bzw. das Ausgabeergebnis Informationen über die durchgeführte Simulation. Die Qualität des Verifikationsanalyse 750 hängt dabei von der Qualität der Szenariobeschreibung der verifikationsrelevanten Szenarien Szi(ver) und der Art der Simulation durch das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Kraftfahrzeugmodul 430 sowie der Definition der Bewertungsmetriken in Form von KPIs ab. Des Weiteren sollten die verwendeten Algorithmen für die Softwareapplikationen der Simulationsmodelle 412, 422, 432 über eine hohe Qualität verfügen, um durch das Simulationsverfahren belastbare Verifikationsergebnisse zu erzeugen. Da das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Kraftfahrzeugmodul 430 als eigenständige Untermodule des Simulationsmoduls 400 ausgebildet sind, können diese Untermodule 410, 420, 430 zudem unabhängig voneinander weiterentwickelt werden, was zu einer höheren Qualität des Gesamtprozesses führt.The
Diese Verifikationsanalyse 750 kann dann als Ausgabeergebnis von dem Ausgabemodul 700 ausgegeben werden. Die Verifikationsanalyse 750 umfasst insbesondere einen Bericht mit Textbausteinen, Diagrammen und Histogrammen, in dem die simulierten Testfälle Ti und die Simulationsergebnisse wie „bestanden“ und „unzureichend“ sowie die zugehörigen KPIs dargestellt sind. Mittels der KPIs kann analysiert werden, warum die unzureichenden Testfälle Ti die Erwartungswerte nicht erfüllt haben. Ein Testingenieur kann der Verifikationsanalyse 750 entnehmen, welche Spezifikationsanforderungen von dem ADAS/ADS-System erfüllt wurden und für welche Aspekte Verbesserungsbedarf besteht. Da die virtuelle Verifikation automatisiert und in kurzer Zeit durchgeführt werden kann, können insbesondere die Auswirkungen von kleinen Softwareänderungen bei einem ADAS/ADS-System ohne großen Aufwand analysiert werden. Insbesondere ist vorgesehen, dass die Programmierung und Anpassung des ADAS/ADS-Systems im Rahmen der virtuellen Verifikation mittels einer kontinuierlichen Integration (engl. continuous integration) erfolgt, um eine hohe Softwarequalität sicherzustellen.This
In
In einem Schritt S10 werden Testfälle Ti von einem Testagenten 220 erstellt, wobei für jeden Testfall Ti zumindest ein verifikationsrelevantes Szenario Szi(ver) ausgewählt wird.In a step S10, test cases T i are created by a
In einem Schritt S20 wird eine Simulation von einem Simulationsmodul 400 mit den erstellten Testfällen Ti zur Bestimmung von Simulationsergebnissen 450 durchgeführt, wobei das Simulationsmodul 400 ein Fahrumgebungsmodul 410 und/oder ein Fahrermodul 420 und/oder ein Kraftfahrzeugmodul 430 umfasst, die jeweils ausgebildet sind, Testfälle Ti mit verifikationsrelevanten Szenarien Szi(ver) zu simulieren.In a step S20, a simulation is carried out by a
In einem Schritt S30 wird eine Bewertung der Simulationsergebnisse 450 durch ein Bewertungsmodul 500 zur Bestimmung von Bewertungsergebnissen 550 durchgeführt, wobei das Bewertungsmodul 500 ein Fahrfunktionsbewertungsmodul 520 zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels funktionaler Leistungsindikatoren (KPIs) und Bewertungskennzahlen für die Verifikation umfasst.In a step S30, an evaluation of the simulation results 450 is carried out by an
In einem Schritt S40 wird eine Verifikationsanalyse 750 zumindest von Teilaspekten des ADAS/ADS-Systems auf der Grundlage der Bewertungsergebnissen 550 von dem Ausgabemodul 700 generiert und ausgegeben, insbesondere in Form von Diagrammen und Histogrammen für einen Verifikationsbericht.In a step S40, a
Mit der vorliegenden Erfindung ist eine automatisierte virtuelle Verifikation zumindest von Teilaspekten eines ADAS/ADS-Systems durch entsprechend angepasste Simulationsverfahren möglich. Durch die funktionalen KPIs können Verifikationsergebnisse quantifiziert werden, so dass ein Testingenieur der Verifikationsanalyse entnehmen kann, welche Spezifikationsanforderungen von dem ADAS/ADS-System erfüllt wurden und für welche Aspekte Verbesserungsbedarf besteht. Da die virtuelle Verifikation automatisiert und in kurzer Zeit durchgeführt werden kann, können insbesondere die Auswirkungen von kleinen Softwareänderungen bei einem ADAS/ADS-System ohne großen Aufwand analysiert werden. Insbesondere kann die Programmierung und Anpassung des ADAS/ADS-Systems im Rahmen der virtuellen Integration mittels einer kontinuierlichen Integration (engl. continuous integration) erfolgen, um eine hohe Softwarequalität sicherzustellen. Hierdurch können Ressourcen eingespart werden, da sowohl das reale Abfahren von Teststrecken mit Standardverkehrssituationen als auch mit spezifischen Corner-Cases reduziert werden kann.The present invention enables automated virtual verification of at least partial aspects of an ADAS/ADS system using appropriately adapted simulation methods. The functional KPIs can be used to quantify verification results, so that a test engineer can use the verification analysis to determine which specification requirements have been met by the ADAS/ADS system and which aspects need improvement. Since virtual verification can be automated and carried out in a short time, the effects of small software changes in an ADAS/ADS system in particular can be analyzed without great effort. In particular, the programming and adaptation of the ADAS/ADS system can be carried out as part of the virtual integration using continuous integration in order to ensure high software quality. This can save resources, as both the actual driving of test routes with standard traffic situations and with specific corner cases can be reduced.
BezugszeichenReference symbols
- 1010
- KraftfahrzeugMotor vehicle
- 100100
- Systemsystem
- 200200
- TestagentenmodulTest agent module
- 220220
- TestagentTest agent
- 230230
- TeststrategieTest strategy
- 300300
- TestdatenbankTest database
- 320320
- ParameterdatenbankParameter database
- 330330
- SzenariendatenbankScenario database
- 340340
- BewertungsdatenbankRating database
- 400400
- SimulationsmodulSimulation module
- 410410
- FahrumgebungsmodellDriving environment model
- 412412
- SimulationsmodellSimulation model
- 420420
- FahrermodulDriver module
- 422422
- SimulationsmodellSimulation model
- 430430
- KraftfahrzeugmodulAutomotive module
- 432432
- SimulationsmodellSimulation model
- 440440
- FunktionsmodellFunctional model
- 450450
- SimulationsergebnisseSimulation results
- 470470
- SensorenSensors
- 480480
- DatenbankDatabase
- 500500
- BewertungsmodulEvaluation module
- 510510
- FunktionsbewertungsmodulFunctional evaluation module
- 520520
- SimulationsbewertungsmodulSimulation evaluation module
- 550550
- BewertungsergebnisseEvaluation results
- 700700
- AusgabemodulOutput module
- 750750
- Datensatz mit kritischen SzenarienDataset with critical scenarios
- 900900
- ComputerprogrammproduktComputer program product
- 950950
- ProgrammcodeProgram code
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102019124615 A1 [0006]DE 102019124615 A1 [0006]
- DE 102017009971 A1 [0007]DE 102017009971 A1 [0007]
- DE 112020000222 T5 [0008]EN 112020000222 T5 [0008]
- US 10489529 B2 [0009]US 10489529 B2 [0009]
Claims (15)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022132922.4A DE102022132922A1 (en) | 2022-12-12 | 2022-12-12 | Method and system for virtual verification of automated driving functions |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022132922.4A DE102022132922A1 (en) | 2022-12-12 | 2022-12-12 | Method and system for virtual verification of automated driving functions |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102022132922A1 true DE102022132922A1 (en) | 2024-06-13 |
Family
ID=91185828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102022132922.4A Pending DE102022132922A1 (en) | 2022-12-12 | 2022-12-12 | Method and system for virtual verification of automated driving functions |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102022132922A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017009971A1 (en) | 2017-10-26 | 2019-05-02 | Daimler Ag | A method of testing a lane keeping assistance system for a vehicle |
US10489529B2 (en) | 2016-10-14 | 2019-11-26 | Zoox, Inc. | Scenario description language |
DE102019124615A1 (en) | 2018-09-12 | 2020-03-12 | Ford Global Technologies, Llc | ASSESSING ALGORITHMS FOR AUTONOMOUS VEHICLES |
DE112020000222T5 (en) | 2019-12-17 | 2021-10-14 | Foretellix Ltd. | SYSTEM AND PROCEDURE THEREOF FOR MONITORING THE CORRECT BEHAVIOR OF AN AUTONOMOUS VEHICLE |
-
2022
- 2022-12-12 DE DE102022132922.4A patent/DE102022132922A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10489529B2 (en) | 2016-10-14 | 2019-11-26 | Zoox, Inc. | Scenario description language |
DE102017009971A1 (en) | 2017-10-26 | 2019-05-02 | Daimler Ag | A method of testing a lane keeping assistance system for a vehicle |
DE102019124615A1 (en) | 2018-09-12 | 2020-03-12 | Ford Global Technologies, Llc | ASSESSING ALGORITHMS FOR AUTONOMOUS VEHICLES |
DE112020000222T5 (en) | 2019-12-17 | 2021-10-14 | Foretellix Ltd. | SYSTEM AND PROCEDURE THEREOF FOR MONITORING THE CORRECT BEHAVIOR OF AN AUTONOMOUS VEHICLE |
Non-Patent Citations (2)
Title |
---|
ALL-ELECTRONICS: Artikel: Testkilometer auf der Straße sparen - Virtuelle Fahrkilometer: Closed-Loop-Prüfsysteme für hochautomatisierte Fahrfunktionen. Stand: 03. März 2021. URL: https://www.all-electronics.de/automotive-transportation/virtuelle-fahrkilometer-closed-loop-pruefsysteme-fuer-hochautomatisierte-fahrfunktionen.html [abgerufen am 31.07.2023] |
WITTE, Frank: Testmanagement und Softwaretest - Theoretische Grundlagen und praktische Umsetzung. 2., erweiterte Auflage. Springer Wiesbaden, 2019. S. 49 - 60, 217 - 229, 231 - 241. ISBN: 978-3-658-25087-4 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102016220913A1 (en) | Method and device for generating test cases for autonomous vehicles | |
DE102007053501A1 (en) | Method for developing and / or testing at least one safety and / or driver assistance system for a motor vehicle and simulation environment | |
DE102019102205A1 (en) | SYSTEM AND METHOD FOR THE END TO END VALIDATION OF AUTONOMOUS VEHICLES | |
DE102022112059B3 (en) | Method, system and computer program product for calibrating and validating a driver assistance system (ADAS) and/or an automated driving system (ADS) | |
DE102018100487A1 (en) | OBJECT TRACKING THROUGH UNDUE MONITORING | |
DE102019124018A1 (en) | Method for optimizing tests of control systems for automated vehicle dynamics systems | |
WO2021058223A1 (en) | Method for applying automated driving functions efficiently and in a simulated manner | |
DE102019219241A1 (en) | Method for creating a road user algorithm for computer simulation of road users, method for training at least one algorithm for a control device of a motor vehicle, computer program product and motor vehicle | |
DE202022106107U1 (en) | System for testing level 3 automated driving systems (ADS) | |
EP3945338A2 (en) | Signal processing path, environment recognition device and method for validating an automated driving system | |
DE102020120141A1 (en) | Procedure for optimizing tests of control systems for automated vehicle dynamics systems using probabilistically predicted system responses | |
EP4226248A1 (en) | Method and a system for testing a driver assistance system for a vehicle | |
AT524822A1 (en) | Method for testing a driver assistance system of a vehicle | |
DE102022112060B3 (en) | Scenario database for a method and a system for calibrating and validating a driver assistance system (ADAS) and/or an automated driving system (ADS) | |
DE102022102501B3 (en) | Method, system and computer program product for determining an assessment of the functionality of a component of a motor vehicle | |
DE102022108677B3 (en) | Method, system and computer program product for determining objective parameters for predicting a subjective evaluation of a driver assistance system and/or an automated driver assistance function | |
AT524932B1 (en) | Method and system for testing a driver assistance system for a vehicle | |
DE102019215973A1 (en) | U-TURN CONTROL SYSTEM FOR AUTONOMOUS VEHICLE AND PROCEDURE FOR THE SAME | |
DE102022132922A1 (en) | Method and system for virtual verification of automated driving functions | |
DE102021213538A1 (en) | Simulation to validate an automated driving function for a vehicle | |
DE102022132917A1 (en) | Method and system for determining the criticality and controllability of scenarios for automated driving functions | |
DE102021202083A1 (en) | Computer-implemented method for training at least one algorithm for a control unit of a motor vehicle, computer program product, control unit and motor vehicle | |
DE102020214203A1 (en) | Method for determining a lane change intention of another motor vehicle located in the immediate vicinity of a motor vehicle, and assistance system | |
DE112020006317T5 (en) | COMPUTER SYSTEM AND METHOD FOR TRAINING A TRAFFIC AGENT IN A SIMULATION ENVIRONMENT | |
DE102022117841A1 (en) | Method, system and computer program product for calibrating and validating a driver assistance system (ADAS) and/or an automated driving system (ADS) taking into account a subjective evaluation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication |