WO2024121024A1 - System und verfahren zu testfallbestimmung anhand einer erkannten häufigkeit von gleichen oder ähnlichen szenarien - Google Patents

System und verfahren zu testfallbestimmung anhand einer erkannten häufigkeit von gleichen oder ähnlichen szenarien Download PDF

Info

Publication number
WO2024121024A1
WO2024121024A1 PCT/EP2023/084057 EP2023084057W WO2024121024A1 WO 2024121024 A1 WO2024121024 A1 WO 2024121024A1 EP 2023084057 W EP2023084057 W EP 2023084057W WO 2024121024 A1 WO2024121024 A1 WO 2024121024A1
Authority
WO
WIPO (PCT)
Prior art keywords
maneuver
scenarios
ego
cluster
scenario
Prior art date
Application number
PCT/EP2023/084057
Other languages
English (en)
French (fr)
Inventor
Franziska Körtke
Wolfgang Scheffer
Eric SAX
Lennart RIES
Thilo Braun
Markus LEMMER
Stefan OTTEN
Lara Ruth TURNER
Original Assignee
Zf Friedrichshafen Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zf Friedrichshafen Ag filed Critical Zf Friedrichshafen Ag
Publication of WO2024121024A1 publication Critical patent/WO2024121024A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3664—Environments for testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites

Definitions

  • the invention relates to a system for creating a virtual test environment based on a recognized frequency of identical or similar scenarios for testing autonomous driving functions for an at least partially autonomously operable ego vehicle, comprising a simulator for generating different scenarios from the perspective of the ego vehicle with an ego trajectory and/or an interface for receiving real data from different scenarios from the perspective of the ego vehicle with an ego trajectory.
  • ADAS advanced driver assistance systems
  • ADS automated driving systems
  • autonomous driving functions must be validated and verified before they can be used in the ego vehicle. Especially with regard to frequently occurring scenarios, these autonomous driving functions must be able to handle such frequently occurring scenarios without errors using all possible set driving parameters.
  • test coverage of several billion test kilometers would have to be driven. Even with the use of simulation tools, the required number of test kilometers cannot be achieved.
  • This approach takes advantage of the redundancy of the traffic scenarios that occur in distance-based testing: instead of testing the same scenarios multiple times, as occurs randomly in route-based testing, they are specifically selected from a catalog of scenarios. Testing the scenario with different driving parameters is sufficient to ensure the driver's safety with respect to this scenario.
  • WO 2022028935 A1 discloses a test unit and a computer-implemented method for providing a scenario test sequence with scenarios to be tested, in particular traffic scenarios, for testing a device for at least partially autonomously guiding a means of transport, with the steps:
  • a system for creating a virtual test environment based on a recognized frequency of identical or similar scenarios for testing autonomous driving functions for an at least partially autonomously operable ego vehicle comprising a simulator for generating different scenarios from the perspective of the ego vehicle with an ego trajectory and/or an interface for receiving real data from different scenarios from the perspective of the ego vehicle with an ego trajectory, and wherein a module is provided which is designed to carry out an automated assignment of a maneuver step for each maneuver type for each time step of the ego trajectory in the scenarios, wherein the different maneuver types with selectable maneuver steps are provided as a maneuver catalog, and to carry out an automated assignment of a maneuver step for each maneuver type for each time step of each road user trajectory of each road user in the scenarios, wherein the different maneuver types with selectable maneuver steps are provided as a maneuver catalog, so that the assignments enable a Maneuver matrix with different maneuver type-dependent maneuver sequences is generated for each maneuver type, and a comparison module is provided, which is used to automatically summarize the same maneuver matrices into a
  • the real data can come from drones or from ego vehicles with appropriate sensors.
  • a scenario is defined by the static environment such as the road network, buildings and the behavior of other road users; i.e. a scenario is an abstract, semantic description, defined by the ego vehicle and the relevant environment.
  • a frequently occurring scenario is a scenario that occurs frequently compared to another, i.e. a scenario that occurs repeatedly compared to a scenario that occurs sporadically.
  • the scenario can be restricted to road users who interact or could interact with the ego vehicle, for example to road users who are within a given radius around the ego vehicle.
  • Autonomous driving functions are all functions that contribute to autonomous ferry operation, this can also include level 3 driving functions (automated mode) or an assisted mode.
  • Such driving functions can be, for example, lane keeping, speed adjustment or driving functions for fully autonomous operation, etc.
  • a maneuver catalog provides a collection of maneuver types necessary for completing driving tasks.
  • One such maneuver type is, for example, "longitudinal movement” or “turning,” which describes behavior at intersections.
  • Maneuver steps of the maneuver type “longitudinal movement” can be, for example, “driving", “braking” or “standing still”.
  • Maneuver steps of the maneuver type “turning” can be “turn left” or “turn right” for the direction when crossing an intersection or “no turning” if the road user does not perform a turning maneuver.
  • a maneuver matrix contains the time steps as columns and the extracted maneuver steps of each maneuver type along the trajectory as rows.
  • test environment must contain at least all relevant, frequently occurring identical or similar scenarios in order to ensure adequate security of the autonomous driving functions. Furthermore, other scenarios must also be reliably identified in terms of their frequency.
  • the recorded data forms a scenario space with a high degree of redundancy, which must be split up and considered in terms of redundancy.
  • scenario group all scenarios in which an ego vehicle drives alone on a straight road can be considered as a cluster (scenario group), so that testing the scenario with different driving parameters of the autonomous driving functions is sufficient to ensure the driver's safety in relation to this scenario. This efficiently increases the safety of the autonomous driving functions tested for this scenario.
  • the system allows a semantic analysis of the data by abstracting the trajectory data into maneuvers and maneuver sequences and dividing them into clusters.
  • a maneuver can be viewed as an abstract description of the behavior of a participant in a certain period of time. In comparison to a description with trajectories, the maneuvers are more concise and semantically interpretable and can therefore be processed further more easily.
  • the system detects a maneuver step for each maneuver type at any time and thus generates a maneuver matrix with different maneuver type-dependent maneuver sequences. By subsequently clustering the same maneuver matrices, redundancy detection, outlier detection and frequency detection can be achieved. This means that instead of redundant To process scenarios, each scenario is represented by a member in a test environment generated in this way. The frequency of the same or similar scenarios detected, ie the size of the clusters, can serve as a basis for prioritizing test scenarios, and thus for generating the test environment.
  • the system according to the invention generates a test environment that enables faster and safer validation of autonomous driving functions. By grouping similar scenarios, the high level of redundancy in testing autonomous driving functions can be reduced.
  • the processor is designed to carry out the testing by simulating the maneuver in the corresponding cluster using the autonomous driving functions. Furthermore, the processor can be designed to carry out the testing using various driving parameters for the maneuver corresponding in the cluster using the autonomous driving functions and to verify the scenario shown in the cluster with the driving parameters used as valid if the maneuver sequence describing the cluster and the maneuver sequence obtained by testing using various driving parameters are the same.
  • a maneuver sequence is obtained by the autonomous driving functions.
  • the scenario shown with the driving parameters and the driving parameters used is verified as valid if the maneuver sequence describing the cluster and the maneuver sequence obtained by the driving functions are the same.
  • the module is designed to recognize the individual maneuver steps for each maneuver type in a scenario, wherein the scenario is assigned to an environment, and wherein the module is designed to use the map data corresponding to the environment to recognize the individual maneuver steps.
  • Map data are digital maps/road maps. Using map data increases the robustness of maneuver step recognition. For example, it is recognized when an ego vehicle turns right at an intersection by combining the information, in this case the intersection, from the map and the ego trajectory. The recognition of maneuver steps can be carried out safely and automatically based on rules using the map data.
  • the comparison module is designed to view two maneuver matrices as equal or almost equal or similar based on the number of matches and/or mismatches of the individual maneuver sequences of the individual maneuver types in the maneuver matrix. For example, a scenario can be assigned to a cluster even if there is a slight inequality/difference (not 100% match), for example if one ego vehicle stops at an intersection longer than another. Furthermore, a cluster with identical or sufficiently similar scenarios can be formed in this way in a simple manner.
  • the comparison module is designed to create a parameter distribution for comparing parameters of the individual maneuvers in the maneuver matrices belonging to a cluster, whereby each of the maneuver matrices has the same maneuver sequences. Since all scenarios in a cluster have the same maneuver sequence, a meaningful parameter distribution for the parameters can be created.
  • the parameters of the maneuvers such as the duration of lane-changing maneuvers, speeds, etc., can be used for further analysis.
  • the object is further achieved by a method for creating a virtual test environment based on a recognized frequency of identical or similar scenarios for testing autonomous driving functions of an ego vehicle, comprising the steps:
  • the method is particularly designed to be carried out on the system according to the invention. Furthermore, the advantages and advantageous embodiments of the system can be transferred to the method.
  • the testing is carried out by simulating the maneuver in the corresponding cluster based on the autonomous driving functions available in the later ego vehicle.
  • testing using different driving parameters for the maneuver corresponding in the cluster is carried out by the autonomous driving functions and the scenario presented in the cluster with the driving parameters used is verified as valid if the maneuver sequence describing the cluster and the maneuver sequence obtained by testing using different driving parameters are the same.
  • the map data corresponding to the environment is used to recognize the individual maneuver steps for each maneuver type in a scenario, whereby the scenario is assigned to an environment.
  • the maneuver steps can be recognized safely and automatically in a rule-based manner using the map data.
  • the start and end of a scenario is determined by changing a maneuver step of a single, predetermined maneuver type. This makes it easy to determine a scenario.
  • the columns and rows of the maneuver matrices are compared.
  • two maneuver matrices are considered to be the same or similar based on the number of matches and/or mismatches in the individual maneuver sequences of the individual maneuver types in the maneuver matrix.
  • each time step is designed as a predetermined time period. This allows overly difficult maneuver steps to be avoided.
  • a parameter distribution is created to compare parameters of the individual maneuvers in the maneuver matrices belonging to a cluster, with each of the maneuver matrices having the same maneuver sequences. Since all scenarios have the same maneuver sequences, a meaningful parameter distribution for the parameters can be created.
  • FIG 1 a system according to the invention schematically
  • FIG 2 a maneuver catalog with maneuver types, corresponding maneuver steps, parameters and description of the maneuver type
  • FIG 3 a scenario with the maneuver catalog for the ego vehicle
  • FIG 4 another scenario with the maneuver catalog for the ego vehicle
  • FIG 5 different maneuver types with the selectable different maneuver steps
  • FIG 6 a mode of operation of a comparison module
  • FIG 7 possible driving parameter variations in the autonomous driving functions in accordance with the corresponding cluster
  • FIG 8 Possible driving parameter variations in the autonomous driving functions in case of non-conformity with the corresponding cluster.
  • a scenario is defined by the static environment such as the road network, buildings and the behavior of other road users; ie a scenario is an abstract, semantic description, defined by the ego vehicle and the relevant environment.
  • Autonomous driving functions are all functions that contribute to autonomous ferry operations, and can also include level 3 driving functions (automated mode) or an assisted mode. Such driving functions can include lane keeping, speed adjustment, etc.
  • FIG 1 shows a system 1 according to the invention for creating a virtual test environment based on a recognized frequency of identical or similar scenarios for testing the autonomous driving functions 3 for an ego vehicle 4.
  • the system 1 comprises a simulator s for generating different scenarios 2 from the perspective of the ego vehicle 4, which drives along an ego trajectory 7.
  • Such simulations can be created, for example, by commercial providers. These recreate realistic traffic scenarios from the perspective of the ego vehicle 4, as well as the interaction with other road users. This allows a large number of scenarios 2 to be generated within a short period of time. Furthermore, the scenarios 2 can be provided using real data via an interface 6. Such real data can come from traffic monitoring, ego vehicles 4 equipped with sensors, drones, etc.
  • a module 9 is designed to carry out an automated assignment of a maneuver step for each maneuver type for each time step of the ego trajectory 7 in a scenario 2. Furthermore, the module 9 is also designed to carry out an automated assignment of a maneuver step for each maneuver type for each time step of the road user trajectory of each road user in the scenario 2.
  • the various maneuver types with selectable maneuver steps are provided as a maneuver catalog.
  • the two assignments generate a maneuver matrix M (FIG. 5) with different maneuver type-dependent maneuver sequences for each maneuver type for each road user and the ego vehicle 4.
  • a maneuver catalog provides a collection of maneuver types necessary to complete the driving task.
  • One such maneuver type is, for example, “longitudinal movement” or “turning,” which describes behavior at intersections.
  • Maneuver steps of the "longitudinal movement” maneuver type can be “steady motion", “braking” or “standstill”.
  • Maneuver steps of the "turning" maneuver type can be “turn left” or “turn right” for the direction when crossing an intersection or “no turn” if the participant does not perform a turning maneuver.
  • FIG 2 shows such a maneuver catalog with possible maneuver steps as well as the parameters that can be recorded. Furthermore, a description of the maneuver step is given in the last column. The maneuver catalog is not complete. The maneuver catalog is used for each scenario and filled out accordingly for each road user and the ego vehicle 4.
  • FIG 3 shows a scenario 2, here a turning maneuver, with a maneuver matrix M created for it.
  • a maneuver step is detected at any time for each maneuver type. This semantically abstracts the trajectories of both the ego vehicle 4 and the road users, here the pedestrian 8.
  • a maneuver matrix M contains the time steps as columns and the extracted maneuver steps of each maneuver type as rows and can thus serve as a formalized abstract representation for further processing.
  • a maneuver step is specified for each road user and the ego vehicle 4; this is shown here in the maneuver matrix M only for the ego vehicle 4. Likewise, such a maneuver matrix is created for the pedestrian 8, which is not specified here or is not added to the maneuver matrix M.
  • FIG 4 shows another scenario 2c. This shows an overtaking maneuver of the ego vehicle 4, as well as the maneuver matrix M2 of the ego vehicle 4.
  • the associated maneuver matrix M2 is only specified for the ego vehicle 4, not for the preceding vehicle 10 involved in scenario 2c.
  • maneuver types “longitudinal movement,” “lateral movement,” “intersection,” “pedestrian right,” and “ahead” are displayed over time t.
  • FIG 5 shows further possible maneuver steps that can be selected for maneuver types.
  • the maneuver types “longitudinal movement”, “lateral movement”, “intersection”, “intersection context”, “road user context” are shown here with the possible maneuver steps: “constant speed”, approach, follower, stop and standstill for the maneuver type "longitudinal movement”.
  • For the maneuver type “lateral movement”, however, “keep lane” and “change lane” are displayed, from which a suitable maneuver step is selected for each time step.
  • the road users belonging to the ego vehicle 4 and the scenario 2,2c can be determined by algorithm, for example, only road users who are within a specified radius of the ego vehicle 4 can be considered. Maneuver steps for uninvolved, distant road users, for example, do not have to be displayed in the maneuver matrix M and are not considered to be part of scenario 2.
  • the module 9 can use the appropriate digital map data (digital map/road map) for the environment in which the scenario 2,2c takes place. This increases the robustness of the maneuver step recognition by enriching map data. For example, it is recognized when an ego vehicle 4 turns right at an intersection by combining the information from the map and the ego trajectory 7.
  • follow-up maneuvers are recognized, for example, via the difference in speed between two vehicles in the same lane.
  • a maneuver step is selected for each time step, whereby a time step can also be a time duration.
  • a comparison module 11 (FIG. 1 ) is provided for automatically combining the same maneuver matrices M into a cluster C as maneuvers, and for determining the size of the clusters C as the frequency of identical or similar scenarios.
  • FIG 6 shows the operation of such a comparison module 11 .
  • This compares the maneuver matrices M generated by the module 9 and clusters identical maneuver matrices M into a cluster, here CI .
  • scenarios 2 with identical maneuver sequences are combined into the cluster C1.
  • Scenarios 2b which also have a pedestrian 8 and an ego vehicle 4 but a different trajectory 7a, generate a maneuver matrix M1 and are clustered into a cluster C2.
  • the start and end of a scenario 2, 2b, 2c is determined by changing the maneuver steps of a single maneuver type. Depending on the focus of the analysis, sensible definitions of start and end points can vary.
  • To obtain the maneuver matrix of a scenario the corresponding columns are cut out.
  • a pattern matching algorithm can be used to compare maneuver matrices, which can identify sufficient similarity and group the same maneuver matrices into a cluster. Minor deviations can be permitted.
  • the technical implementation as a formal maneuver description language enables an automated process that enables the processing of large amounts of data.
  • the parameters of the maneuvers such as the duration of lane change maneuvers, speeds, can be used for further analysis. Since all Scenarios 2, 2b, 2c have the same maneuver sequences, a meaningful parameter distribution for the parameters can be created.
  • a processor 12 (FIG. 1) can then generate a test environment for testing the autonomous driving functions 3 based on the size of the clusters. Scenarios 2, 2b, 2c must be handled reliably with high frequency by the autonomous driving functions 3 with a wide variety of driving parameters, so that this can be taken into account when generating a test environment.
  • a frequently occurring scenario is a scenario that occurs frequently compared to another, i.e. a scenario that occurs again and again.
  • each cluster can be represented by one member.
  • the frequency of the same or similar scenarios recognized thus serves as a basis for prioritization when generating the test environment.
  • scenarios that occur frequently are carried out by the autonomous driving functions 3 with particularly high driving parameter variations in order to guarantee a safe autonomous driving function 3 in such a frequently occurring scenario. This means that, for example, a turning maneuver with a pedestrian is carried out with the driving parameter variation high/low/medium speed when turning the ego vehicle 4, high speed of the pedestrian, black ice, etc.
  • the autonomous driving functions 3 When testing scenarios 2, 2b, 2c, the autonomous driving functions 3 always store specific values for the road users and the ego vehicle 4 itself. During such testing, the scenarios 2, 2b belonging to cluster C1, C2 are varied and must be mastered by the autonomous driving functions 3. This means that with a maneuver sequence in the maneuver matrix M (maneuver type longitudinal movement), here for example “maintain speed (Cruise)", “Stop”, “Standstill” and “maintain speed (Cruise)", which for example has the maneuver sequence in the cluster C1 to be tested, the autonomous driving functions 3 for this cluster C1 with the driving parameters set in the autonomous driving functions 3 must have exactly the same maneuver sequence; otherwise the scenario is considered not mastered or the driving parameters set in the driving functions 3 are incorrect.
  • a maneuver sequence in the maneuver matrix M maneuver type longitudinal movement
  • the autonomous driving functions 3 for this cluster C1 with the driving parameters set in the autonomous driving functions 3 must have exactly the same maneuver sequence; otherwise the scenario is considered not mastered or
  • the maneuver describing the cluster which is carried out by the autonomous driving functions 3, the scenario 2,2b shown in the cluster C1, C2 is verified as valid with the driving parameters used if the maneuver sequence describing the cluster C1, C2 is the same as the maneuver sequence generated by the driving parameters. For example, for the maneuver type "longitudinal movement”, the sequence “maintain speed (cruise)", “stop”, “standstill” and “maintain speed (cruise)” must be followed. This also applies to the other maneuver types. If the sequence is not adhered to, the tested scenario is verified as not valid.
  • maneuver matrix M,M1 can be used to filter out those driving parameter variations that do not correspond to the original and expected scenario 2, 2b, i.e. a scenario that is not assigned to the cluster C1,C2, for example.
  • driving parameter variations that belong to an incorrect scenario i.e. that do not correspond to the original and expected scenario 2.2b
  • driving parameter variations do not belong to a scenario in a cluster this means that the driving parameter space to be checked has been expanded too widely. By checking the sequence of maneuvers, such incorrect settings can be quickly identified.
  • FIG 7 shows an example of testing scenario 2c with autonomous driving functions 3, with scenario 2c being assigned cluster C3, under different driving parameter variations F1, F2, F3, with each of the selected driving parameter variations showing the desired cluster C3, i.e. having the same maneuver matrix M2 (FIG 4).
  • Scenario 2c corresponds to the overtaking maneuver of ego vehicle 4.
  • FIG 8 shows possible driving parameter variations in the autonomous driving functions 3 of scenario 2c, in which the created maneuver matrix no longer corresponds to the desired maneuver matrix.
  • Sa corresponds to scenario 2c with driving parameter variations F1, F2, F3; however, in scenario Sb no overtaking maneuver takes place, for example the speed of the ego vehicle 4 may be too slow (driving parameter variation F4).
  • scenario Sc no overtaking maneuver takes place (driving parameter variation F5).
  • the variations F4, F5 of the driving parameters during testing do not correspond to the originally desired scenario 2c present in the cluster C3 to be tested.
  • a maneuver matrix can easily filter out such “wrong” scenarios, which produce an incorrect result with regard to testing the autonomous driving functions 3.
  • traffic scenarios 2, 2b, 2c which are contained in the simulation data/real data can be processed and analyzed via a maneuver matrix M, M1, M2 and the maneuver sequences contained therein.
  • the abstraction of the trajectory data to Maneuvers allows a semantic analysis of the data.
  • Clusters C1, C2, C3 are generated based on the maneuver sequences.
  • the scenarios 2, 2b, 2c contained in clusters C1, C2, C3 can be used to identify common scenarios 2, 2b, 2c and relevant information on common scenarios 2, 2b, 2c.
  • a test environment for testing autonomous driving functions 3 can be created, which serves to safeguard autonomous driving functions 3.
  • the maneuver sequence stored behind cluster C1, C2, C3 can be used to identify when the driving parameter space being tested is too wide and a scenario is being tested that no longer corresponds to the original scenario 2, 2b, 2c.
  • Automatically varied and simulated scenarios can be validated automatically and without manual effort at an abstract level using System 1 and the procedure. This saves a lot of manual effort and therefore costs, since the variation can lead to a large number of simulated scenarios. Furthermore, the test result can be easily validated, since the sequence of maneuvers tells us whether the results are based on valid scenarios.
  • the technical implementation as a formal description language enables an automated process that is designed for large amounts of data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein System (1) zum Erstellen einer virtuellen Prüfungsumgebung anhand einer erkannten Häufigkeit von gleichen oder ähnlichen Szenarien (2, 2b, 2c) zum Testen der autonomen Fahrfunktionen (3) für ein Egofahrzeug (4), umfassend eines Simulators (5) zum Generieren von verschiedenen Szenarien (2, 2b, 2c) aus der Sicht des Egofahrzeugs (4) mit einer Egotrajektorie (7) und/oder einer Schnittstelle (6) zum Empfang von Realdaten von verschiedenen Szenarien (2, 2b, 2c) aus der Sicht des Egofahrzeugs (4) mit einer Egotrajektorie (7), wobei ein Modul (9) vorgesehen ist, welches ausgebildet ist, für jeden Zeitschrift der Egotrajektorie (7) in dem Szenario (2, 2b, 2c) ein automatisiertes Zuweisen eines Manöverschrittes für jeden Manövertypen zu bewerkstelligen, und für jeden Zeitschrift von jeder Verkehrsteilnehmertrajektorie jedes Verkehrsteilnehmers in dem Szenario (2, 2b, 2c) ein automatisiertes Zuweisen eines Manöverschrittes für jeden Manövertypen zu bewerkstelligen, wobei die verschiedenen Manövertypen mit auswählbaren Manöverschritten als Manöverkatalog bereitgestellt sind, so dass durch die Zuweisungen eine Manövermatrix (M,M1,M2) mit unterschiedlichen manövertypabhängigen Manöverreihenfolgen zu jedem Manövertyp generiert ist, und ein Vergleichsmodul (11) vorgesehen ist, welches zum automatisierten Zusammenfassen der gleichen Manövermatrizen (M,M1,M2) zu einem Cluster (C1,C2,C3) als Manöver, und zum Bestimmen der Größe der Cluster (C1,C2,C3) als Häufigkeit von gleichen oder ähnlichen Szenarien (2, 2b, 2c) ausgebildet ist, und wobei ein Prozessor (12) vorgesehen ist, welcher zum Erstellen einer Prüfungsumgebung zum Testen der autonomen Fahrfunktionen (3) anhand der Größe der Cluster (C1,C2,C3) ausgebildet ist sowie zum Testen der autonomen Fahrfunktionen (3) des Egofahrzeugs (4) in der Prüfungsumgebung ausgebildet ist. Ferner betrifft die Erfindung ein Verfahren.

Description

SYSTEM UND VERFAHREN ZU TESTFALLBESTIMMUNG ANHAND EINER ERKANNTEN HÄUFIGKEIT VON GLEICHEN ODER ÄHNLICHEN SZENARIEN
Die Erfindung betrifft ein System zum Erstellen einer virtuellen Prüfungsumgebung anhand einer erkannten Häufigkeit von gleichen oder ähnlichen Szenarien zum Testen von autonomen Fahrfunktionen für ein zumindest teilweise autonom betreibbares Egofahrzeug, umfassend eines Simulators zum Generieren von verschiedenen Szenarien aus der Sicht des Egofahrzeugs mit einer Egotrajektorie und/oder einer Schnittstelle zum Empfang von Realdaten von verschiedenen Szenarien aus der Sicht des Egofahrzeugs mit einer Egotrajektorie.
Autonome Fahrfunktionen in Fahrerassistenzsystemen (Advanced Driver Assistance Systems, ADAS) und in automatisierten Fahrsystemen (Automated Driving Systems, ADS) auf öffentlichen Straßen haben das Potenzial, das Verkehrswesen in Zukunft grundlegend zu verändern. Validierung und Verifizierung solcher autonomen Fahrfunktionen sind jedoch ein wichtiges Anliegen, um ein ausreichend hohes Maß an Sicherheit und Akzeptanz zu gewährleisten.
Autonome Fahrfunktionen müssen jedoch vor ihrem Einsatz im Egofahrzeug validiert und verifiziert werden. Gerade im Hinblick auf häufig auftretende Szenarien müssen diese autonomen Fahrfunktionen mit allen möglichen eingestellten Fahrparameter gerade solche häufig auftretenden Szenarien fehlerfrei bewältigen.
Zur Validierung der autonomen Fahrfunktionen müsste jedoch eine Testabdeckung mit mehreren Milliarden Testkilometern gefahren werden. Selbst mit dem Einsatz von Simulationswerkzeugen kann die erforderliche Anzahl von Testkilometern nicht erreicht werden.
Ein zumindest teilweise autonomes Verkehrsmittel ausschließlich auf der Straße mit Fahrtstrecken über Milliarden Kilometer zu testen, ist zudem aus Zeit- und Kostengründen nicht möglich. Zudem würden viele redundante Testkilometer entstehen. Daher wird eine effizientere Methode zur Erhöhung der Testabdeckung benötigt. Aktuelle Forschungsprojekte und die Industrie konzentrieren sich in dieser Hinsicht auf szenarienbasiertes Testen.
Dieser Ansatz nutzt die Redundanz der Verkehrsszenarien, die beim entfernungsbasierten Testen auftreten: Anstatt dieselben Szenarien mehrmals zu testen, wie sie bei der streckenbasierten Prüfung zufällig auftreten, werden sie aus einem Szenarienka- talog gezielt ausgewählt. Ein Testen des Szenarios mit verschiedenen Fahrparametern reicht aus, um die Sicherheit des Fahrers in Bezug auf dieses Szenario zu gewährleisten.
Dazu müssen jedoch zunächst ähnliche Szenarien identifiziert werden, um die zu testenden Szenarien zu bestimmen. Insbesondere müssen häufig auftretende Szenarien sicher mit den autonomen Fahrfunktionen bewerkstelligt werden können.
Die WO 2022028935 A1 offenbart eine Testeinheit und ein computerimplementiertes Verfahren zum Bereitstellen eines Szenario- Test-Verlaufs mit zu testenden Szenarien insbesondere Verkehrsszenarien, für Tests einer Vorrichtung zur zumindest teilweisen autonomen Führung eines Verkehrsmittels mit den Schritten:
Trainieren und Verwenden eines Ähnlichkeitsklassifikationsmoduls zur Klassifizierung der Ähnlichkeit zwischen zwei Szenarien basierend auf einer Teilmenge eines Parametersatzes des jeweiligen Szenarios, welches eine virtuelle Repräsentation einer realen Verkehrssituation darstellt; Erzeugen einer Graphenrepräsentation umfassend eine Vielzahl von Szenarien, umfassend die zwei Szenarien, deren Teilmenge von Parametersätzen in einer Speichereinheit gespeichert sind, wobei Knoten jeweils die Teilmenge eines Parametersatzes eines Szenarios repräsentieren und Kanten zwischen zwei Knoten mit einem Ähnlichkeitsklassifikationswert gewichtet sind, der die Ähnlichkeit zwischen den zwei Szenarien, der jeweiligen Knoten indiziert; Erhalten einer Benutzereingabe durch eine elektronische Benutzerschnittstelle und / oder eine automatischen Systemeingabe, wobei die Eingabe einen geforderten Wert für eine Abdeckung, der in der Speichereinheit gespeicherten Szenarien beinhaltet und / oder eine geforderte Anzahl an zu testenden Szenarien, so dass eine Auswahl und Ausführungsreihenfolge der Szenarien und der repräsentierenden Knoten mit der Zielsetzung einer maximalen Abdeckung des Graphen bestimmt wird; Bereitstellen einer Auswahl und Ausführungsreihenfolge und / oder eines Abdeckungswerts einer Gesamt-Abdeckung der gewählten Knoten und damit der zu repräsentierenden Szenarien.
Es ist daher eine Aufgabe der Erfindung ein System und ein Verfahren zum Erstellen einer virtuellen Prüfungsumgebung anhand einer erkannten Häufigkeit von gleichen oder ähnlichen Szenarien zum Testen von autonomen Fahrfunktionen anzugeben.
Die Aufgabe wird gelöst durch ein System mit den Merkmalen des Anspruchs 1 und ein Verfahren mit den Merkmalen des Anspruchs 7. In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen.
Die Aufgabe wird gelöst durch ein System zum Erstellen einer virtuellen Prüfungsumgebung anhand einer erkannten Häufigkeit von gleichen oder ähnlichen Szenarien zum Testen von autonomen Fahrfunktionen für ein zumindest teilweise autonom betreibbares Egofahrzeug, umfassend eines Simulators zum Generieren von verschiedenen Szenarien aus der Sicht des Egofahrzeugs mit einer Egotrajektorie und/oder einer Schnittstelle zum Empfang von Realdaten von verschiedenen Szenarien aus der Sicht des Egofahrzeugs mit einer Egotrajektorie, und wobei ein Modul vorgesehen ist, welches dazu ausgebildet ist, für jeden Zeitschritt der Egotrajektorie in den Szenarien ein automatisiertes Zuweisen eines Manöverschrittes für jeden Manövertypen zu bewerkstelligen, wobei die verschiedenen Manövertypen mit auswählbaren Manöverschritten als Manöverkatalog bereitgestellt sind und für jeden Zeitschritt von jeder Verkehrsteilnehmertrajektorie jedes Verkehrsteilnehmers in den Szenarien ein automatisiertes Zuweisen eines Manöverschrittes für jeden Manövertypen zu bewerkstelligen, wobei die verschiedenen Manövertypen mit auswählbaren Manöverschritten als Manöverkatalog bereitgestellt sind, so dass durch die Zuweisungen eine Manövermatrix mit unterschiedlichen manövertypabhängigen Manöverreihenfolgen zu jedem Manövertyp generiert ist, und ein Vergleichsmodul vorgesehen ist, welches zum automatisierten Zusammenfassen der gleichen Manövermatrizen zu einem Cluster als Manöver, und zum Bestimmen der Größe der Cluster als Häufigkeit von gleichen oder ähnlichen Szenarien ausgebildet ist, und wobei ein Prozessor vorgesehen ist, welcher zum Erstellen einer Prüfungsumgebung zum Testen der autonomen Fahrfunktionen anhand der Größe der Cluster ausgebildet ist sowie zum Testen der autonomen Fahrfunktionen des Egofahrzeugs in der Prüfungsumgebung ausgebildet ist.
Dabei können die Realdaten von Drohnen oder von Egofahrzeugen mit entsprechenden Sensoren sein.
Ein Szenario definiert sich durch die statische Umgebung wie Straßennetz, Bebauung und durch das Verhalten der anderen Verkehrsteilnehmer; d.h. ein Szenario ist eine abstrakte, semantische Beschreibung, definiert durch das Egofahrzeug und die relevante Umgebung.
Dabei ist ein häufig auftretendes Szenario ein Szenario, dass im Vergleich zu einem anderen häufig auftritt, d.h. ein immer wieder auftretendes Szenario im Vergleich zu einem sporadisch auftretenden Szenario.
Dabei kann das Szenario eingeschränkt sein auf Verkehrsteilnehmer, welche mit dem Egofahrzeug interagieren oder interagieren könnten, beispielsweise auf Verkehrsteilnehmer, welche sich in einem vorgegebenen Umkreis um das Egofahrzeug befinden.
Autonome Fahrfunktionen sind alle Funktionen die zu einem autonomen Fährbetrieb beitragen, hierbei können auch Fahrfunktionen des Levels 3 (Automatisierter Modus) oder ein Assistierter Modus umfasst sein. Solche Fahrfunktionen können beispielsweise Lane-Keeping, Tempo-adjustment oder Fahrfunktionen zum vollständig autonomen Betrieb etc. sein.
Ein Manöverkatalog gibt eine Sammlung mit für die Bewältigung von Fahraufgaben notwendigen Manövertypen an. Ein solcher Manövertyp ist beispielsweise „Längsbe- wegung“ oder "Abbiegen", das das Verhalten an Kreuzungen beschreibt. Manöverschritte des Manövertyps " Längsbewegung " können beispielsweise "Fahrt", "Abbremsen" oder "Stillstand" sein. Manöverschritte des Manövertyps "Abbiegen" können "links abbiegen" oder "rechts abbiegen" für die Richtung beim Überqueren einer Kreuzung sein oder "kein Abbiegen", wenn der Verkehrsteilnehmer kein Abbiegemanöver durchführt. Eine Manövermatrix enthält die Zeitschritte als Spalten und die extrahierten Manöverschrittes jedes Manövertyps entlang der Trajektorie als Zeilen.
Erfindungsgemäß wurde erkannt, dass eine Prüfungsumgebung zumindest alle relevanten häufig auftretenden gleichen oder ähnlichen Szenarien enthalten muss, um eine hinreichende Absicherung der autonomen Fahrfunktionen zu gewährleisten. Ferner müssen auch andere Szenarien in ihrer Häufigkeit sicher identifiziert werden.
Die aufgezeichneten Daten bilden jedoch einen Szenarienraum mit hoher Redundanz, welcher hinsichtlich der Redundanz aufgespalten und betrachtet werden muss. So können beispielsweise alle Szenarien, in denen ein Egofahrzeug allein auf einer geraden Straße fährt, als Cluster ( Szenariengruppe) betrachtet werden, so dass ein Test des Szenarios mit verschiedenen Fahrparametern der autonomen Fahrfunktionen ausreicht, um die Sicherheit des Fahrers in Bezug auf dieses Szenario zu gewährleisten. Dadurch wird die Sicherheit der, auf dieses Szenario getestete, autonomen Fahrfunktionen effizient erhöht.
Das erfindungsgemäße System erlaubt durch Abstraktion der Trajektoriedaten zu Manövern und Manöverreihenfolgen sowie die Einteilung in Clustern eine semantische Analyse der Daten. Ein Manöver kann dabei als eine abstrakte Beschreibung des Verhaltens eines Teilnehmers in einer bestimmten Zeitspanne angesehen werden. Im Vergleich zu einer Beschreibung mit Trajektorien sind die Manöver prägnanter und semantisch interpretierbar und lassen sich daher leichter weiterverarbeiten. Erfindungsgemäß detektiert das System zu jedem Zeitpunkt für jeden Manövertyp einen Manöverschritt und generiert damit eine Manövermatrix mit unterschiedlichen manövertypabhängigen Manöverreihenfolgen. Durch das anschließende Clustern gleicher Manövermatrizen kann eine Redundanzerkennung, Ausreißererkennung und Häufigkeitserkennung bewerkstelligt werden. Dadurch kann, anstatt redundante Szenarien zu bearbeiten, jedes Szenario durch ein Mitglied in einer derart generierten Prüfungsumgebung repräsentiert werden. Die Häufigkeit der erkannten gleichen oder ähnlichen Szenarien, d.h. die Größe der Cluster kann als eine Grundlage für die Priorisierung von Testszenarien, und damit für die Generierung der Prüfungsumgebung dienen.
Ferner können seltene, und damit möglicherweise unbekannte Szenarien auf einfache Weise durch eine automatisierte Verarbeitung identifiziert werden.
Anhand des erfindungsgemäßen Systems wird eine Prüfungsumgebung generiert, anhand dessen eine schnellere und sichere Validierung von autonomen Fahrfunktionen ermöglicht wird. Durch die Gruppierung ähnlicher Szenarien kann die hohe Redundanz bei dem Testen der autonomen Fahrfunktionen reduziert werden.
In weiterer Ausbildung ist der Prozessor dazu ausgebildet, das Testen durch eine Simulation des Manövers in dem entsprechenden Cluster anhand der autonomen Fahrfunktionen durchzuführen. Ferner kann der Prozessor dazu ausgebildet sein, das Testen mittels verschiedener Fahrparameter für das in dem Cluster entsprechende Manöver durch die autonomen Fahrfunktionen durchzuführen und das in dem Cluster dargestellte Szenario mit den verwendeten Fahrparametern als valide zu verifizieren, wenn die das Cluster beschreibende Manöverreihenfolge und die durch das Testen mittels verschiedener Fahrparameter erhaltene Manöverreihenfolge gleich ist.
Dabei wird durch das Testen mittels verschiedener Fahrparameter durch die autonomen Fahrfunktionen jeweils eine Manöverreihenfolge erhalten. Das mit den Fahrparameter dargestellte Szenario mit den verwendeten Fahrparametern wird als valide verifiziert, wenn die das Cluster beschreibende Manöverreihenfolge und die durch die Fahrfunktionen erhaltene Manöverreihenfolge gleich ist.
So muss beispielsweise für einen Manövertyp „Längsbewegung“ mit den Manöverschritten und der Manöverreihenfolge „Geschwindigkeit halten“ „Stopp“, „Stillstand“ und „Geschwindigkeit halten“ dieselbe Reihenfolge für die autonomen Fahrfunktionen erhalten werden. Dies gilt ebenso für die anderen Manövertypen. Wird die Reihenfolge nicht eingehalten, so wird das getestete Szenario als nicht valide verifiziert. Somit können diejenigen Fahrparametervariationen herausgefiltert werden, die nicht dem Szenario in dem Cluster, entsprechen. Durch die Manövermatrix und das Testen der autonomen Fahrfunktionen in den einzelnen Clustern, welche die Prüfungsumgebung aufspannen, können somit falsch getestete Szenarien erkannt werden. Dadurch können Fehlaussagen in Bezug auf den Absicherungsprozess der autonomen Fahrfunktionen vermieden werden.
In einer weiteren Ausbildung ist das Modul zur Erkennung der einzelnen Manöverschritte für jeden Manövertypen in einem Szenario ausgebildet, wobei das Szenario einen Umfeld zugeordnet ist, und wobei das Modul ausgebildet ist, zur Erkennung der einzelnen Manöverschritte die für das Umfeld entsprechenden Kartendaten heranzuziehen.
Kartendaten sind dabei digitale Karten/Straßenkarten. Durch das Heranziehen der Kartendaten wird die Robustheit der Manöverschritterkennung erhöht. So wird beispielsweise erkannt, wann ein Egofahrzeug an einer Kreuzung rechts abbiegt, indem die Informationen, hier die Kreuzung, aus der Karte und der Egotrajektorie kombiniert werden. Die Erkennung der Manöverschritte kann dabei regelbasiert mithilfe der Kartendaten sicher und automatisiert erfolgen.
In einer weiteren Ausbildung ist das Vergleichsmodul dazu ausgebildet, zwei Manövermatrizen anhand der Anzahl der Übereinstimmungen und/oder Nichtübereinstimmungen der einzelnen Manöverreihenfolgen der einzelnen Manövertypen in der Manövermatrix als gleich oder nahezu gleich bzw. ähnlich anzusehen. So kann beispielsweise ein Szenario auch bei einer leichten Ungleichheit/Differenz, (nicht 100 % Übereinstimmung), also beispielsweise wenn ein Egofahrzeug länger an einer Kreuzung hält als ein anderes, zu einem Cluster zugeordnet werden. Ferner kann so auf einfache Art und Weise ein Cluster mit gleichen oder genügend ähnlichen Szenarien gebildet werden.
In weiterer Ausbildung ist das Vergleichsmodul dazu ausgebildet, zum Vergleich von Parameter der einzelnen Manöver in dem zu einem Cluster gehörenden Manövermatrizen eine Parameterverteilung zu erstellen, wobei jeder der Manövermatrizen dieselben Manöverreihenfolgen aufweist. Da alle Szenarien in einem Cluster dieselbe Manöverreihenfolge besitzen, kann eine aussagekräftige Parameterverteilung für die Parameter erstellt werden.
Dadurch können die Parameter der Manöver, wie beispielsweise Dauer von Spur- wechselmanövern, Geschwindigkeiten etc. für weitere Analysen genutzt werden.
Dabei wird die Aufgabe ferner gelöst durch ein Verfahren zum Erstellen einer virtuellen Prüfungsumgebung anhand einer erkannten Häufigkeit von gleichen oder ähnlichen Szenarien zum Testen von autonomen Fahrfunktionen eines Egofahrzeugs, umfassend der Schritte:
- Generieren von verschiedenen Szenarien aus der Sicht des Egofahrzeugs mit einer Egotrajektorie anhand eines Simulators und/oder Bereitstellen von Realdaten von verschiedenen Szenarien aus der Sicht des Egofahrzeugs mit einer Egotrajektorie,
- Bewerkstelligen für jeden Zeitschritt der Egotrajektorie in den Szenarien eines automatisierten Zuweisens eines Manöverschrittes für jeden Manövertypen, wobei die verschiedenen Manövertypen mit auswählbaren Manöverschritten als Manöverkatalog bereitgestellt werden, und Bewerkstelligen für jeden Zeitschritt von jeder Verkehrsteilnehmertrajektorie jedes Verkehrsteilnehmers in den Szenarien eines automatisierten Zuweisens eines Manöverschrittes für jeden Manövertypen, wobei die verschiedenen Manövertypen mit auswählbaren Manöverschritten als Manöverkatalog bereitgestellt werden, so dass durch die Zuweisungen eine Manövermatrix mit unterschiedlichen manövertypabhängigen Manöverreihenfolgen zu jedem Manövertyp generiert wird, und
- automatisiertes Zusammenfassen der gleichen Manövermatrizen zu einem Cluster als Manöver,
- Bestimmen der Größe der Cluster als Häufigkeit von gleichen oder ähnlichen Szenarien,
- Erstellen einer Prüfungsumgebung zum Testen der autonomen Fahrfunktionen anhand der Größe der Cluster,
- Testen der autonomen Fahrfunktionen des Egofahrzeugs in der Prüfungsumgebung. Dabei ist das Verfahren insbesondere dazu ausgebildet, auf dem erfindungsgemäßen System ausgeführt zu werden. Ferner können die Vorteile und vorteilhaften Ausbildungen des Systems auf das Verfahren übertragen werden.
In weiterer Ausgestaltung wird das Testen durch eine Simulation des Manövers in dem entsprechenden Cluster anhand der im späteren Egofahrzeug vorhandenen autonomen Fahrfunktionen durchgeführt.
In weiterer Ausbildung wird das Testen mittels verschiedener Fahrparameter für das in dem Cluster entsprechende Manöver durch die autonomen Fahrfunktionen durchgeführt und das in dem Cluster dargestellte Szenario mit den verwendeten Fahrparametern als valide verifiziert, wenn die das Cluster beschreibende Manöverreihenfolge und die durch das Testen mittels verschiedener Fahrparameter erhaltene Manöverreihenfolge gleich ist.
In weiterer Ausgestaltung werden zur Erkennung der einzelnen Manöverschritte für jeden Manövertypen in einem Szenario, wobei das Szenario einem Umfeld zugeordnet ist, die für das Umfeld entsprechenden Kartendaten herangezogen. Die Erkennung der Manöverschritte kann dabei regelbasiert mithilfe der Kartendaten sicher und automatisiert erfolgen.
In weiterer Ausbildung wird der Beginn und das Ende eines Szenarios durch die Änderung eines Manöverschritts eines einzelnen, vorab bestimmten Manövertyps bestimmt. Dadurch ist ein einfaches Bestimmen eines Szenarios möglich. Zur Erstellung eines Clusters werden die Spalten und Zeilen der Manövermatrizen verglichen. In weiterer Ausbildung sind zwei Manövermatrizen anhand der Anzahl der Übereinstimmungen und/oder Nichtübereinstimmungen der einzelnen Manöverreihenfolgen der einzelnen Manövertypen in der Manövermatrix als gleich oder ähnlich anzusehen.
Ferner kann eine Punktezahl zumindest für Übereinstimmungen vergeben werden, wobei zwei Manövermatrizen abhängig von der Punktezahl als gleich angesehen werden können. In weiterer Ausbildung ist jeder Zeitschritt als eine vorgegebene Zeitdauer ausgebildet. Dadurch können zu diffizile Manöverschritte vermieden werden.
In weiterer Ausbildung wird zum Vergleich von Parameter der einzelnen Manöver in dem zu einem Cluster gehörenden Manövermatrizen eine Parameterverteilung erstellt, wobei jeder der Manövermatrizen dieselben Manöverreihenfolgen aufweist. Da alle Szenarien dieselbe Manöverreihenfolgen besitzen, kann eine aussagekräftige Parameterverteilung für die Parameter erstellt werden.
Weitere Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Dabei zeigen:
FIG 1 : ein erfindungsgemäßes System schematisch,
FIG 2: einen Manöverkatalog mit Manövertypen dazu passenden Manöverschritten, Parametern und Beschreibung des Manövertyps,
FIG 3: ein Szenario mit dem Manöverkatalog für das Egofahrzeug,
FIG 4: ein weiteres Szenario mit dem Manöverkatalog für das Egofahrzeug,
FIG 5: verschiedene Manövertypen mit den auswählbaren verschiedenen Manöverschritten,
FIG 6: eine Arbeitsweise eines Vergleichsmoduls,
FIG 7: mögliche Fahrparametervariationen in den autonomen Fahrfunktionen bei Übereinstimmung mit dem entsprechenden Cluster,
FIG 8: mögliche Fahrparametervariationen in den autonomen Fahrfunktionen bei nicht Übereinstimmung mit dem entsprechenden Cluster. Um das Risiko autonomer Fahrfunktionen abschätzen zu können, ist Wissen über mögliche Verkehrsszenarien (Szenarien) notwendig. Ein Szenario definiert sich durch die statische Umgebung wie Straßennetz, Bebauung und durch das Verhalten der anderen Verkehrsteilnehmer; d.h. ein Szenario ist eine abstrakte, semantische Beschreibung, definiert durch das Egofahrzeug und die relevante Umgebung.
Autonome Fahrfunktionen sind alle Funktionen die zu einem autonomen Fährbetrieb beitragen, hierbei können auch Fahrfunktionen des Levels 3 (Automatisierter Modus) oder ein Assistierter Modus umfasst sein. Solche Fahrfunktionen können beispielsweise Lane-Keeping, Tempo-adjustment etc. sein.
Es müssen möglichst viele der eventuell im Betrieb der Fahrfunktion auftretenden Szenarien bekannt sein. Um das Risiko abzuschätzen, werden zusätzlich auch Informationen über die Häufigkeiten dieser Szenarien benötigt. Klassischerweise werden diese Informationen nicht erhoben, sondern auf Basis von möglicherweise unvollständigem Expertenwissen entschieden. Alternativ können Datensammlungen wie Unfalldatenbanken verwendet werden, die jedoch oft in ihrer Beschreibung nicht ausreichen und nur einen kleinen Teil des Verkehrsgeschehens abbilden. Das Problem ist die Ermittlung von auftretenden Verkehrsszenarien und ihren Häufigkeiten, bezogen auf eine bekannte Strecke.
FIG 1 zeigt ein erfindungsgemäßes System 1 zum Erstellen einer virtuellen Prüfungsumgebung anhand einer erkannten Häufigkeit von gleichen oder ähnlichen Szenarien zum Testen der autonomen Fahrfunktionen 3 für ein Egofahrzeug 4.
Das System 1 umfasst einen Simulator s zum Generieren von verschiedenen Szenarien 2 aus der Sicht des Egofahrzeugs 4, welches entlang einer Egotrajektorie 7 fährt.
Solche Simulationen können beispielsweise durch gewerbliche Anbieter erstellt werden. Diese stellen realistische Verkehrsszenarien aus der Sicht des Egofahrzeugs 4 nach, sowie die Interaktion mit anderen Verkehrsteilnehmern. Dadurch kann innerhalb kurzer Zeit eine große Menge an Szenarien 2 erzeugt werden. Ferner können die Szenarien 2 anhand von Realdaten über eine Schnittstelle 6 bereitgestellt werden. Solche Realdaten, können aus Verkehrsüberwachungen, mit Sensoren ausgerüstete Egofahrzeugen 4, Drohnen etc. stammen.
Ferner ist ein Modul 9 dazu ausgebildet für jeden Zeitschrift der Egotrajektorie 7 in einem Szenario 2 ein automatisiertes Zuweisen eines Manöverschrittes für jeden Manövertypen zu bewerkstelligen. Ferner ist das Modul 9 dazu ausgebildet auch für jeden Zeitschritt von der Verkehrsteilnehmertrajektorie jedes Verkehrsteilnehmers in dem Szenario 2 ein automatisiertes Zuweisen eines Manöverschrittes für jeden Manövertypen zu bewerkstelligen. Dabei werden die verschiedenen Manövertypen mit auswählbaren Manöverschritten als Manöverkatalog bereitgestellt.
Durch die beiden Zuweisungen wird eine Manövermatrix M (FIG 5) mit unterschiedlichen manövertypabhängigen Manöverreihenfolgen zu jedem Manövertyp für jeden Verkehrsteilnehmer und das Egofahrzeug 4 generiert.
Dabei gibt ein Manöverkatalog eine Sammlung für die Bewältigung der Fahraufgabe notwendigen Manövertypen an.
Ein solcher Manövertyp ist beispielsweise die „Längsbewegung“ oder "Abbiegen", der das Verhalten an Kreuzungen beschreibt.
Manöverschritte des Manövertyps "Längsbewegung " können "gleichmäßige Fahrt", "Abbremsen" oder "Stillstand" sein. Manöverschritte des Manövertyps "Abbiegen" können "links abbiegen" oder "rechts abbiegen" für die Richtung beim Überqueren einer Kreuzung sein oder "kein Abbiegen", wenn der Teilnehmer kein Abbiegemanöver durchführt.
FIG 2 zeigt einen solchen Manöverkatalog mit entsprechend möglichen Manöverschritten als auch den erfassbaren Parametern. Ferner wird in der letzten Spalte eine Beschreibung des Manöverschrittes angegeben. Dabei ist der Manöverkatalog nicht vollständig. Zu jedem Szenario wird der Manöverkatalog herangezogen und entsprechend für jeden Verkehrsteilnehmer und das Egofahrzeug 4 ausgefüllt.
FIG 3 zeigt ein Szenario 2, hier ein Abbiegemanöver, mit einer dazu erstellten Manövermatrix M. Dabei wird zu jedem Zeitpunkt für jeden Manövertyp ein Manöverschritt detektiert. Dadurch werden die Trajektorien, sowohl des Egofahrzeugs 4 als auch der Verkehrsteilnehmer, hier des Fußgängers 8 semantisch abstrahiert. Eine Manövermatrix M enthält die Zeitschritte als Spalten und die extrahierten Manöverschritte jedes Manövertyps als Zeilen und kann somit als formalisierte abstrakte Darstellung für die weitere Verarbeitung dienen.
So wird für jeden Manövertyp ein Manöverschritt für jeden Verkehrsteilnehmer und das Egofahrzeug 4 angegeben; dieses ist hier in der Manövermatrix M nur für das Egofahrzeug 4 aufgezeigt. Ebenso wird für den Fußgänger 8 eine solche Manövermatrix erstellt, welche hier nicht angegeben ist, bzw. nicht zu der Manövermatrix M hinzugefügt.
FIG 4 zeigt ein weiteres Szenario 2c. Dieses zeigt ein Überholmanöver des Egofahrzeugs 4, sowie die Manövermatrix M2 des Egofahrzeugs 4. Die dazugehörige Manövermatrix M2 wird lediglich für das Egofahrzeug 4 angegeben, nicht für das an dem Szenario 2c beteiligte vorausfahrende Fahrzeug 10.
Dabei sind hier die Manövertypen: „Längsbewegung“, „Querbewegung“, Kreuzung“ „Fußgänger Rechts“ und „Vorrangegangen“ über die Zeit t angezeigt.
In FIG 5 sind zum besseren Verständnis weitere mögliche Manöverschritte gezeigt, die für Manövertypen ausgewählt werden können. Dabei sind hier die Manövertypen „Längsbewegung“, „Querbewegung“, „Kreuzung“, „Kreuzungskontext, „Verkehrsteilnehmerkontext“ angezeigt mit den möglichen Manöverschritten: „konstante Geschwindigkeit“, Annäherung, Nachfolger, Stopp und Stillstand für den Manövertyp „Längsbewegung“. Für den Manövertypen „ Querbewegung“ sind hingegen „Spur halten“ und „Spurwechseln“ angezeigt, aus denen zu jedem Zeitschritt ein passender Manöverschritt ausgewählt wird.
Für den Manövertypen „ Kreuzung“ sind hingegen „Rechts abbiegen“ und „Links abbiegen“, sowie „Kreuzung überfahren“ und „Keine Kreuzung“ angezeigt, aus denen zu jedem Zeitschritt ein passender Manöverschritt ausgewählt wird.
Für den Manövertypen „ Kreuzungskontext“ sind hingegen „Kreuzen“ und „Einfädeln“, sowie „Ausfädeln“ angezeigt, aus denen zu jedem Zeitschritt ein passender Manöverschritt ausgewählt wird.
Für den Manövertypen „ Verkehrsteilnehmerkontext“ sind hingegen „Folgend“ und „Links“, sowie „Rechts“ angezeigt, aus denen zu jedem Zeitschritt ein Manöverschritt ausgewählt wird.
Die zu dem Egofahrzeug 4 und dem Szenario 2,2c gehörenden Verkehrsteilnehmer können beispielsweise per Algorithmus bestimmt werden, beispielsweise können nur lediglich Verkehrsteilnehmer betrachtet werden, welche in einem vorgegebenen Umkreis um das Egofahrzeug 4 sind. Manöverschritte für unbeteiligte, weit entfernte Verkehrsteilnehmer müssen beispielsweise nicht in der Manövermatrix M angezeigt werden und werden nicht als Bestandteil des Szenarios 2 angesehen.
Zur Erkennung der einzelnen Manöverschritte für jeden Manövertypen in einem Szenario, kann das Modul 9, die für das Umfeld, in welchem das Szenario 2,2c stattfindet, entsprechende digitale Kartendaten (digitale Karte/Straßen karte) heranziehen. Dadurch wird die Robustheit der Manöverschritterkennung mithilfe der Anreicherung von Kartendaten erhöht. So wird beispielsweise erkannt, wann ein Egofahrzeug 4 an einer Kreuzung rechts abbiegt, indem die Informationen aus der Karte und der Ego- trajektorie 7 kombiniert werden. Folgemanöver werden z.B. über die Differenzgeschwindigkeit zweier Fahrzeuge auf derselben Spur erkannt.
Die Erkennung der Manöverschritte erfolgt dabei regelbasiert und automatisiert. Dabei wird zu jedem Zeitschritt ein Manöverschritt ausgewählt, wobei ein Zeitschritt auch eine Zeitdauer sein kann.
Ferner ist ein Vergleichsmodul 11 (FIG 1 ) vorhanden zum automatisierten Zusammenfassen der gleichen Manövermatrizen M zu einem Cluster C als Manöver, und zum Bestimmen der Größe der Cluster C als Häufigkeit von gleichen oder ähnlichen Szenarien.
FIG 6 zeigt die Arbeitsweise eines solchen Vergleichsmoduls 11 . Dieses vergleicht die durch das Modul 9 generierten Manövermatrizen M, und clustert gleiche Manövermatrizen M zu einem Cluster, hier CI . Dadurch werden Szenarien 2 mit gleichen Manöverreihenfolgen zu dem Cluster C1 zusammengefasst.
Szenarien 2b, welche zwar ebenfalls einen Fußgänger 8, ein Egofahrzeug 4 aber eine andere Trajektorie 7a aufweisen, erzeugen eine Manövermatrix M1 und werden zu einem Cluster C2 geclustert.
Der Beginn und das Ende eines Szenarios 2, 2b, 2c wird durch die Änderung der Manöverschritte eines einzelnen Manövertyps bestimmt. Je nach Schwerpunkt der Analyse können sinnvolle Definitionen von Start- und Endpunkten variieren. Um die Manövermatrix eines Szenarios zu erhalten, werden die entsprechenden Spalten ausgeschnitten. Zum Vergleich von Manövermatrizen kann ein Mustervergleichsalgorithmus eingesetzt werden, welche eine hinreichende Ähnlichkeit identifizieren kann und gleiche Manövermatrizen zu einem Cluster zusammenfasst. Dabei können geringe Abweichungen zugelassen werden.
Die technische Umsetzung als formale Manöver-Beschreibungssprache ermöglicht einen automatisierten Prozess, der eine Verarbeitung von großen Datenmengen ermöglicht.
Zudem können die Parameter der Manöver, beispielsweise die Dauer von Spurwech- selmanövern, Geschwindigkeiten für weitere Analysen genutzt werden. Da alle Szenarien 2, 2b, 2c dieselben Manöverreihenfolgen besitzen, kann eine aussagekräftige Parameterverteilung für die Parameter erstellt werden.
Anschließend kann durch einen Prozessor 12 (FIG 1) eine Prüfungsumgebung zum Testen der autonomen Fahrfunktionen 3 anhand der Größe der Cluster generiert werden. Dabei müssen Szenarien 2, 2b, 2c mit großer Häufigkeit von dem autonomen Fahrfunktionen 3 mit unterschiedlichsten Fahrparametern sicher bewältigt werden, so dass dies in der Generierung einer Prüfungsumgebung berücksichtigt werden kann.
Dabei ist ein häufig auftretendes Szenario ein Szenario, dass im Vergleich zu einem anderen häufig auftritt, d.h. ein immer wieder auftretendes Szenario. Anstatt mit dem kompletten Satz von Szenarien zu arbeiten, kann somit jedes Cluster durch ein Mitglied repräsentiert werden. Die Häufigkeit der erkannten gleichen oder ähnlichen Szenarien dient somit als eine Grundlage für die Priorisierung bei der Generierung der Prüfungsumgebung, beispielsweise werden Szenarien mit großer Häufigkeit durch die autonomen Fahrfunktionen 3 mit besonders hohen Fahrparametervariationen durchgeführt, um bei einem so häufig auftretenden Szenario eine sichere autonome Fahrfunktion 3 zu garantieren. Das heißt, dass beispielsweise ein Abbiegemanöver mit Fußgänger mit der Fahrparametervariation hoher/niedriger/mittlerer Geschwindigkeit beim Abbiegen des Egofahrzeugs 4, hoher Geschwindigkeit des Fußgängers, Glatteis etc. durchgeführt wird.
Dabei werden bei dem Testen der Szenarien 2, 2b, 2c durch die autonomen Fahrfunktionen 3 immer konkrete Werte für die Verkehrsteilnehmer und das Egofahrzeug 4 selber hinterlegt. Bei einem solchen Testen werden die dem Cluster C1 ,C2 zugehörigen Szenarien 2,2b variiert und müssen durch die autonomen Fahrfunktionen 3 bewältigt werden. Dies bedeutet, dass bei einer Manöverreihenfolge in der Manövermatrix M (Manövertyp Längsbewegung (longitudinal)), hier beispielsweise „Geschwindigkeit halten (Cruise)“ „Stopp (Stop)“, „Stillstand (Standstill)“ und „Geschwindigkeit halten(Cruise)“, welches beispielsweise die Manöverreihenfolge in dem zu testenden Cluster C1 aufweist, die autonomen Fahrfunktionen 3 zu diesem Cluster C1 mit den in den autonomen Fahrfunktionen 3 eingestellten Fahrparametern genau dieselbe Manöverreihenfolge aufweisen müssen; ansonsten gilt das Szenario als nicht bewältigt oder die in den Fahrfunktionen 3 eingestellten Fahrparameter sind falsch. Dies heißt, dass der zu testende Fahrparameterraum zu weit aufgespannt ist. Dies bedeutet, dass quasi nicht dasselbe/gewünschte Szenario getestet wurde. So wird bei falscher Einstellung der Fahrparameter in den autonomen Fahrfunktionen 3 in dem zu testenden Cluster C1 beispielsweise nicht die Reihenfolge „Geschwindigkeit halten (Cruise)“ „Stopp (Stop)“, „Stillstand (Standstill)“ und „Geschwindigkeit hal- ten(Cruise)“ getestet, da in der Simulation mit „falschen“ Fahrparameter der Fußgänger 8 nach Passieren des Egofahrzeugs 4 die Straße kreuzt.
Daher wird durch das T esten mittels verschiedener Fahrparameter das für das Cluster beschreibende Manöver, welches durch die autonomen Fahrfunktionen 3 durchgeführt wird, das in dem Cluster C1 ,C2 dargestellte Szenario 2,2b mit den verwendeten Fahrparametern als valide verifiziert, wenn die das Cluster C1 ,C2 beschreibende Manöverreihenfolge mit der durch die Fahrparameter generierten Manöverreihenfolge gleich ist. So muss beispielsweise für den Manövertyp „Längsbewegung“ die Reihenfolge „Geschwindigkeit halten (Cruise)“ „Stopp (Stop)“, „Stillstand (Standstill)“ und „Geschwindigkeit halten(Cruise)“ erfolgen. Dies gilt ebenso für die anderen Manövertypen. Wird die Reihenfolge nicht eingehalten, so wird das getestete Szenario als nicht valide verifiziert.
Somit können durch die Manövermatrix M,M1 diejenigen Fahrparametervariationen herausgefiltert werden, die nicht dem ursprünglich und erwarteten Szenario 2, 2b, entsprechen, d.h. ein Szenario welches beispielsweise nicht dem Cluster C1 ,C2 zugeordnet ist.
Durch die Manövermatrix M,M1 und das Testen der autonomen Fahrfunktionen 3 in den einzelnen Clustern C1 ,C2, welche die Prüfungsumgebung aufspannen, können somit falsche Szenarien erkannt werden. Dadurch können Fehlaussagen in Bezug auf den Absicherungsprozess der autonomen Fahrfunktionen 3 vermieden werden.
Somit können Fahrparametervariationen, die zu einem falschen Szenario gehören, d.h. welche nicht dem ursprünglichen und erwarteten Szenario 2,2b entsprechen, herausgefiltert werden, was einen Absicherungsprozess beschleunigt bzw. verbessert; so kann beispielsweise bei erhöhter Geschwindigkeit des Egofahrzeugs 4 in dem Cluster 2 der Fußgänger 8 die Straße überqueren nachdem das Egofahrzeug 4 die Kreuzung überquert hat, was einem anderen Szenario als das in Cluster 1 entspricht. Gehören Fahrparametervariationen nicht zu einem Szenario in einem Cluster, so bedeutet dies, dass der zu prüfende Fahrparameterraum zu weit aufgespannt wurde. Durch die Überprüfung der Manöverreihenfolge können solche Fehleinstellungen schnell erkannt werden.
FIG 7 zeigt ein Beispiel eines Testens des Szenarios 2c mit den autonomen Fahrfunktionen 3, wobei dem Szenario 2c das Cluster C3 zugeordnet ist, unter verschiedenen Fahrparametervariationen F1 ,F2,F3, wobei jeder der ausgewählten Fahrparametervariationen das gewünschte Cluster C3 zeigt, d.h. die jeweils gleiche Manövermatrix M2 (FIG 4) aufweist. Dabei entspricht das Szenario 2c dem Überholmanöver des Egofahrzeugs 4.
FIG 8 zeigt mögliche Fahrparametervariationen in den autonomen Fahrfunktionen 3 des Szenarios 2c, bei welchen die erstellte Manövermatrix nicht mehr der gewünschten Manövermatrix entspricht. So entspricht Sa, dem Szenario 2c beispielsweise mit Fahrparametervariationen F1 ,F2,F3; bei dem Szenario Sb findet jedoch kein Überholmanöver statt, beispielsweise kann die Geschwindigkeit des Egofahrzeugs 4 zu langsam sein (Fahrparametervariation F4). Ebenso findet bei dem Szenario Sc kein Überholmanöver statt (Fahrparametervariation F5). Somit entsprechen die Variationen F4,F5 der Fahrparameter beim Testen nicht dem ursprünglichen gewünschten und in dem zu testenden Cluster C3 vorhandene Szenario 2c.
Durch eine Manövermatrix können solche „falschen“ Szenarien leicht herausgefiltert werden, welche ein falsches Ergebnis im Bezug auf das Testen der autonomen Fahrfunktionen 3 liefern.
Durch das erfindungsgemäße System 1 und das erfindungsgemäße Verfahren können Verkehrsszenarien 2, 2b, 2c welche in den Simulationsdaten/Realdaten enthalten sind, über eine Manövermatrix M,M1 ,M2 und den darin enthaltenen Manöverreihenfolgen prozessiert und analysiert werden. Die Abstraktion der Trajektoriedaten zu Manövern erlaubt eine semantische Analyse der Daten. Aufbauend auf den Manöverreihenfolgen werden Cluster C1 ,C2,C3 generiert. Durch die in den Clustern C1 , C2, C3 enthaltenen Szenarien 2, 2b, 2c können häufige Szenarien 2, 2b, 2c und relevante Informationen zu den häufigen Szenarien 2, 2b, 2c erkannt werden. Anhand der erhaltenen häufigen Szenarien 2, 2b, 2c kann eine Prüfungsumgebung zum Testen autonomer Fahrfunktionen 3 erstellt werden, welche zur Absicherung der autonomen Fahrfunktionen 3 dient. Durch die hinter dem Cluster C1 , C2,C3 hinterlegte Manöverreihenfolge kann erkannt werden, wann der geprüfte Fahrparameterraum zu weit aufgespannt ist und ein Szenario getestet wird, welches nicht mehr dem ursprünglichen Szenario 2, 2b, 2c entspricht.
Automatisiert variierte und durchsimulierte Szenarien können mit Hilfe des Systems 1 und des Verfahrens automatisiert und ohne manuellen Aufwand auf abstrakter Ebene validiert werden. Dies erspart hohen manuellen Aufwand und damit Kosten, da es bei der Variation zu einer hohen Anzahl von durchsimulierten Szenarien kommen kann. Ferner kann das Testergebnis einfach validiert werden, da durch die Manöverreihenfolge bekannt ist, ob die Ergebnisse auf validen Szenarien aufbauen. Die technische Umsetzung als formale Beschreibungssprache ermöglicht einen automatisierten Prozess, der für große Datenmengen ausgelegt ist.
Bezugszeichenliste
1 System
2, 2b, 2c Szenario
3 autonome Fahrfunktionen
4 Egofahrzeug
5 Simulator
6 Schnittstelle
7 Egotrajektorie
8 Fußgänger
9 Modul
10 vorausfahrendes Fahrzeug
11 Vergleichsmodul
12 Prozessor
M.M1.M2 Manövermatrix
C1.C2.C3 Cluster
F1 ,..,F6 Fahrparametervariationen

Claims

Patentansprüche
1. System (1 ) zum Erstellen einer virtuellen Prüfungsumgebung anhand einer erkannten Häufigkeit von gleichen oder ähnlichen Szenarien (2, 2b, 2c) zum Testen der autonomen Fahrfunktionen (3) für ein zumindest teilweise autonom betreibbares Egofahrzeug (4), umfassend eines Simulators (5) zum Generieren von verschiedenen Szenarien (2, 2b, 2c) aus der Sicht des Egofahrzeugs (4) mit einer Egotrajektorie (7) und/oder einer Schnittstelle (6) zum Empfang von Realdaten von verschiedenen Szenarien (2, 2b, 2c) aus der Sicht des Egofahrzeugs (4) mit einer Egotrajektorie (7), dadurch gekennzeichnet, dass ein Modul (9) vorgesehen ist, welches dazu ausgebildet ist, für jeden Zeitschritt der Egotrajektorie (7) in den Szenarien (2, 2b, 2c) ein automatisiertes Zuweisen eines Manöverschrittes für jeden Manövertypen zu bewerkstelligen, wobei die verschiedenen Manövertypen mit auswählbaren Manöverschritten als Manöverkatalog bereitgestellt sind und für jeden Zeitschritt von jeder Verkehrsteilnehmertrajektorie jedes Verkehrsteilnehmers in den Szenarien (2, 2b, 2c) ein automatisiertes Zuweisen eines Manöverschrittes für jeden Manövertypen zu bewerkstelligen, wobei die verschiedenen Manövertypen mit auswählbaren Manöverschritten als Manöverkatalog bereitgestellt sind, so dass durch die Zuweisungen eine Manövermatrix (M,M1 ,M2) mit unterschiedlichen manövertypabhängigen Manöverreihenfolgen zu jedem Manövertyp generiert ist, und ein Vergleichsmodul (11 ) vorgesehen ist, welches zum automatisierten Zusammenfassen der gleichen Manövermatrizen (M,M1 ,M2) zu einem Cluster (C1 ,C2,C3) als Manöver, und zum Bestimmen der Größe der Cluster (C1 ,C2,C3) als Häufigkeit von gleichen oder ähnlichen Szenarien (2, 2b, 2c) ausgebildet ist, und wobei ein Prozessor (12) vorgesehen ist, welcher zum Erstellen einer Prüfungsumgebung zum Testen der autonomen Fahrfunktionen (3) anhand der Größe der Cluster (C1 ,C2,C3) ausgebildet ist sowie zum Testen der autonomen Fahrfunktionen (3) des Egofahrzeugs (4) in der Prüfungsumgebung ausgebildet ist.
2. System (1) nach Anspruch 1 , dadurch gekennzeichnet, dass der Prozessor (12) ferner dazu ausgebildet ist, das Testen durch eine Simulation des Manövers in dem entsprechenden Cluster (C1 ,C2,C3) anhand der autonomen Fahrfunktionen (3) durchzuführen.
3. System (1) nach Anspruch 2, dadurch gekennzeichnet, dass der Prozessor (12) ferner dazu ausgebildet ist, das Testen mittels verschiedener Fahrparameter für das in dem Cluster (C1 ,C2,C3) entsprechende Manöver durch die autonomen Fahrfunktionen (3) durchzuführen und das in dem Cluster (C1 ,C2,C3) dargestellte Szenario
(2, 2b, 2c) mit den verwendeten Fahrparametern als valide zu verifizieren, wenn die das Cluster (C1 ,C2,C3) beschreibende Manöverreihenfolge und die durch das Testen mittels verschiedener Fahrparameter erhaltene Manöverreihenfolge gleich ist.
4. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Modul (9) zur Erkennung der einzelnen Manöverschritte für jeden Manövertypen in einem Szenario (2, 2b, 2c) ausgebildet ist, wobei das Szenario (2, 2b, 2c) einem Umfeld zugeordnet ist, und wobei das Modul (9) ausgebildet ist, zur Erkennung der einzelnen Manöverschritte die für das Umfeld entsprechenden Kartendaten heranzuziehen.
5. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Vergleichsmodul (11) dazu ausgebildet ist, zwei Manövermatrizen (M,M1 ,M2) anhand der Anzahl der Übereinstimmungen und/oder Nichtübereinstimmungen der einzelnen Manöverreihenfolgen der einzelnen Manövertypen in der Manövermatrix (M,M1 ,M2) als gleich oder ähnlich anzusehen.
6. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Vergleichsmodul (11) dazu ausgebildet ist, zum Vergleich von Parameter der einzelnen Manöver in dem zu einem Cluster (C1 ,C2,C3) gehörenden Manövermatrizen (M,M1 ,M2) eine Parameterverteilung zu erstellen, wobei jeder der Manövermatrizen (M,M1 ,M2) dieselben Manöverreihenfolgen aufweist.
7. Verfahren zum Erstellen einer virtuellen Prüfungsumgebung anhand einer erkannten Häufigkeit von gleichen oder ähnlichen Szenarien (2, 2b, 2c) zum Testen der autonomen Fahrfunktionen (3) für ein zumindest teilweise autonom betreibbares Egofahrzeug (4), umfassend der Schritte:
- Generieren von verschiedenen Szenarien (2, 2b, 2c) aus der Sicht des Egofahrzeugs (4) mit einer Egotrajektorie (7) anhand eines Simulators (5) und/oder Bereitstellen anhand von Realdaten von verschiedenen Szenarien (2, 2b, 2c) aus der Sicht des Egofahrzeugs (4) mit einer Egotrajektorie (7),
- Bewerkstelligen für jeden Zeitschritt der Egotrajektorie (7) in den Szenarien (2, 2b, 2c) eines automatisierten Zuweisens eines Manöverschrittes für jeden Manövertypen, wobei die verschiedenen Manövertypen mit auswählbaren Manöverschritten als Manöverkatalog bereitgestellt werden, und Bewerkstelligen für jeden Zeitschritt von jeder Verkehrsteilnehmertrajektorie jedes Verkehrsteilnehmers in den Szenarien (2, 2b, 2c) eines automatisierten Zuweisens eines Manöverschrittes für jeden Manövertypen, wobei die verschiedenen Manövertypen mit auswählbaren Manöverschritten als Manöverkatalog bereitgestellt werden, so dass durch die Zuweisungen eine Manövermatrix (M,M1 ,M2) mit unterschiedlichen manövertypabhängigen Manöverreihenfolgen zu jedem Manövertyp generiert wird, und
- automatisiertes Zusammenfassen der gleichen Manövermatrizen (M,M1 ,M2) zu einem Cluster (C1 ,C2,C3) als Manöver, und
- Bestimmen der Größe der Cluster (C1 ,C2,C3) als Häufigkeit von gleichen oder ähnlichen Szenarien (2, 2b, 2c), und
- Erstellen einer Prüfungsumgebung zum Testen der autonomen Fahrfunktionen (3) anhand der Größe der Cluster (C1 ,C2,C3), und
- Testen der autonomen Fahrfunktionen (3) des Egofahrzeugs (4) in der Prüfungsumgebung.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das Testen durch eine Simulation des Manövers in dem entsprechenden Cluster (C1 ,C2,C3) anhand der im späteren Egofahrzeug (4) vorhandenen autonomen Fahrfunktionen (3) durchgeführt wird.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das Testen mittels verschiedener Fahrparameter für das in dem Cluster (C1 ,C2,C3) entsprechende Manöver durch die autonomen Fahrfunktionen (3) durchgeführt wird und das in dem Cluster (C1 ,C2,C3) dargestellte Szenario (2, 2b, 2c) mit den verwendeten Fahrparametern als valide verifiziert wird, wenn die das Cluster (C1 ,C2,C3) beschreibende Manöverreihenfolge und die durch das Testen mittels verschiedener Fahrparameter erhaltene Manöverreihenfolge gleich ist.
10. Verfahren nach einem der vorhergehenden Ansprüche 7 bis 9, dadurch gekennzeichnet, dass zur Erkennung der einzelnen Manöverschritte für jeden Manövertypen in einem Szenario (2, 2b, 2c), wobei das Szenario (2, 2b, 2c) einem Umfeld zugeordnet ist, die für das Umfeld entsprechenden Kartendaten herangezogen werden.
11. Verfahren nach einem der vorhergehenden Ansprüche 7 bis 10, dadurch gekennzeichnet, dass der Beginn und das Ende eines Szenarios (2, 2b, 2c) durch die Änderung eines Manöverschritts eines einzelnen, vorab bestimmten Manövertyps bestimmt wird.
12. Verfahren nach einem der vorhergehenden Ansprüche 7 bis 11 , dadurch gekennzeichnet, dass zwei Manövermatrizen (M,M1 ,M2) anhand der Anzahl der Übereinstimmungen und/oder Nichtübereinstimmungen der einzelnen Manöverreihenfolgen der einzelnen Manövertypen in der Manövermatrix (M,M1 ,M2) als gleich oder ähnlich angesehen werden.
13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass eine Punktezahl zumindest für Übereinstimmungen vergeben wird und zwei Manövermatrizen (M,M1 ,M2) abhängig von der Punktezahl als gleich angesehen werden.
14. Verfahren nach einem der vorhergehenden Ansprüche 7 bis 13, dadurch gekennzeichnet, dass jeder Zeitschritt als eine vorgegebene Zeitdauer ausgebildet wird.
15. Verfahren nach einem der vorhergehenden Ansprüche 7 bis 14, dadurch gekennzeichnet, dass zum Vergleich von Parameter der einzelnen Manöver in dem zu einem Cluster (C1 ,C2,C3) gehörenden Manövermatrizen (M,M1 ,M2) eine Parameterverteilung erstellt wird, wobei jeder der Manövermatrizen (M,M1 ,M2) dieselben Manöverreihenfolgen aufweist.
PCT/EP2023/084057 2022-12-08 2023-12-04 System und verfahren zu testfallbestimmung anhand einer erkannten häufigkeit von gleichen oder ähnlichen szenarien WO2024121024A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022213262.9A DE102022213262A1 (de) 2022-12-08 2022-12-08 System und Verfahren zum Erstellen einer virtuellen Prüfungsumgebung anhand einer erkannten Häufigkeit von gleichen oder ähnlichen Szenarien
DE102022213262.9 2022-12-08

Publications (1)

Publication Number Publication Date
WO2024121024A1 true WO2024121024A1 (de) 2024-06-13

Family

ID=89158598

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/084057 WO2024121024A1 (de) 2022-12-08 2023-12-04 System und verfahren zu testfallbestimmung anhand einer erkannten häufigkeit von gleichen oder ähnlichen szenarien

Country Status (2)

Country Link
DE (1) DE102022213262A1 (de)
WO (1) WO2024121024A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3605248A1 (de) * 2017-03-31 2020-02-05 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, computerprogramm und programmherstellungsverfahren
WO2022028935A1 (de) 2020-08-05 2022-02-10 Dspace Gmbh Computerimplementiertes verfahren zum bereitstellen eines test-verlaufs zu testender verkehrsszenarien
US20220207208A1 (en) * 2020-12-30 2022-06-30 Beijing Voyager Technology Co., Ltd. Variable system for simulating operation of autonomous vehicles
EP4027245A1 (de) * 2021-01-12 2022-07-13 dSPACE GmbH Computerimplementiertes verfahren zur bestimmung von ähnlichkeitswerten von verkehrsszenarien

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016220913A1 (de) 2015-11-06 2017-05-11 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Generierung von Testfällen für autonome Fahrzeuge
DE102019116980A1 (de) 2019-06-24 2020-12-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum selektiven Lernen von Fahrzeugdaten
DE102020210962B4 (de) 2020-08-31 2022-03-10 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und Rechnersystem zum Erzeugen von Eingangsparametern für eine Simulation
AT523834B1 (de) 2020-09-15 2021-12-15 Avl List Gmbh Verfahren und System zum Testen eines Fahrerassistenzsystems
DE102021131115A1 (de) 2021-11-26 2023-06-01 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Szenarienidentifikation für eine Applikation von Fahrerassistenzsystemen
CN114815605A (zh) 2022-04-07 2022-07-29 中国科学院深圳先进技术研究院 自动驾驶测试用例生成方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3605248A1 (de) * 2017-03-31 2020-02-05 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, computerprogramm und programmherstellungsverfahren
WO2022028935A1 (de) 2020-08-05 2022-02-10 Dspace Gmbh Computerimplementiertes verfahren zum bereitstellen eines test-verlaufs zu testender verkehrsszenarien
US20220207208A1 (en) * 2020-12-30 2022-06-30 Beijing Voyager Technology Co., Ltd. Variable system for simulating operation of autonomous vehicles
EP4027245A1 (de) * 2021-01-12 2022-07-13 dSPACE GmbH Computerimplementiertes verfahren zur bestimmung von ähnlichkeitswerten von verkehrsszenarien

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RIES LENNART ET AL: "Trajectory-Based Clustering of Real-World Urban Driving Sequences with Multiple Traffic Objects", 2021 IEEE INTERNATIONAL INTELLIGENT TRANSPORTATION SYSTEMS CONFERENCE (ITSC), IEEE, 19 September 2021 (2021-09-19), pages 1251 - 1258, XP033993613, DOI: 10.1109/ITSC48978.2021.9564636 *

Also Published As

Publication number Publication date
DE102022213262A1 (de) 2024-06-13

Similar Documents

Publication Publication Date Title
DE102017213634A1 (de) Verfahren und Vorrichtung für die Durchführung von virtuellen Tests in einer virtuellen Realitätsumgebung für ein autonom fahrendes Fahrzeug
DE102018128289B4 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
DE102019124018A1 (de) Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme
DE102021100149A1 (de) Computerimplementiertes Verfahren zum Bereitstellen eines Test-Verlaufs zu testender Verkehrsszenarien
DE102019203712B4 (de) Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt, Kraftfahrzeug sowie System
WO2021058223A1 (de) Verfahren zur effizienten, simulativen applikation automatisierter fahrfunktionen
AT523834B1 (de) Verfahren und System zum Testen eines Fahrerassistenzsystems
DE102021000291A1 (de) Verfahren zum von Testszenarios für ADAS
DE102020120141A1 (de) Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme mittels probabilistisch prädizierter Systemantworten
DE102019208735B4 (de) Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
WO2022067368A1 (de) Computergestütztes verfahren und vorrichtung zur wahrscheinlichkeitsbasierten geschwindigkeitsprognose für fahrzeuge
EP4350660A1 (de) System und verfahren zur prädiktion einer zukünftigen position eines verkehrsteilnehmers
WO2024121024A1 (de) System und verfahren zu testfallbestimmung anhand einer erkannten häufigkeit von gleichen oder ähnlichen szenarien
EP4105811A1 (de) Computerimplementiertes verfahren zum szenariobasierten testen und/oder homologation von zu testenden zumindest teilweise autonomen fahrfunktionen durch key performance indicators (kpi)
WO2024121023A1 (de) System oder verfahren zur erkennung von häufigkeiten von gleichen oder ähnlichen szenarien
DE102014221011A1 (de) Modul zur Simulation eines Sondereinsatzfahrzeuges in einer Verkehrsflusssimulation und Verfahren zur Durchführung einer Verkehrsflusssimulation
DE102021208472B3 (de) Computerimplementiertes Verfahren zum Trainieren eines Machine-Learning-Modells für ein Fahrzeug oder einen Roboter
DE102022107338B3 (de) Verfahren zum Testen von automatisierten Fahrzeugfunktionen
DE102023000357B3 (de) Verfahren zum Erzeugen von Testdaten für eine Simulation eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung
DE102022202877A1 (de) System und Verfahren zum Generieren von Simulationsparameter
DE102022002457A1 (de) Verfahren zur Prädiktion eines Einflusses eines Verkehrsteilnehmers auf zumindest einen anderen Verkehrsteilnehmer und Verfahren zum Betrieb eines Fahrzeugs
DE102022003975A1 (de) Verfahren zur Modellanpassung in Verbindung mit Karteninformationen und Computerprogrammprodukt
DE102021214095A1 (de) Verfahren und System zum Erkennen von kritischen Verkehrsszenarien und/oder Verkehrssituationen
DE102021132025A1 (de) Verfahren zum Bestimmen ähnlicher Szenarien, Trainingsverfahren und Trainingssteuergerät
DE102022114913A1 (de) Computerimplementiertes Verfahren zur Verwendung von gespeicherten Spezifikationsanteilen