DE102022213244A1 - Vehicle system for increasing the safety of a vehicle, method and use - Google Patents

Abstract

Die Erfindung betrifft ein Fahrzeugsystem (1) zur Erhöhung der Sicherheit eines Fahrzeugs (2) im Betrieb, wobei das Fahrzeugsystem (1) eine Speichereinheit umfasst, welche ein auf Basis von Trainingsdaten trainiertes maschinelles Lernverfahren aufweist, wobei die Trainingsdaten zumindest ein Umfeld des Fahrzeugs (2) darstellen, sowie ein Sensorsystem (3) zur Generierung von das Umfeld des Fahrzeugs (2) abbildende aktuelle Sensordaten, wobei ein Abbildungsmodul (5) vorgesehen ist, welches dazu ausgebildet ist, eine erneute Eingabe der Trainingsdaten in das trainierte maschinelle Lernverfahren zu bewerkstelligen und die durch erneute Eingabe der Trainingsdaten in das trainierte maschinelle Lernverfahren erhaltene Daten als Operational Design Domain Daten(ZODDi)auf einen zweidimensionalen oder mehrdimensionalen Raum abzubilden und zu clustern zur Erstellung einer Clusterkarte (7) mit allen abgedeckten Operational Design Domain (ODD)-Clustern (ZODD), wobei das Abbildungsmodul (5) ferner dazu ausgebildet ist, eine Eingabe der durch das Fahrzeugsystem (1) aufgenommenen aktuellen Sensordaten in das maschinelle Lernverfahren zu bewerkstelligen und ferner der durch Eingabe der aufgenommenen aktuellen Sensordaten in das trainierte maschinelle Lernverfahren erhaltenen Istdaten auf den zweidimensionalen oder mehrdimensionalen Raum abzubilden und den jeweiligen Abstand der erhaltenen Istausgabedaten (y1,2..) mit den Operational Design Domain (ODD)-Clustern (ZODD) zu bestimmen, und wobei ein Erkennungsmodul (6) vorgesehen ist, welches dazu ausgebildet ist, bei Überschreiten eines minimalen Abstandes mit einem in dem Erkennungsmodul (6) gespeicherten Schwellenwert die Istausgabedaten (y1,2..) als Nicht-ODD-Daten zu kennzeichnen und zumindest eine Warnung zu generieren.Ferner betrifft die Erfindung ein Verfahren und eine Verwendung.The invention relates to a vehicle system (1) for increasing the safety of a vehicle (2) during operation, wherein the vehicle system (1) comprises a storage unit which has a machine learning method trained on the basis of training data, wherein the training data represent at least one environment of the vehicle (2), and a sensor system (3) for generating current sensor data depicting the environment of the vehicle (2), wherein a mapping module (5) is provided which is designed to carry out a renewed input of the training data into the trained machine learning method and to map the data obtained by re-entering the training data into the trained machine learning method as operational design domain data (ZODDi) onto a two-dimensional or multi-dimensional space and to cluster them in order to create a cluster map (7) with all covered operational design domain (ODD) clusters (ZODD), wherein the mapping module (5) is further designed to carry out an input of the current sensor data recorded by the vehicle system (1) into the machine learning method and further to map the data obtained by entering the to map the actual data obtained from the current sensor data recorded in the trained machine learning method onto the two-dimensional or multi-dimensional space and to determine the respective distance of the actual output data obtained (y1,2..) with the Operational Design Domain (ODD) clusters (ZODD), and wherein a recognition module (6) is provided which is designed to mark the actual output data (y1,2..) as non-ODD data and to generate at least one warning when a minimum distance with a threshold value stored in the recognition module (6) is exceeded.The invention further relates to a method and a use.

Description

Die Erfindung betrifft ein Verfahren und ein Fahrzeugsystem zur Erhöhung der Sicherheit eines Fahrzeugs im Betrieb, wobei das Fahrzeugsystem eine Speichereinheit umfasst, welche ein auf Basis von Trainingsdaten trainiertes maschinelles Lernverfahren aufweist, wobei die Trainingsdaten zumindest ein Umfeld des Fahrzeugs darstellen, sowie ein Sensorsystem zur Generierung von das Umfeld des Fahrzeugs abbildende aktuelle Sensordaten. Ferner betrifft die Erfindung eine Verwendung.The invention relates to a method and a vehicle system for increasing the safety of a vehicle during operation, wherein the vehicle system comprises a memory unit which has a machine learning method trained on the basis of training data, wherein the training data represent at least one environment of the vehicle, and a sensor system for generating current sensor data depicting the environment of the vehicle. The invention further relates to a use.

Je mehr Aufgaben ein ADAS (Advanced Driver Assistance System) oder autonomes Fahrzeug mit einem künstlichen neuronalen Netz übernimmt, desto wichtiger ist es, dass das eingesetzte Fahrzeug/Fahrzeugsystem die Sicherheit gewährleistet. Während die Leistung moderner neuronaler Netze bei gut definierten, in sich abgeschlossenen Datensätzen innerhalb einer bestimmten Operational Design Domain (ODD) recht hoch ist, bietet die reale Welt eine Unzahl von Variationen, Szenarien und Veränderungen.The more tasks an ADAS (Advanced Driver Assistance System) or autonomous vehicle with an artificial neural network takes on, the more important it is that the vehicle/vehicle system used ensures safety. While the performance of modern neural networks is quite high with well-defined, self-contained data sets within a specific Operational Design Domain (ODD), the real world offers a myriad of variations, scenarios and changes.

Eine ODD-Definition beschreibt spezifische Betriebsbedingungen, unter denen das automatisierte Fahrzeugsystem für einen ordnungsgemäßen Betrieb ausgelegt ist. Sie legt fest, welche Betriebsparameter das Fahrzeug bewältigen können muss; zum Beispiel Wetterbedingungen, Infrastruktur, Ort, Tageszeit und alles andere, was Einfluss auf die Fahrsituation haben kann. Das ODD ist somit ein wichtiger Bestandteil des Sicherheitskonzepts eines Fahrzeugs. Bei einer Einschränkung des Operationsgebiets auf den „zulässigen Betriebsbereich“ (Operational Design Domain) kann es sich um ein Stadtviertel, ein Betriebsgelände oder eine eigene baulich getrennte Fahrspur handeln.An ODD definition describes specific operating conditions under which the automated vehicle system is designed to operate properly. It specifies which operating parameters the vehicle must be able to handle; for example, weather conditions, infrastructure, location, time of day and anything else that can influence the driving situation. The ODD is therefore an important part of a vehicle's safety concept. If the area of operation is restricted to the "permissible operating area" (Operational Design Domain), this can be a city district, a company premises or a separate structurally separated lane.

Die den (Sensor)daten inhärente Zufälligkeit (inherent randomness) innerhalb einer ODD kann eine aleatorische Unsicherheit in das System induzieren, die für den Stand der Technik, insbesondere ein künstliches neuronales Netz, kein Problem darstellen sollten, aber epistemische Unsicherheiten hingegen können nicht durch Generalisierung abgedeckt werden und werden immer auftreten, wenn ein künstliches neuronales Netz in der realen Welt eingesetzt wird, da diese nicht alle durch Trainingsdaten abgedeckt werden können. Diese epistemischen Unsicherheiten Werden hervorgerufen durch z.B. unbekannte Gebiete, z.B. Stadtverkehr, Baustellen oder auch Veränderungen im Laufe der Zeit, wie z.B. neu eingeführte Verkehrsschilder, oder unbeschränkte Bahnübergänge oder Feldwege. Solche Verkehrssituationen und Verkehrsszenarien liegen somit außerhalb der ODD. Aus dem Operationsbereich werden bis dahin unbekannte Domains, d.h. Verkehrssituationen und Verkehrsszenarien, ausgeschlossen.The inherent randomness of the (sensor) data within an ODD can induce an aleatoric uncertainty in the system, which should not be a problem for the state of the art, especially an artificial neural network, but epistemic uncertainties, on the other hand, cannot be covered by generalization and will always occur when an artificial neural network is used in the real world, since not all of these can be covered by training data. These epistemic uncertainties are caused by, for example, unknown areas, e.g. city traffic, construction sites or changes over time, such as newly introduced traffic signs, or unrestricted railway crossings or field paths. Such traffic situations and traffic scenarios are therefore outside the ODD. Previously unknown domains, i.e. traffic situations and traffic scenarios, are excluded from the area of operation.

Die Schwierigkeit für die Fahrerassistenzsysteme / Fahrzeugsysteme der autonom betriebenen Fahrzeuge ist es, auf solche ungesehenen und unbekannten Daten richtig zu reagieren und die Sicherheit in Situationen, auf die das neuronale Netz nicht trainiert wurde, zu erhöhen. Andernfalls kann eine nicht erkannte Unsicherheit zu einer falsch-negativen Erkennung führen. Diese wiederum kann zu Fehlverhalten und im schlimmsten Fall zu Todesfällen führen.The difficulty for the driver assistance systems / vehicle systems of autonomous vehicles is to react correctly to such unseen and unknown data and to increase safety in situations for which the neural network has not been trained. Otherwise, unrecognized uncertainty can lead to a false negative detection. This in turn can lead to misconduct and, in the worst case, fatalities.

Die DE 10 2020133626 A1 offenbart eine Assistenzeinrichtung und ein Verfahren zum automatischen Erkennen von Szenen, deren korrekte Klassifizierung für ein bereitgestelltes künstliches neuronales Netz schwierig ist, bei dem ein jeweiliges die jeweilige Szene darstellendes und dem zur Bildverarbeitung trainierten neuronalen Netz bereitgestelltes Inputbild mittels des neuronalen Netzes unter Erzeugen eines zugehörigen Verarbeitungsergebnisses verarbeitet wird, jeweils das Inputbild und das zugehörige Verarbeitungsergebnis einer Erkennungseinrichtung bereitgestellt werden, in der eine Zuordnung von Verarbeitungsergebnissen zu Bilddaten, die in der Vergangenheit bei einer entsprechenden Datenverarbeitung durch das neuronale Netz korrekterweise in diesen Verarbeitungsergebnissen resultiert haben, hinterlegt ist, durch die Erkennungseinrichtung ausgehend von dem jeweiligen Verarbeitungsergebnis zugehörige anhand der hinterlegten Zuordnung rekonstruierte Bilddaten mit dem jeweiligen Inputbild verglichen werden und bei einer Abweichung dazwischen die jeweilige Szene als schwierig korrekt zu klassifizieren erkannt wird.The EN 10 2020133626 A1 discloses an assistance device and a method for automatically recognizing scenes whose correct classification is difficult for a provided artificial neural network, in which a respective input image representing the respective scene and provided to the neural network trained for image processing is processed by means of the neural network to generate an associated processing result, the input image and the associated processing result are each provided to a recognition device in which an assignment of processing results to image data that in the past correctly resulted in these processing results during corresponding data processing by the neural network is stored, the recognition device compares associated image data reconstructed on the basis of the stored assignment with the respective input image based on the respective processing result, and in the event of a deviation therebetween, the respective scene is recognized as difficult to classify correctly.

Es ist daher eine Aufgabe der Erfindung ein hinsichtlich Sicherheit verbessertes Fahrzeugsystem und ein entsprechendes Verfahren als auch eine Verwendung anzugeben.It is therefore an object of the invention to provide a vehicle system improved in terms of safety and a corresponding method as well as a use.

Die Aufgabe wird gelöst durch ein Fahrzeugsystem mit den Merkmalen des Anspruchs 1, sowie ein Verfahren mit den Merkmalen des Anspruchs 7 sowie eine Verwendung mit den Merkmalen des Anspruchs 15.The object is achieved by a vehicle system having the features of claim 1, as well as a method having the features of claim 7 and a use having the features of claim 15.

In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen.The subclaims list further advantageous measures which can be suitably combined to achieve further advantages.

Die Aufgabe wird gelöst durch ein Fahrzeugsystem zur Erhöhung der Sicherheit eines Fahrzeugs im Betrieb, wobei das Fahrzeugsystem eine Speichereinheit umfasst, welche ein auf Basis von Trainingsdaten trainiertes maschinelles Lernverfahren aufweist, wobei die Trainingsdaten zumindest ein Umfeld des Fahrzeugs darstellen, sowie ein Sensorsystem zur Generierung von das Umfeld des Fahrzeugs abbildende aktuelle Sensordaten, und
wobei ein Abbildungsmodul vorgesehen ist, welches dazu ausgebildet ist, eine erneute Eingabe der Trainingsdaten in das trainierte maschinelle Lernverfahren zu bewerkstelligen und die durch erneute Eingabe der Trainingsdaten in das trainierte maschinelle Lernverfahren erhaltene Daten als Operational Design Domain (ODD) Daten auf einen zweidimensionalen oder mehrdimensionalen Raum abzubilden und zu clustern zur Erstellung einer Clusterkarte mit allen abgedeckten Operational Design Domain (ODD)-Clustern,
wobei das Abbildungsmodul ferner dazu ausgebildet ist, eine Eingabe der durch das Fahrzeugsystem aufgenommenen aktuellen Sensordaten in das maschinelle Lernverfahren zu bewerkstelligen und ferner der durch Eingabe der aufgenommenen aktuellen Sensordaten in das trainierte maschinelle Lernverfahren erhaltenen Istdaten auf den zweidimensionalen oder mehrdimensionalen Raum abzubilden und den jeweiligen Abstand der erhaltenen Istausgabedaten mit den Operational Design Domain (ODD)-Clustern zu bestimmen,
und wobei ein Erkennungsmodul vorgesehen ist, welches dazu ausgebildet ist, bei Überschreiten eines minimalen Abstandes mit einem in dem Erkennungsmodul gespeicherten Schwellenwert die Istausgabedaten als Nicht-ODD-Daten zu kennzeichnen.The object is achieved by a vehicle system for increasing the safety of a vehicle during operation, wherein the vehicle system comprises a storage unit which has a machine learning method trained on the basis of training data, wherein the training data at least represent the environment of the vehicle, as well as a sensor system for generating current sensor data depicting the environment of the vehicle, and
wherein a mapping module is provided which is designed to re-enter the training data into the trained machine learning method and to map the data obtained by re-entering the training data into the trained machine learning method as Operational Design Domain (ODD) data onto a two-dimensional or multi-dimensional space and to cluster them to create a cluster map with all covered Operational Design Domain (ODD) clusters,
wherein the mapping module is further configured to input the current sensor data recorded by the vehicle system into the machine learning process and further to map the actual data obtained by inputting the recorded current sensor data into the trained machine learning process onto the two-dimensional or multi-dimensional space and to determine the respective distance of the obtained actual output data with the Operational Design Domain (ODD) clusters,
and wherein a recognition module is provided which is designed to mark the actual output data as non-ODD data when a minimum distance with a threshold value stored in the recognition module is exceeded.

Dabei kann der Schwellenwert im mehrdimensionalen Raum, beispielsweise als ein Vektor ausgebildet sein.The threshold value can be formed in multidimensional space, for example as a vector.

Unter Abstand kann jedes geeignete Abstandsmaß verstanden werden. Insbesondere kann der Abstand auch als ein euklidischer Abstand ausgebildet sein.The term distance can be understood as any suitable distance measure. In particular, the distance can also be designed as a Euclidean distance.

Maschinelle Lernverfahren, wie künstliche neuronale Netze, werden oft auf einem umfangreichen Datensatz trainiert und optimiert, der alle möglichen Bereiche abdecken muss, in denen das eingesetzte System agieren muss. Es gibt jedoch immer Bereiche, die für das eingesetzte Fahrzeugsystem neu sind. Erfindungsgemäß wurde erkannt, dass dabei einerseits der Fall eintreten kann, dass das Fahrzeugsystem so generalisiert ist, dass es diese unbekannte Domäne oder Subdomäne korrekt interpretieren kann, aber der andere Fall eintreten kann, dass das Fahrzeugsystem nicht merkt, dass es sich in einer neuen Domäne befindet und im schlimmsten Fall einige falsche Ausgaben mit hoher Sicherheit liefert. Dies wird Mithilfe des erfindungsgemäßen Fahrzeugsystems nun verhindert.Machine learning methods, such as artificial neural networks, are often trained and optimized on a large data set that must cover all possible areas in which the system used must operate. However, there are always areas that are new to the vehicle system used. According to the invention, it was recognized that on the one hand, the case can arise that the vehicle system is so generalized that it can correctly interpret this unknown domain or subdomain, but the other case can arise that the vehicle system does not notice that it is in a new domain and, in the worst case, delivers some incorrect outputs with a high degree of certainty. This is now prevented with the help of the vehicle system according to the invention.

Dabei liegt zunächst ein künstliches maschinelles Lernverfahren, beispielsweise ein künstliches neuronales Netz vor, welches beispielsweise mit Daten von Verkehrsszenarien / Verkehrssituationen dahingehend trainiert ist, diese Verkehrsszenarien / Verkehrssituationen als Operational Design Domain zu erkennen und zu bewerkstelligen; d.h. es liegt somit ein trainiertes künstliches maschinelles Lernverfahren vor, welches in der Operational Design Domain, d.h., den spezifischen Betriebsbedingungen, hier den erkannten antrainierten Verkehrsszenarien / Verkehrssituationen, richtig operiert. Dadurch kann beispielsweise eine Trajektorie durch das Fahrzeugsystem oder Betriebsparameter wie Bremsen etc. generiert werden.Firstly, there is an artificial machine learning process, for example an artificial neural network, which is trained, for example, with data from traffic scenarios/traffic situations to recognise and manage these traffic scenarios/traffic situations as an operational design domain; i.e. there is a trained artificial machine learning process that operates correctly in the operational design domain, i.e. the specific operating conditions, here the recognised trained traffic scenarios/traffic situations. This can be used, for example, to generate a trajectory through the vehicle system or operating parameters such as braking, etc.

Weiterhin ist ein Abbildungsmodul vorgesehen, welches dazu ausgebildet ist, die durch erneute Eingabe der Trainingsdaten, d.h. denjenigen Trainingsdaten die das trainierte maschinelle Lernverfahren sicher beherrscht, in das trainierte maschinelle Lernverfahren einzugeben und die erhaltenen Daten als Operational Design Domain Daten auf einen zweidimensionalen oder mehrdimensionalen Raum abzubilden und zu clustern. Dadurch kann eine Clusterkarte mit allen abgedeckten Operational Design Domain (ODD)-Clustern erstellt werden.Furthermore, a mapping module is provided which is designed to enter the training data again, i.e. the training data that the trained machine learning method can reliably handle, into the trained machine learning method and to map and cluster the data obtained as operational design domain data in a two-dimensional or multi-dimensional space. This allows a cluster map to be created with all covered operational design domain (ODD) clusters.

Eine solche Clusterkarte deckt beispielsweise Cluster mit Abbiegen an T-Kreuzungen, Kreisverkehr, Überholmanöver, Geradeausfahrt, Bremsen etc. ab, die das maschinelle Lernverfahren erlernt hat. Durch Eingabe der Trainingsdaten, von denen bekannt ist, dass diese das maschinelle Lernverfahren beherrscht, kann so eine Clusterkarte mit allen abgedeckten Operational Design Domain (ODD)-Clustern erschaffen werden. Diese Clusterkarte kann durch die Abbildung in einen lediglich beispielsweise zweidimensionalen Raum leicht und schnell weiterverwendet werden. Zudem wird durch diese Abbildung der Rechenaufwand reduziert.Such a cluster map covers, for example, clusters with turning at T-junctions, roundabouts, overtaking maneuvers, driving straight ahead, braking, etc. that the machine learning process has learned. By entering the training data that the machine learning process is known to be able to handle, a cluster map with all covered Operational Design Domain (ODD) clusters can be created. This cluster map can be easily and quickly reused by mapping it into a space that is only two-dimensional, for example. In addition, this mapping reduces the amount of computation required.

Erfindungsgemäß werden durch ein Sensorsystem aktuelle, das Umfeld abbildende Sensordaten erzeugt. Dabei können neben Umfelddaten, welche eine Umgebung des Fahrzeugs beschreiben auch interne Fahrzeugdaten umfasst sein, beispielsweise Zustandsdaten des Fahrzeugs.According to the invention, a sensor system generates current sensor data that depicts the environment. In addition to environmental data that describes the environment of the vehicle, this can also include internal vehicle data, for example status data of the vehicle.

Weiter werden erfindungsgemäß diese aktuellen Sensordaten in das trainierte maschinelle Lernverfahren eingegeben, zum Erhalt von Istdaten, wobei diese Istdaten durch das Abbildungsmodul auf den zweidimensionalen oder mehrdimensionalen Raum als Istausgabedaten abgebildet werden.Furthermore, according to the invention, these current sensor data are entered into the trained machine learning process in order to obtain actual data, whereby these actual data are mapped by the mapping module onto the two-dimensional or multi-dimensional space as actual output data.

Anschließend wird der jeweilige Abstand der erhaltenen Istausgabedaten zu den Operational Design Domain (ODD)-Clustern bestimmt. Überschreitet dieser Abstand einen Schwellenwert, so kann eine Warnung ausgegeben werden, wobei ferner die Istausgabedaten als Nicht-ODD-Daten gekennzeichnet werden und beispielsweise zur Weiterverarbeitung/Analyse verwendet werden können.The respective distance of the received actual output data to the Operational Design Domain (ODD) clusters is then determined. If this distance exceeds a threshold value, a warning can be issued, whereby the actual output data is also classified as non-ODD data. and can be used, for example, for further processing/analysis.

Ferner kann der Abstand durch eine Abstandsbestimmung der Istausgabedaten mit jeweils einzelnen ODD-Daten in den Clustern bestimmt werden. Ferner können die Cluster approximiert werden, beispielsweise die Ränder und der Abstand jeweils zu demjenigen Randpunkt ermittelt werden, welcher am nächsten zu den Istausgabedaten liegt.Furthermore, the distance can be determined by determining the distance of the actual output data with individual ODD data in each cluster. Furthermore, the clusters can be approximated, for example the edges and the distance to the edge point that is closest to the actual output data can be determined.

Durch die Abbildung der aktuellen Istdaten auf den zweidimensionalen oder mehrdimensionalen Raum kann ein solcher Abstand leicht ermittelt werden.By mapping the current actual data to the two-dimensional or multi-dimensional space, such a distance can be easily determined.

Ferner kann durch eine solche Datenreduktion das erfindungsgemäße Fahrzeug in Echtzeit ggf. vorhandene Nicht-ODD-Daten ermitteln und entsprechende Warnungen generieren, was wesentlich zur Erhöhung der Sicherheit des Betriebes des Fahrzeugs beiträgt.Furthermore, such data reduction enables the vehicle according to the invention to determine any non-ODD data that may be present in real time and to generate corresponding warnings, which significantly contributes to increasing the safety of the operation of the vehicle.

Durch ein solches erfindungsgemäßes Fahrzeugsystem ist es möglich, die Betriebssicherheit des Fahrzeugs zu erhöhen, indem eine ODD-Abdeckung zu frühzeitigem Zeitpunkt bestimmt wird, um rechtzeitig zu reagieren, wenn die aktuellen Sensordaten nicht in einem ODD-Cluster liegen.By means of such a vehicle system according to the invention, it is possible to increase the operational reliability of the vehicle by determining ODD coverage at an early stage in order to react in time if the current sensor data are not in an ODD cluster.

Zudem wird durch das erfindungsgemäße Fahrzeugsystem eine Messung und Bestimmung von Nicht-ODD-Daten ermöglicht, welche nicht von einer bestimmten Modellvorhersage beeinflusst wird.In addition, the vehicle system according to the invention enables the measurement and determination of non-ODD data, which is not influenced by a specific model prediction.

Durch das erfindungsgemäße Fahrzeugsystem kann eine ODD-Abdeckung gemessen werden, wodurch, basierend auf der Messung, weitere Aktionen abgeleitet werden können.The vehicle system according to the invention can measure ODD coverage, whereby further actions can be derived based on the measurement.

In weiterer Ausbildung ist das Abbildungsmodul dazu ausgebildet, die Abbildung auf den zweidimensionalen oder mehrdimensionalen Raum und das Clustern mittels einer t-verteilten stochastischen Nachbarschaftseinbettung (t-SNE) zu bewerkstelligen. Diese gehört zu einer Familie von stochastischen Nachbareinbettungsmethoden. Dabei wird die Wahrscheinlichkeit berechnet, dass Paare von Datenpunkten im hochdimensionalen Raum zusammenhängen. Anschließend wird eine niedrigdimensionale Einbettung ausgewählt, die eine ähnliche Verteilung erzeugt. Zur Clusterung kann anschließend noch eine Clustermethode angewendet werden oder dieses kann mittels der t-verteilten stochastischen Nachbarschaftseinbettung (t-SNE) erzeugt werden. Eine solche Clustermethode kann beispielsweise k-means sein.In a further development, the mapping module is designed to carry out the mapping to the two-dimensional or multi-dimensional space and the clustering using a t-distributed stochastic neighborhood embedding (t-SNE). This belongs to a family of stochastic neighbor embedding methods. The probability that pairs of data points are related in the high-dimensional space is calculated. A low-dimensional embedding is then selected that produces a similar distribution. A cluster method can then be used for clustering or this can be generated using the t-distributed stochastic neighborhood embedding (t-SNE). Such a cluster method can be k-means, for example.

In weiterer Ausbildung ist das Abbildungsmodul dazu ausgebildet, die Abbildung auf den zweidimensionalen oder mehrdimensionalen Raum und das Clustern mittels Principal Component Analysis (PCA) oder Uniform Manifold Approximation and Projection (UMAP) oder Latent Dirichlet allocation (LDA) zu bewerkstelligen.In further development, the mapping module is designed to perform mapping to two-dimensional or multi-dimensional space and clustering using Principal Component Analysis (PCA) or Uniform Manifold Approximation and Projection (UMAP) or Latent Dirichlet allocation (LDA).

UMAP kann dabei als effektiver Vorverarbeitungsschritt verwendet werden, um die Leistung von dichtebasiertem Clustering zu steigern. PCA (ein linearer Dimensionsreduktionsalgorithmus) wird verwendet, um denselben Datensatz in zwei Dimensionen zu reduzieren. Dadurch kann eine Clusterung oder eine Vorverarbeitung und anschließend ein Clustern durch einen Clusteralgorithmus erfolgen. Ein solcher Clusteralgorithmus ist beispielsweise k-means.UMAP can be used as an effective preprocessing step to improve the performance of density-based clustering. PCA (a linear dimension reduction algorithm) is used to reduce the same dataset in two dimensions. This can be used for clustering or preprocessing and then clustering by a clustering algorithm. One such clustering algorithm is k-means.

Ferner kann in weiterer Ausbildung das Erkennungsmodul dazu ausgebildet sein, die Nicht-ODD-Daten an einen externen Server zu übermitteln. Dafür kann das Fahrzeugsystem mit einer Schnittstelle verbunden sein oder diese aufweisen. Dabei kann das Fahrzeugsystem die Nicht-ODD-Daten zunächst speichern oder in Echtzeit übermitteln. Der externe Server kann diese Daten anschließend zur Analyse verwenden.Furthermore, in a further embodiment, the detection module can be designed to transmit the non-ODD data to an external server. For this purpose, the vehicle system can be connected to an interface or have one. The vehicle system can initially store the non-ODD data or transmit it in real time. The external server can then use this data for analysis.

In weiterer Ausbildung ist das Erkennungsmodul dazu ausgebildet, eine Warnung bei Überschreiten des minimalen Abstandes von dem gespeicherten Schwellenwert zu generieren. Dabei kann die Warnung von Form einer Speicherung der Nicht-ODD-Daten vorgenommen werden, so dass eine Weiterverarbeitung der Daten beispielsweise in Form von einem Nachtraining des maschinellen Lernverfahrens ermöglicht wird.In a further development, the detection module is designed to generate a warning when the minimum distance from the stored threshold value is exceeded. The warning can be given in the form of storing the non-ODD data, so that further processing of the data is possible, for example in the form of retraining the machine learning process.

Auch andere Warnungen im Fahrzeug selber sind denkbar, so beispielsweise eine Warnung in Form an die Übergabe der Steuerung an ein Steuerungssystem oder eine akustische/haptische/optische Warnung an einen möglichen Fahrer /Insassen. Other warnings in the vehicle itself are also conceivable, such as a warning in the form of the transfer of control to a control system or an acoustic/haptic/optical warning to a possible driver/passenger.

Ferner kann das Erkennungsmodul dazu ausgebildet sein, als Warnung eine Benachrichtigung an einen Fahrer und/oder ein Fahrerassistenzsystem zu generieren. Dies ist vor allem dann der Fall, wenn es sich um ein lediglich teilautonomes Fahrzeug handelt. Dabei kann es sich um eine akustische und/oder optische und/oder haptische Maßnahme handeln.Furthermore, the detection module can be designed to generate a notification as a warning to a driver and/or a driver assistance system. This is especially the case if the vehicle is only partially autonomous. This can be an acoustic and/or optical and/or haptic measure.

In weiterer Ausbildung ist das Erkennungsmodul dazu ausgebildet, als Warnung Maßnahmen einzuleiten, wobei die Maßnahmen aus der Gruppe Fahrzeuggeschwindigkeit reduzieren und/oder Bremsung und/oder Notbremsung oder ein Fail-Safe Manöver einleiten auswählbar sind. Durch eine solche Maßnahme, welche ohne Fahrer ausgeführt werden kann, wird beispielsweise die Sicherheit in einem autonomen Fahrzeug wesentlich erhöht.In further training, the detection module is designed to initiate measures as a warning, whereby the measures can be selected from the group of reducing vehicle speed and/or braking and/or emergency braking or initiating a fail-safe maneuver. Such a measure, which can be carried out without a driver, significantly increases safety in an autonomous vehicle, for example.

In weiterer Ausbildung ist das maschinelle Lernverfahren als ein künstliches neuronales Netz ausgebildet. Dies kann insbesondere ein Deep neuronal Network sein, welches sich besonders gut für die Verarbeitung beispielsweise von Sensordaten, insbesondere Bilddaten eignet.In further development, the machine learning method is designed as an artificial neural network. This can in particular be a deep neural network, which is particularly well suited for processing sensor data, especially image data.

Zudem wird die Aufgabe gelöst durch ein Verfahren zur Erhöhung der Sicherheit eines Fahrzeugsystems eines Fahrzeugs, welches ein auf Basis von Trainingsdaten trainiertes maschinelles Lernverfahren aufweist, wobei die Trainingsdaten zumindest ein Umfeld des Fahrzeugs darstellen, umfassend der Schritte:

• - Bereitstellen von Daten durch Eingabe der Trainingsdaten in das trainierte maschinelle Lernverfahren und Bereitstellen einer Clusterkarte mit allen abgedeckten Operational Design Domain (ODD)-Clustern durch Abbilden und Clustern der Daten als Operational Design Domain Daten auf einen zweidimensionalen oder mehrdimensionalen Raum und
• - Generieren von das Umfeld des Fahrzeugs abbildende aktuelle Sensordaten,
• - Eingabe der generierten aktuellen Sensordaten in das trainierte maschinelle Lernverfahren zum Erhalten von Istdaten,
• - Abbilden der Istdaten auf den zweidimensionalen oder mehrdimensionalen Raum zum Erhalt von Istausgabedaten und Bestimmung des jeweiligen Abstands der erhaltenen Istausgabedaten von den Operational Design Domain (ODD)-Clustern,
• - Kennzeichnen der Istausgabedaten als Nicht-ODD-Daten bei Überschreiten des minimalen Abstandes von einem gespeicherten Schwellenwert.

In addition, the object is achieved by a method for increasing the safety of a vehicle system of a vehicle, which has a machine learning method trained on the basis of training data, wherein the training data represent at least one environment of the vehicle, comprising the steps:

• - Providing data by inputting the training data into the trained machine learning procedure and providing a cluster map with all covered Operational Design Domain (ODD) clusters by mapping and clustering the data as Operational Design Domain data to a two-dimensional or multi-dimensional space and
• - Generating current sensor data depicting the vehicle’s surroundings,
• - Input of the generated current sensor data into the trained machine learning procedure to obtain actual data,
• - Mapping the actual data to the two-dimensional or multi-dimensional space to obtain actual output data and determining the respective distance of the obtained actual output data from the Operational Design Domain (ODD) clusters,
• - Marking the actual output data as non-ODD data when the minimum distance from a stored threshold is exceeded.

Beispielsweise kann ein solches Verfahren automatisiert ablaufen. Ferner können die Sensordaten entweder durch reale Sensoraufnahmen beispielsweise durch ein am Fahrzeug integriertes Sensorsystem erzeugt werden oder durch Simulationsdaten. Durch die Abbildung auf einen zweidimensionalen oder mehrdimensionalen Raum kann eine Vielzahl von simulierten Verkehrsszenarien und Verkehrssituationen auf Nicht-ODD-Daten getestet werden, so dass das Verfahren auch die Freigabe von einem zu testenden Fahrzeugsystem beschleunigen kann.For example, such a process can be automated. Furthermore, the sensor data can be generated either by real sensor recordings, for example by a sensor system integrated in the vehicle, or by simulation data. By mapping to a two-dimensional or multi-dimensional space, a large number of simulated traffic scenarios and traffic situations can be tested on non-ODD data, so that the process can also accelerate the release of a vehicle system to be tested.

In weiterer Ausbildung wird eine Warnung bei Überschreiten des minimalen Abstandes von dem gespeicherten Schwellenwert generiert. Dabei kann die Warnung in Form einer Speicherung der Nicht-ODD-Daten vorgenommen werden, so dass eine Weiterverarbeitung der Daten beispielsweise in Form von einem Nachtraining des maschinellen Lernverfahrens ermöglicht wird.
Auch andere Warnungen im Fahrzeug selber sind denkbar, so beispielsweise eine Warnung in Form an die Übergabe der Steuerung an ein Steuerungssystem oder eine akustische/haptische/optische Warnung an einen möglichen Fahrer /Insassen.In further development, a warning is generated when the minimum distance from the stored threshold value is exceeded. The warning can be made in the form of storing the non-ODD data, so that further processing of the data is possible, for example in the form of retraining the machine learning process.
Other warnings in the vehicle itself are also conceivable, such as a warning in the form of the transfer of control to a control system or an acoustic/haptic/optical warning to a possible driver/passenger.

In weiterer Ausbildung können die Sensordaten als Simulationssensordaten simuliert werden, wobei bei Auftreten von Nicht-ODD-Daten zumindest die entsprechenden aktuellen Sensordaten als Trainingsdaten zur Verbesserung des maschinellen Lernverfahrens herangezogen werden. Somit kann eine schnelle und einfache Verbesserung des maschinellen Lernverfahrens bewerkstelligt werden.In a further development, the sensor data can be simulated as simulation sensor data, whereby if non-ODD data occurs, at least the corresponding current sensor data is used as training data to improve the machine learning process. This allows a quick and easy improvement of the machine learning process.

In weiterer Ausbildung wird die Abbildung auf den zweidimensionalen oder mehrdimensionalen Raum und das Clustern mittels einer t-verteilten stochastischen Nachbarschaftseinbettung bewerkstelligt.In further training, the mapping to the two-dimensional or multi-dimensional space and the clustering are accomplished by means of a t-distributed stochastic neighborhood embedding.

Auch kann die Abbildung auf den zweidimensionalen oder mehrdimensionalen Raum und das Clustern mittels Principal Component Analysis (PCA) oder Uniform Manifold Approximation and Projection (UMAP) oder Latent Dirichlet allocation (LDA) bewerkstelligt werden.Mapping to two-dimensional or multidimensional space and clustering can also be accomplished using Principal Component Analysis (PCA) or Uniform Manifold Approximation and Projection (UMAP) or Latent Dirichlet allocation (LDA).

In weiterer Ausbildung wird der Abstand zwischen Istausgabedaten und Operational Design Domain (ODD)-Clustern als ein euklidischer Abstand bestimmt. Dieser ist schnell und einfach zu bestimmen.In further training, the distance between actual output data and Operational Design Domain (ODD) clusters is determined as a Euclidean distance. This is quick and easy to determine.

Auch kann in weiterer Ausbildung zunächst eine Reihe von zeitlich aufeinanderfolgenden Istausgabedaten bestimmt werden und der Abstand von den Operational Design Domain (ODD)-Clustern anhand eines Repräsentanten aus den zeitlich aufeinanderfolgenden Istausgabedaten bestimmt werden. Ein solcher Repräsentant kann beispielsweise als der Mittelwert aus den zeitlich aufeinanderfolgenden Istausgabedaten gebildet werden. Dadurch kann beispielsweise Rechenzeit eingespart werden. Zudem können Ausreißer besser erkannt werden. Auch können die Istausgabedaten verglichen werden, um vorab Ausreißer zu eliminieren.In further development, a series of chronologically consecutive actual output data can be determined and the distance from the Operational Design Domain (ODD) clusters can be determined using a representative from the chronologically consecutive actual output data. Such a representative can, for example, be formed as the mean value from the chronologically consecutive actual output data. This can, for example, save computing time. In addition, outliers can be better identified. The actual output data can also be compared in order to eliminate outliers in advance.

Ferner wird die Aufgabe gelöst durch eine Verwendung eines wie oben beschriebenen Verfahrens in einem autonom oder zumindest teilautonom betriebenen Fahrzeug. Dadurch kann die Sicherheit des Fahrzeugs im Betrieb erhöht werden. Dabei kann ein Fahrzeug beispielsweise ein PKW, LKW etc. sein. Ferner kann ein solches Verfahren in einem Fahrzeug nachgerüstet werden, bei entsprechenden Sensorsystem.Furthermore, the object is achieved by using a method as described above in an autonomous or at least partially autonomous vehicle. This can increase the safety of the vehicle during operation. A vehicle can be, for example, a car, truck, etc. Furthermore, such a method can be used in can be retrofitted to a vehicle with the appropriate sensor system.

Weitere Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:

• 1: schematisch ein erfindungsgemäßes Fahrzeugsystem,
• 2: eine Clusterkarte,
• 3: schematisch ein erfindungsgemäßes Verfahren.

Further features and advantages of the present invention will become apparent from the following description with reference to the accompanying figures, which schematically show:

• 1 : schematically shows a vehicle system according to the invention,
• 2 : a cluster map,
• 3 : schematically shows a method according to the invention.

1 zeigt ein Fahrzeugsystem 1 zur Erhöhung der Sicherheit eines Fahrzeugs 2 im Betrieb schematisch. 1 shows a vehicle system 1 for increasing the safety of a vehicle 2 during operation.

Dabei weist das Fahrzeugsystem 1 eine Speichereinheit 3 auf. In dieser ist ein auf Basis von Trainingsdaten trainiertes künstliches neuronales Netz 4 gespeichert, wobei die Trainingsdaten zumindest ein Umfeld des Fahrzeugs 2 darstellen.The vehicle system 1 has a storage unit 3. An artificial neural network 4 trained on the basis of training data is stored therein, wherein the training data represent at least one environment of the vehicle 2.

Dies bedeutet, dass das trainierte künstliche neuronale Netz 4 dahingehen trainiert wurde, in diesem Umfeld zu operieren. Beispielsweise kann das künstliche neuronale Netz 4 dazu ausgebildet sein, bestimmte Verkehrssituationen / Verkehrsszenarien zu erkennen und diese zu handhaben, beispielsweise erkennen, dass ein Fußgänger die Fahrbahn überquert oder ein langsam fahrendes Fahrzeug auf der eigenen Spur fährt etc.. Solch ein trainiertes künstliches neuronales Netz 4 versagt jedoch bei bestimmten Aufgaben, die Menschen ganz mühelos ausführen.This means that the trained artificial neural network 4 has been trained to operate in this environment. For example, the artificial neural network 4 can be trained to recognize and handle certain traffic situations/traffic scenarios, for example recognizing that a pedestrian is crossing the road or a slow-moving vehicle is driving in its own lane, etc. However, such a trained artificial neural network 4 fails at certain tasks that people perform quite effortlessly.

Eine Möglichkeit dem entgegenzuwirken besteht darin, den Betriebsumfang des künstlichen neuronalen Netzes 4 auf eine Operational Design Domain (ODD) einzuschränken. Bei diesen „zulässigen Betriebsbereichen“ (Operational Design Domain) kann es sich um ein Stadtviertel, ein Betriebsgelände oder eine eigene baulich getrennte Fahrspur handeln, oder um andere Verkehrssituationen / Verkehrsszenarien. Wird dieser ODD-Bereich vom Fahrzeugsystem 1 unbemerkt verlassen, d.h. merkt dieses es nicht, dass es sich in einer neuen Domäne befindet, so kann das Fahrzeugsystem 1 im schlimmsten Fall falsche Ausgaben mit hoher Sicherheit liefern, beispielsweise im Baustellenbereich eine falsche Spur anzeigen. Dies wird Mithilfe des erfindungsgemäßen Fahrzeugsystems 1 nun verhindert.One way to counteract this is to limit the operating scope of the artificial neural network 4 to an operational design domain (ODD). These "permissible operating areas" (operational design domain) can be a city district, a company site or a separate, structurally separate lane, or other traffic situations/traffic scenarios. If this ODD area is left unnoticed by the vehicle system 1, i.e. if it does not notice that it is in a new domain, the vehicle system 1 can, in the worst case, deliver incorrect outputs with a high degree of certainty, for example by displaying an incorrect lane in the construction site area. This is now prevented with the help of the vehicle system 1 according to the invention.

Dazu weist das erfindungsgemäße Fahrzeugsystem 1 zunächst ein Sensorsystem 3 zur Generierung von das Umfeld des Fahrzeugs 2 abbildende aktuelle Sensordaten auf. Das Sensorsystem 3 kann dazu eine Kamera aufweisen genauso wie Lidar-/Radarsensoren oder aber Sensoren zur Erfassung der internen Fahrzeugparameter, wie Drehzahl etc.For this purpose, the vehicle system 1 according to the invention initially has a sensor system 3 for generating current sensor data that depicts the surroundings of the vehicle 2. The sensor system 3 can have a camera as well as lidar/radar sensors or sensors for recording the internal vehicle parameters, such as speed, etc.

Ferner weist das erfindungsgemäße Fahrzeugsystem 1 ein Abbildungsmodul 5 auf. Furthermore, the vehicle system 1 according to the invention has an imaging module 5.

Das Abbildungsmodul 5 ist dazu ausgebildet, zunächst die Trainingsdaten erneut in das künstliche neuronale Netz 4 einzugeben.The mapping module 5 is designed to first re-enter the training data into the artificial neural network 4.

Die dadurch erhaltenen Daten werden mittels des Abbildungsmoduls 5 auf einen insbesondere zweidimensionalen Raum als Operational Design Domain Daten ${\text{Z}}_{\text{ODD}}^{\text{i}}$

abgebildet und geclustert zur Erstellung einer Clusterkarte 7 (2) mit allen abgedeckten Operational Design Domain (ODD)-Clustern Z_ODD.The data thus obtained are mapped to a two-dimensional space as Operational Design Domain Data by means of the mapping module 5. ${\text{Z}}_{\text{ODD}}^{\text{i}}$

mapped and clustered to create a cluster map 7 ( 2 ) with all covered Operational Design Domain (ODD) clusters Z _ODD .

Diese Clusterkarte 7 zeigt somit alle Cluster Z_ODD mit den entsprechenden abgedeckten, d.h. trainierten, ODDs, beispielsweise Kreuzungen, Fahrradwege, Überholmanöver, Stadtverkehr etc.This cluster map 7 thus shows all clusters Z _ODD with the corresponding covered, i.e. trained, ODDs, for example intersections, bicycle paths, overtaking maneuvers, city traffic, etc.

Zur Bewerkstelligung der Abbildung und Clusterung kann das Abbildungsmodul 5 beispielsweise eine t-verteilte stochastische Nachbarschaftseinbettung aufweisen. Alternativ kann das Abbildungsmodul 5 die Abbildung auf den zweidimensionalen oder mehrdimensionalen Raum und das Clustern mittels Principal Component Analysis (PCA) oder Uniform Manifold Approximation and Projection (UMAP) oder Latent Dirichlet allocation (LDA) bewerkstelligen.To accomplish the mapping and clustering, the mapping module 5 can, for example, have a t-distributed stochastic neighborhood embedding. Alternatively, the mapping module 5 can accomplish the mapping to the two-dimensional or multi-dimensional space and the clustering by means of Principal Component Analysis (PCA) or Uniform Manifold Approximation and Projection (UMAP) or Latent Dirichlet allocation (LDA).

Ferner ist das Abbildungsmodul 5 dazu ausgebildet, die aktuellen Sensordaten in das künstliche neuronale Netz 4 einzugeben zum Erhalten von Istdaten.Furthermore, the mapping module 5 is designed to input the current sensor data into the artificial neural network 4 to obtain actual data.

Anschließend werden diese Istdaten mittels des Abbildungsmoduls 5, beispielsweise der t-verteilten stochastischen Nachbarschaftseinbettung, auf einen zweidimensionalen oder mehrdimensionalen Raum als Istausgabedaten y _1,2.. (2) abgebildet. Alternativ kann das Abbildungsmodul 5 die Abbildung auf einen zweidimensionalen oder mehrdimensionalen Raum mittels Principal Component Analysis (PCA) oder Uniform Manifold Approximation and Projection (UMAP) oder Latent Dirichlet allocation (LDA) bewerkstelligen.Subsequently, these actual data are mapped to a two-dimensional or multi-dimensional space as actual output data y _1,2.. ( 2 ). Alternatively, the mapping module 5 can accomplish the mapping to a two-dimensional or multi-dimensional space by means of Principal Component Analysis (PCA) or Uniform Manifold Approximation and Projection (UMAP) or Latent Dirichlet allocation (LDA).

Anschließend wird der Abstand aller so erhaltenen Istausgabedaten y _1,2.. zu den Operational Design Domain (ODD)-Clustern Z_ODD bestimmt, beispielsweise als euklidischer Abstand.Subsequently, the distance of all actual output data y _1,2.. obtained in this way to the Operational Design Domain (ODD) clusters Z _ODD is determined, for example as a Euclidean distance.

Dabei kann der euklidische Abstand von den Istausgabedaten y _1,2.. zu den Operational Design Domain (ODD)-Clustern Z_ODD bestimmt werden, wobei die Ränder der Operational Design Domain (ODD)-Clustern Z_ODD beispielsweise durch Polygone approximiert sind und der Abstand als Abstand zwischen den Istausgabedaten y _1,2.. jeweils zu den Rändern der Operational Design Domain (ODD)-Clustern Z_ODD bestimmt wird.The Euclidean distance from the actual output data y _1,2.. to the Operational Design Domain (ODD) clusters Z _ODD can be determined, where the edges of the Operational Design Domain (ODD) clusters Z _ODD are approximated, for example, by polygons and the distance is determined as the distance between the actual output data y _1,2.. to the edges of the Operational Design Domain (ODD) clusters Z _ODD .

Alternativ kann ebenfalls der Abstand der einzelnen Operational Design Domain Daten ${\text{Z}}_{\text{ODD}}^{\text{i}}$

zu den Istausgabedaten y _1,2.. bestimmt werden: $${\text{ODD}}_{\text{Coverage}}={\displaystyle \sum _1^{\text{j}}1-\frac{\text{min }\left({\displaystyle {\sum }_{\text{i}\in \left\{\text{a},\text{b}\mathrm{,..}\right\}}\text{d}\left({\widehat{\text{y}}}_{\text{j}},{\text{Z}}_{\text{ODD}}^{\text{i}}\right)}\right)}{\text{max }\left({\displaystyle {\sum }_{\text{i}\in \left\{\text{a},\text{b}\mathrm{,..}\right\}}\text{d}\left({\widehat{\text{y}}}_{\text{j}},{\text{Z}}_{\text{ODD}}^{\text{i}}\right)}\right)}}$$

Alternatively, the distance between the individual Operational Design Domain data ${\text{Z}}_{\text{ODD}}^{\text{i}}$

to the actual output data y _1,2.. can be determined: $${\text{ODD}}_{\text{Coverage}}={\displaystyle \sum _1^{\text{<figure-callout id="1" label="j" filenames="DE102022213244A1\_0011.png" state="{{state}}">j</figure-callout>}}1-\frac{\text{min}\left({\displaystyle {\sum }_{\text{i}\in \left\{\text{a},\text{b}\mathrm{,..}\right\}}\text{d}\left({\widehat{\text{y}}}_{\text{j}},{\text{Z}}_{\text{ODD}}^{\text{i}}\right)}\right)}{\text{Max}\left({\displaystyle {\sum }_{\text{i}\in \left\{\text{a},\text{b}\mathrm{,..}\right\}}\text{d}\left({\widehat{\text{y}}}_{\text{j}},{\text{Z}}_{\text{ODD}}^{\text{i}}\right)}\right)}}$$

Dies bedeutet, dass wenn der minimale Abstand der abgebildeten Istausgabedaten y_1,2.. zu einem der von der Clusterkarte 7 gelieferten Operational Design Domain Daten ${\text{Z}}_{\text{ODD}}^{\text{i}}$

größer als eine vordefinierte Marge, die den geclusterten Bereich abpuffert, ist, entsprechende Maßnahmen eingeleitet werden.This means that if the minimum distance of the mapped actual output data y _1,2.. to one of the Operational Design Domain data provided by cluster card 7 ${\text{Z}}_{\text{ODD}}^{\text{i}}$

is greater than a predefined margin that buffers the clustered area, appropriate measures must be taken.

Somit ist die beste Punktzahl 1, d.h. dass jede Ausgabe jeder der im Laufe der Zeit abgebildeten Istausgabedaten y _1,2,3... innerhalb eines der angegebenen Cluster Z_ODD liegt. Je größer der Abstand zu einem Cluster Z_ODD ist, desto schlechter ist somit seine Abdeckung, d.h. die Sicherheit mit der die aktuellen Sensordaten von den Trainingsdaten abgedeckt werden, d.h. umso unsicherer ist es, dass diese beispielsweise Verkehrssituationen/Verkehrsszenarien, welche die Sensordaten beispielsweise zeigen, von dem künstlichen neuronalen Netz 4 richtig interpretiert werden.Thus, the best score is 1, meaning that every output of each of the actual output data y _1,2,3... mapped over time lies within one of the specified clusters Z _ODD . The greater the distance to a cluster Z _ODD , the worse its coverage, i.e. the certainty with which the current sensor data is covered by the training data, i.e. the less certain it is that these traffic situations/traffic scenarios, for example, which the sensor data show, are correctly interpreted by the artificial neural network 4.

In der angegebenen Formel wird der Abstand zum am weitesten entfernten Cluster Z_ODD normiert, wobei natürlich auch eine andere Darstellung gewählt werden kann.In the given formula, the distance to the furthest cluster Z _ODD is normalized, although of course another representation can also be chosen.

Durch das erfindungsgemäße Fahrzeugsystem 1 und die Reduktion in einen niedrigdimensionaleren Raum und der damit verbundenen schnellen Auswertung ist es möglich, das Fahrzeugsystem 1 in Echtzeit zu verwenden.Due to the vehicle system 1 according to the invention and the reduction into a lower-dimensional space and the associated rapid evaluation, it is possible to use the vehicle system 1 in real time.

Ferner ist ein Erkennungsmodul 6 vorgesehen, welches dazu ausgebildet ist, bei Überschreiten eines Schwellenwertes eines minimalen Abstandes Warnungen, beispielsweise als Maßnahme, einzuleiten und die entsprechenden Istausgabedaten als Nicht-ODD-Daten zu kennzeichnen. Diese eingeleiteten Maßnahmen können beispielsweise darin bestehen langsamer zu fahren, das Fahrzeug 2 sicher zum Stehen zu bringen oder einen Fahrer/Bediener warnen, dass dieser eingreifen muss und die Kontrolle über das Fahrzeug 2 übernehmen muss, bis sich das Fahrzeug 2 wieder in einem zu bewältigenden / antrainierten Operationsbereich (ODD) befindet.Furthermore, a detection module 6 is provided which is designed to initiate warnings, for example as a measure, when a threshold value of a minimum distance is exceeded and to mark the corresponding actual output data as non-ODD data. These initiated measures can consist, for example, of driving more slowly, bringing the vehicle 2 to a safe stop or warning a driver/operator that he/she must intervene and take control of the vehicle 2 until the vehicle 2 is again in a manageable/trained operating area (ODD).

Dabei können diese Nicht-ODD-Daten als auch die entsprechenden Sensordaten über eine Schnittstelle 9 an einen externen Server gesendet werden als Trainingsdaten. Dadurch kann das künstliche neuronale Netz 4 verbessert werden.These non-ODD data as well as the corresponding sensor data can be sent to an external server as training data via an interface 9. This can improve the artificial neural network 4.

Mit dem erfindungsgemäßen Fahrzeugsystem 1 kann ein Maß für Unsicherheiten, die vom Fahrzeugsystem 1 selbst unbemerkt sind, angegeben werden.With the vehicle system 1 according to the invention, a measure of uncertainties that are unnoticed by the vehicle system 1 itself can be specified.

Durch eine kontinuierliche Beobachtung der aktuellen Sensordaten bzw. des Sensorsystems 3 ist es möglich, Veränderungen in der ODD rechtzeitig zu erkennen und die betroffenen Sensordaten zwischenzuspeichern und eine Warnung auszugeben. Außerdem können diese Nicht-ODD-Daten zwischengespeichert oder sogar direkt an einen externen Rechner gesendet werden, wo sie für weiteres Training des künstlichen neuronalen Netzes 4 und Analysen usw. verwendet werden können.By continuously monitoring the current sensor data or the sensor system 3, it is possible to detect changes in the ODD in good time and to temporarily store the affected sensor data and issue a warning. In addition, this non-ODD data can be temporarily stored or even sent directly to an external computer, where it can be used for further training of the artificial neural network 4 and analyses, etc.

Ferner kann eine Reihe von zeitlich aufeinanderfolgenden Istausgabedaten y _1,2,3.. bestimmt werden und der Abstand von den Operational Design Domain (ODD)-Clustern Z_ODD anhand eines Repräsentanten aus den zeitlich aufeinanderfolgenden Istausgabedaten Y _1,2,3.. bestimmt werden.
Ein solcher Repräsentant kann beispielsweise als der Mittelwert aus den zeitlich aufeinanderfolgenden Istausgabedaten y _1,2,3.. gebildet werden. Dadurch kann beispielsweise Rechenzeit eingespart werden. Zudem können Ausreißer besser erkannt werden.Furthermore, a series of temporally consecutive actual output data y _1,2,3.. can be determined and the distance from the Operational Design Domain (ODD) clusters Z _ODD can be determined using a representative from the temporally consecutive actual output data Y _1,2,3..
Such a representative can be formed, for example, as the mean value of the chronologically successive actual output data y _1,2,3.. This can save computing time, for example. In addition, outliers can be better identified.

2 zeigt eine Clusterkarte 7 mit verschiedenen Clustern, welche durch die Operational Design Domain Daten ${\text{Z}}_{\text{ODD}}^{\text{i}}$

gebildet werden, hier beispielsweise die Cluster Z^a _ODD, Z^b _ODD, Z^c _ODD, Z^d _ODD. Diese wurden durch das Abbildungsmodul 5 anhand mittels der t-verteilten stochastischen Nachbarschaftseinbettung in einen zweidimensionalen Raum D1,D2 abgebildet und stellt die Abdeckung dar, das heißt diejenigen Operationsbereiche in dem das Fahrzeug 2 operieren kann, d.h. diejenigen Operationsbereiche auf welche das künstliche neuronale Netz 4 trainiert wurde. 2 shows a cluster map 7 with different clusters, which are defined by the Operational Design Domain data ${\text{Z}}_{\text{ODD}}^{\text{i}}$

are formed, here for example the clusters Z ^a _ODD , Z ^b _ODD , Z ^c _ODD , Z ^d _ODD . These were mapped by the mapping module 5 using the t-distributed stochastic neighborhood embedding in a two-dimensional space D1,D2 and represent the coverage, i.e. those operating areas in which the vehicle 2 can operate, ie those operating areas on which the artificial neural network 4 was trained.

Zudem zeigt die Clusterkarte 7 eine erste Istausgabe ŷ ₁ und eine zweite Istausgabe ŷ ₂. Durch Bestimmung des Abstands anhand obiger Gleichung, ist zu erkennen, dass die zweite Istausgabe ŷ ₂ innerhalb des Clusters Z^a _ODD liegt und sich damit mit einem der abgedeckten ODD-Cluster Z_ODD assoziiert.In addition, the cluster map 7 shows a first actual output ŷ ₁ and a second actual output ŷ ₂ . By determining the distance using the above equation, it can be seen that the second actual output ŷ ₂ lies within the cluster Z ^a _ODD and is thus associated with one of the covered ODD clusters Z _ODD .

Ferner kann die erste Istausgabe ŷ ₁ keinem Cluster Z_ODD zugeordnet werden. Wenn der Abstand der ersten Istausgabe ŷ ₁ zu einem der in den
Clustern Z^a _ODD, Z^b _ODD, Z^c _ODD, Z^d _ODD größer als eine vordefinierte Marge ist, die den geclusterten Bereich abpuffert, hier als gestrichelter Buffer 8 dargestellt, wird der minimale Abstand als relevant angenommen.Furthermore, the first actual output ŷ ₁ cannot be assigned to a cluster Z _ODD . If the distance the first actual output ŷ ₁ to one of the
If the distance between clusters Z ^a _ODD , Z ^b _ODD , Z ^c _ODD , Z ^d _ODD is larger than a predefined margin that buffers the clustered area, shown here as dashed buffer 8 , the minimum distance is assumed to be relevant.

Dabei wird der Abstand der ersten Istausgabe ŷ ₁ und der zweiten Istausgabe ŷ ₂ bestimmt durch: $${\text{ODD}}_{\text{Coverage}}={\displaystyle \sum _1^{2}1-\frac{\text{min }\left({\displaystyle {\sum }_{\text{i}\in \left\{\text{a},\text{b},\text{c},\text{d}\right\}}\text{d}\left({\widehat{\text{y}}}_{\text{j}},{\text{Z}}_{\text{ODD}}^{\text{i}}\right)}\right)}{\text{max }\left({\displaystyle {\sum }_{\text{i}\in \left\{\text{a},\text{b},\text{c},\text{d}\right\}}\text{d}\left({\widehat{\text{y}}}_{\text{j}},{\text{Z}}_{\text{ODD}}^{\text{i}}\right)}\right)}}$$

The distance between the first actual output ŷ ₁ and the second actual output ŷ ₂ is determined by: $${\text{ODD}}_{\text{Coverage}}={\displaystyle \sum _1^{2}1-\frac{\text{min}\left({\displaystyle {\sum }_{\text{i}\in \left\{\text{a},\text{b},\text{c},\text{d}\right\}}\text{d}\left({\widehat{\text{y}}}_{\text{j}},{\text{Z}}_{\text{ODD}}^{\text{i}}\right)}\right)}{\text{Max}\left({\displaystyle {\sum }_{\text{i}\in \left\{\text{a},\text{b},\text{c},\text{d}\right\}}\text{d}\left({\widehat{\text{y}}}_{\text{j}},{\text{Z}}_{\text{ODD}}^{\text{i}}\right)}\right)}}$$

In der angegebenen Formel wird der Abstand zum am weitesten entfernten Cluster Z^a _ODD, Z^b _ODD, Z^c _ODD, Z^d _ODD normiert.In the given formula, the distance to the furthest cluster Z ^a _ODD , Z ^b _ODD , Z ^c _ODD , Z ^d _ODD is normalized.

Überschreitet der minimale Abstand einen vorgegebenen Schwellenwert, hier beispielsweise bei der Istausgabe ŷ ₁, so können die entsprechenden Daten als Nicht-ODD-Daten gekennzeichnet werden und an einen externen Server zur Weiterverarbeitung / Analyse gesendet werden.If the minimum distance exceeds a specified threshold value, for example the actual output ŷ ₁ , the corresponding data can be marked as non-ODD data and sent to an external server for further processing / analysis.

3 zeigt ein erfindungsgemäßes Verfahren zur Erhöhung der Sicherheit des Fahrzeugsystems 1 des Fahrzeugs 2, welches ein auf Basis von Trainingsdaten trainiertes künstliches neuronales Netz 4 aufweist, wobei die Trainingsdaten zumindest ein Umfeld des Fahrzeugs 2 darstellen. 3 shows a method according to the invention for increasing the safety of the vehicle system 1 of the vehicle 2, which has an artificial neural network 4 trained on the basis of training data, wherein the training data represent at least one environment of the vehicle 2.

Ferner können in einem weiteren Schritt durch eine Eingabe der Trainingsdaten in das trainierte künstliche neuronale Netz 4 Daten erhalten werden, welche als Operational Design Domain Daten ${\text{Z}}_{\text{ODD}}^{\text{i}}$

auf den zweidimensionalen oder mehrdimensionalen Raum abgebildet und geclustert werden, so dass eine Clusterkarte 7 mit allen abgedeckten Operational Design Domain (ODD)-Clustern Z_ODD erstellt werden kann. Dafür wird das Abbildungsmodul 5 beispielsweise mit einer t-verteilten stochastischen Nachbarschaftseinbettung herangezogen.Furthermore, in a further step, by entering the training data into the trained artificial neural network 4, data can be obtained which are referred to as operational design domain data ${\text{Z}}_{\text{ODD}}^{\text{i}}$

mapped onto the two-dimensional or multi-dimensional space and clustered so that a cluster map 7 with all covered Operational Design Domain (ODD) clusters Z _ODD can be created. For this purpose, the mapping module 5 is used, for example, with a t-distributed stochastic neighborhood embedding.

Ferner werden in einem ersten Schritt S1 das Umfeld des Fahrzeugs 2 abbildende aktuelle Sensordaten generiert. Diese können real von einem Fahrzeug 2 erzeugt worden sein oder Simulationsdaten sein.Furthermore, in a first step S1, current sensor data depicting the surroundings of the vehicle 2 are generated. These can actually have been generated by a vehicle 2 or can be simulation data.

In einem zweiten Schritt S2 werden die generierten aktuellen Sensordaten in das trainierte künstliche neuronale Netz 4 zum Erhalt von Istdaten eingegeben.In a second step S2, the generated current sensor data are entered into the trained artificial neural network 4 to obtain actual data.

Mittels des Abbildungsmoduls 5 werden in einem dritten Schritt S3 die Istdaten auf den zweidimensionalen oder mehrdimensionalen Raum zum Erhalt von Istausgabedaten Y _1,2,3.. abgebildet und eine Bestimmung des jeweiligen Abstands der erhaltenen Istausgabedaten y _1,2,3.. von den Operational Design Domain (ODD)-Clustern Z_ODD durchgeführt.By means of the mapping module 5, in a third step S3 the actual data are mapped onto the two-dimensional or multi-dimensional space to obtain actual output data Y _1,2,3.. and a determination of the respective distance of the obtained actual output data y _1,2,3.. from the Operational Design Domain (ODD) clusters Z _ODD is carried out.

In einem vierten Schritt S4 werden die Istausgabedaten y _1,2,3.. bei Überschreiten des minimalen Abstandes von einem gespeicherten Schwellenwert als Nicht-ODD-Daten gekennzeichnet, und eine Warnung generiert. Dabei kann die Warnung auch als Übermittlung an einen Server ausgebildet sein, mit entsprechender Kennzeichnung. Ferner können die Sensordaten, welche zu den Nicht-ODD-Daten geführt haben, mitgeliefert werden.In a fourth step S4, the actual output data y _1,2,3.. are marked as non-ODD data if the minimum distance from a stored threshold value is exceeded, and a warning is generated. The warning can also be designed as a transmission to a server, with appropriate marking. Furthermore, the sensor data that led to the non-ODD data can be supplied.

Dadurch kann die ODD-Abdeckung bei frühen Testläufen gemessen werden, um eine ODD-Schätzung und potenzielle Ausreißer während des realen Einsatzes zu erkennen. Dabei wird eine solche Messung nicht von einer bestimmten Modellvorhersage beeinflusst.This allows ODD coverage to be measured during early test runs to identify ODD estimates and potential outliers during real-world use, and such a measurement is not influenced by a specific model prediction.

Die Nicht-ODD-Daten können dazu verwendet werden, um das künstliche neuronale Netz 4 weiter zu trainieren (aktives Lernen). Das Verfahren kann demnach auch zur Freigabe eines Einsatzes in einem Fahrzeugsystem 1 verwendet werden.The non-ODD data can be used to further train the artificial neural network 4 (active learning). The method can therefore also be used to authorize use in a vehicle system 1.

Durch das erfindungsgemäße Verfahren kann somit eine Quantifizierung der ODD-Abdeckung für das Anforderungsmanagement an ein Fahrzeugsystem 1 mit einem künstlichen neuronalen Netz 4 bewerkstelligt werden.The method according to the invention can thus be used to quantify the ODD coverage for the requirements management of a vehicle system 1 with an artificial neural network 4.

BezugszeichenlisteList of reference symbols

11

FahrzeugsystemVehicle system

22

Fahrzeugvehicle

33

SensorsystemSensor system

44

künstliches neuronales Netzartificial neural network

55

AbbildungsmodulMapping module

66

ErkennungsmodulRecognition module

77

ClusterkarteCluster map

88th

BufferBuffer

99

Schnittstelleinterface

ZiODDZiODD

Operational Design Domain DatenOperational Design Domain Data

D1, D2D1, D2

DimensionenDimensions

ŷ1,2..ŷ1,2..

IstausgabedatenActual output data

ZODDZODD

Operational Design Domain (ODD)-ClusternOperational Design Domain (ODD) clusters

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

• DE 102020133626 A1 [0006]DE 102020133626 A1 [0006]

Claims (15)

Fahrzeugsystem (1) zur Erhöhung der Sicherheit eines Fahrzeugs (2) im Betrieb, wobei das Fahrzeugsystem (1) eine Speichereinheit umfasst, welche ein auf Basis von Trainingsdaten trainiertes maschinelles Lernverfahren aufweist, wobei die Trainingsdaten zumindest ein Umfeld des Fahrzeugs (2) darstellen, sowie ein Sensorsystem (3) zur Generierung von das Umfeld des Fahrzeugs (2) abbildende aktuelle Sensordaten, dadurch gekennzeichnet, dass ein Abbildungsmodul (5) vorgesehen ist, welches dazu ausgebildet ist, eine erneute Eingabe der Trainingsdaten in das trainierte maschinelle Lernverfahren zu bewerkstelligen und die durch erneute Eingabe der Trainingsdaten in das trainierte maschinelle Lernverfahren erhaltene Daten als Operational Design Domain Daten $\left({\text{Z}}_{\text{ODD}}^{\text{i}}\right)$

auf einen zweidimensionalen oder mehrdimensionalen Raum abzubilden und zu clustern zur Erstellung einer Clusterkarte (7) mit allen abgedeckten Operational Design Domain (ODD)-Clustern (Z_ODD), wobei das Abbildungsmodul (5) ferner dazu ausgebildet ist, eine Eingabe der durch das Fahrzeugsystem (1) aufgenommenen aktuellen Sensordaten in das maschinelle Lernverfahren zu bewerkstelligen und ferner der durch Eingabe der aufgenommenen aktuellen Sensordaten in das trainierte maschinelle Lernverfahren erhaltenen Istdaten auf den zweidimensionalen oder mehrdimensionalen Raum abzubilden und den jeweiligen Abstand der erhaltenen Istausgabedaten (ŷ _1,2..) mit den Operational Design Domain (ODD)-Clustern (Z_ODD) zu bestimmen, und wobei ein Erkennungsmodul (6) vorgesehen ist, welches dazu ausgebildet ist, bei Überschreiten eines minimalen Abstandes mit einem in dem Erkennungsmodul (6) gespeicherten Schwellenwert die Istausgabedaten (y _1,2..) als Nicht-ODD-Daten zu kennzeichnen. Vehicle system (1) for increasing the safety of a vehicle (2) during operation, wherein the vehicle system (1) comprises a storage unit which has a machine learning method trained on the basis of training data, wherein the training data represent at least one environment of the vehicle (2), and a sensor system (3) for generating current sensor data depicting the environment of the vehicle (2), characterized in that a mapping module (5) is provided which is designed to carry out a renewed input of the training data into the trained machine learning method and to use the data obtained by renewed input of the training data into the trained machine learning method as operational design domain data $\left({\text{Z}}_{\text{ODD}}^{\text{i}}\right)$

to map and cluster them into a two-dimensional or multi-dimensional space to create a cluster map (7) with all covered Operational Design Domain (ODD) clusters (Z _ODD ), wherein the mapping module (5) is further designed to input the current sensor data recorded by the vehicle system (1) into the machine learning process and further to map the actual data obtained by entering the recorded current sensor data into the trained machine learning process onto the two-dimensional or multi-dimensional space and to determine the respective distance of the received actual output data (ŷ _1,2.. ) with the Operational Design Domain (ODD) clusters (Z _ODD ), and wherein a recognition module (6) is provided which is designed to mark the actual output data (y _1,2.. ) as non-ODD data when a minimum distance is exceeded with a threshold value stored in the recognition module (6). Fahrzeugsystem (1) nach Anspruch 1, dadurch gekennzeichnet, dass das Abbildungsmodul (5) dazu ausgebildet ist, die Abbildung auf den zweidimensionalen oder oder mehrdimensionalen Raum und das Clustern mittels Principal Component Analysis (PCA) oder Uniform Manifold Approximation and Projection (UMAP) oder Latent Dirichlet allocation (LDA) oder mittels einer t-verteilten stochastischen Nachbarschaftseinbettung zu bewerkstelligen.Vehicle system (1) according to Claim 1 , characterized in that the mapping module (5) is designed to carry out the mapping to the two-dimensional or multi-dimensional space and the clustering by means of Principal Component Analysis (PCA) or Uniform Manifold Approximation and Projection (UMAP) or Latent Dirichlet allocation (LDA) or by means of a t-distributed stochastic neighborhood embedding. Fahrzeugsystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennungsmodul (6) dazu ausgebildet ist, die Nicht-ODD-Daten an einen externen Server zu übermitteln.Vehicle system (1) according to one of the preceding claims, characterized in that the recognition module (6) is designed to transmit the non-ODD data to an external server. Fahrzeugsystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennungsmodul (6) dazu ausgebildet ist, eine Warnung bei Überschreiten des minimalen Abstandes von dem gespeicherten Schwellenwert zu generieren.Vehicle system (1) according to one of the preceding claims, characterized in that the detection module (6) is designed to generate a warning when the minimum distance from the stored threshold value is exceeded. Fahrzeugsystem (1) nach Anspruch 4, dadurch gekennzeichnet, dass das Erkennungsmodul (6) dazu ausgebildet ist, als Warnung eine Benachrichtigung an einen Fahrer und/oder ein Fahrerassistenzsystem zu generieren.Vehicle system (1) according to Claim 4 , characterized in that the recognition module (6) is designed to generate a notification to a driver and/or a driver assistance system as a warning. Fahrzeugsystem (1) nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass das Erkennungsmodul (6) dazu ausgebildet ist, als Warnung Maßnahmen einzuleiten, wobei die Maßnahmen aus der Gruppe Fahrzeuggeschwindigkeit reduzieren und/oder Bremsung und/oder Notbremsung oder ein Fail-Safe Manöver einleiten auswählbar sind.Vehicle system (1) according to Claim 4 or 5 , characterized in that the detection module (6) is designed to initiate measures as a warning, wherein the measures can be selected from the group reducing vehicle speed and/or braking and/or emergency braking or initiating a fail-safe maneuver. Verfahren zur Erhöhung der Sicherheit eines Fahrzeugsystems (1) eines Fahrzeugs (2), welches ein auf Basis von Trainingsdaten trainiertes maschinelles Lernverfahren aufweist, wobei die Trainingsdaten zumindest ein Umfeld des Fahrzeugs (2) darstellen, umfassend der Schritte: - Bereitstellen von Daten durch Eingabe der Trainingsdaten in das trainierte maschinelle Lernverfahren und Bereitstellen einer Clusterkarte (7) mit allen abgedeckten Operational Design Domain (ODD)-Clustern (Z_ODD) durch Abbilden und Clustern der Daten als Operational Design Domain Daten $\left({\text{Z}}_{\text{ODD}}^{\text{i}}\right)$

auf einen zweidimensionalen oder mehrdimensionalen Raum und - Generieren von das Umfeld des Fahrzeugs (2) abbildende aktuelle Sensordaten, - Eingabe der generierten aktuellen Sensordaten in das trainierte maschinelle Lernverfahren zum Erhalten von Istdaten, - Abbilden der Istdaten auf den zweidimensionalen oder mehrdimensionalen Raum zum Erhalt von Istausgabedaten (ŷ _1,2..) und Bestimmung des jeweiligen Abstands der erhaltenen Istausgabedaten (ŷ _1,2..) von den Operational Design Domain (ODD)-Clustern (Z_ODD), - Kennzeichnen der Istausgabedaten (ŷ _1,2..) als Nicht-ODD-Daten bei Überschreiten des minimalen Abstandes von einem gespeicherten Schwellenwert.Method for increasing the safety of a vehicle system (1) of a vehicle (2) which has a machine learning method trained on the basis of training data, wherein the training data represent at least one environment of the vehicle (2), comprising the steps: - providing data by entering the training data into the trained machine learning method and providing a cluster map (7) with all covered Operational Design Domain (ODD) clusters (Z _ODD ) by mapping and clustering the data as Operational Design Domain data $\left({\text{Z}}_{\text{ODD}}^{\text{i}}\right)$

to a two-dimensional or multi-dimensional space and - generating current sensor data depicting the surroundings of the vehicle (2), - entering the generated current sensor data into the trained machine learning process to obtain actual data, - mapping the actual data to the two-dimensional or multi-dimensional space to obtain actual output data (ŷ _1,2.. ) and determining the respective distance of the received actual output data (ŷ _1,2.. ) from the Operational Design Domain (ODD) clusters (Z _ODD ), - marking the actual output data (ŷ _1,2.. ) as non-ODD data if the minimum distance from a stored threshold value is exceeded. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass bei Überschreiten des minimalen Abstandes von dem gespeicherten Schwellenwert eine Warnung generiert wird.Procedure according to Claim 7 , characterized in that a warning is generated when the minimum distance from the stored threshold value is exceeded. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Sensordaten als Simulationssensordaten simuliert werden und wobei bei Auftreten von Nicht-ODD-Daten zumindest die entsprechenden aktuellen Sensordaten als Trainingsdaten zur Verbesserung des maschinellen Lernverfahrens herangezogen werden.Procedure according to Claim 7 or 8th , characterized in that the sensor data are simulated as simulation sensor data and, if non-ODD data occurs, at least the corresponding current sensor data are used as training data can be used to improve the machine learning process. Verfahren nach einem der vorhergehenden Ansprüche 7 bis 9, dadurch gekennzeichnet, dass die Abbildung auf den zweidimensionalen oder mehrdimensionalen Raum und das Clustern mittels einer t-verteilten stochastischen Nachbarschaftseinbettung bewerkstelligt wird.Method according to one of the preceding Claims 7 until 9 , characterized in that the mapping to the two-dimensional or multi-dimensional space and the clustering are accomplished by means of a t-distributed stochastic neighborhood embedding. Verfahren nach einem der vorhergehenden Ansprüche 7 bis 9, dadurch gekennzeichnet, dass die Abbildung auf den zweidimensionalen oder mehrdimensionalen Raum und das Clustern mittels Principal Component Analysis (PCA) oder Uniform Manifold Approximation and Projection (UMAP) oder Latent Dirichlet allocation (LDA) bewerkstelligt wird.Method according to one of the preceding Claims 7 until 9 , characterized in that the mapping to the two-dimensional or multi-dimensional space and the clustering is accomplished by means of Principal Component Analysis (PCA) or Uniform Manifold Approximation and Projection (UMAP) or Latent Dirichlet allocation (LDA). Verfahren nach einem der vorhergehenden Ansprüche 7 bis 11, dadurch gekennzeichnet, dass der Abstand zwischen Istausgabedaten (y _1,2..) und Operational Design Domain (ODD)-Clustern (Z_ODD) als ein euklidischer Abstand bestimmt wird.Method according to one of the preceding Claims 7 until 11 , characterized in that the distance between actual output data (y _1,2.. ) and Operational Design Domain (ODD) clusters (Z _ODD ) is determined as a Euclidean distance. Verfahren nach einem der vorhergehenden Ansprüche 7 bis 11, dadurch gekennzeichnet, dass eine Reihe von zeitlich aufeinanderfolgenden Istausgabedaten (ŷ _1,2..) bestimmt wird und der Abstand von den Operational Design Domain (ODD)-Clustern (Z_ODD) anhand eines Repräsentanten aus den zeitlich aufeinanderfolgenden Istausgabedaten (ŷ _1,2..) bestimmt wird.Method according to one of the preceding Claims 7 until 11 , characterized in that a series of temporally successive actual output data (ŷ _1,2.. ) is determined and the distance from the Operational Design Domain (ODD) clusters (Z _ODD ) is determined using a representative from the temporally successive actual output data (ŷ _1,2.. ). Verfahren nach einem der vorhergehenden Ansprüche 7 bis 11, dadurch gekennzeichnet, dass der Repräsentant als Mittelwert aus den zeitlich aufeinanderfolgenden Istausgabedaten (ŷ _1,2..) gebildet wird.Method according to one of the preceding Claims 7 until 11 , characterized in that the representative is formed as a mean value from the temporally successive actual output data (ŷ _1,2.. ). Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche 7 bis 14 in einem autonom oder zumindest teilautonom betriebenen Fahrzeug (2).Use of a method according to one of the preceding Claims 7 until 14 in an autonomous or at least partially autonomous vehicle (2).

Images