DE102020213889A1 - Procedure for validating simulation models - Google Patents

Abstract

Computerimplementiertes Verfahren (100) zum Validieren von Simulationsdaten (SD) eines Simulationsmodells eines technischen Systems; das Verfahren (100) umfassend die folgenden Schritte:Bereitstellen (110) von Simulationsdaten (SD) umfassend eine Anzahl n an Simulations-Zeitreihen und Bereitstellen (110) von Referenzdaten (RD) umfassend eine Anzahl m an Referenz-Zeitreihen,Bestimmen (120) eines jeweiligen Abstands zwischen einer jeweiligen Simulations-Zeitreihe und einer jeweiligen Referenz-Zeitreihe unter Anwendung des Time-Warp-Edit-Distance, TWED, - Abstandsmaßes;und Bestimmen (130) eines Gesamt-Abstands zwischen den Simulationsdaten (SD) und den Referenzdaten (RD) basierend auf den Abständen zwischen einer jeweiligen Simulations-Zeitreihe und einer jeweiligen Referenz-Zeitreihe unter Verwendung der Wasserstein-Metrik.Computer-implemented method (100) for validating simulation data (SD) of a simulation model of a technical system; the method (100) comprising the following steps: providing (110) simulation data (SD) comprising a number n of simulation time series and providing (110) reference data (RD) comprising a number m of reference time series, determining (120) a respective distance between a respective simulation time series and a respective reference time series using the Time Warp Edit Distance, TWED, distance measure; and determining (130) an overall distance between the simulation data (SD) and the reference data ( RD) based on the distances between a respective simulation time series and a respective reference time series using the Wasserstein metric.

Description

Stand der TechnikState of the art

Die Offenbarung betrifft ein computerimplementiertes Verfahren zum Validieren von Simulationsdaten eines Simulationsmodells eines technischen Systems.The disclosure relates to a computer-implemented method for validating simulation data of a simulation model of a technical system.

Weitere Ausführungsformen betreffen ein Computerprogramm zum Ausführen des Verfahrens.Further embodiments relate to a computer program for carrying out the method.

Weitere Ausführungsformen betreffen die Verwendung des computerimplementierten Verfahrens und/oder des Computerprogramms zum Validieren eines Simulationsmodells eines technischen Systems, insbesondere Software, Hardware oder ein eingebettetes System, insbesondere in der Entwicklung des technischen Systems.Further embodiments relate to the use of the computer-implemented method and/or the computer program for validating a simulation model of a technical system, in particular software, hardware or an embedded system, in particular in the development of the technical system.

Üblicherweise werden zum Validieren eines Simulationsmodells an bestimmten Punkten im Parameterraum des Simulationsmodells - den sogenannten Validierungspunkten - Referenzdaten gesammelt. Diese Referenzdaten stammen in der Regel aus realen Validierungsexperimenten oder aus Simulationsläufen eines hochgenauen Referenzmodells. An den Validierungspunkten wird ein sogenannter Modellfehler berechnet, eine reale skalare Größe, die die Abweichung zwischen dem Simulationsmodell und der Referenz, anzeigt.Usually, to validate a simulation model, reference data are collected at specific points in the parameter space of the simulation model—the so-called validation points. This reference data usually comes from real validation experiments or from simulation runs of a high-precision reference model. A so-called model error is calculated at the validation points, a real scalar variable that indicates the deviation between the simulation model and the reference.

Zum Validieren von skalaren Signalen ist beispielsweise ein Validierungsframework basierend auf der sogenannten Area Validation Metric, beispielsweise beschrieben in Oberkampf, William L. and Christopher J. Roy. Verification and validation in scientific computing. Cambridge University Press, 2010, bekannt. Üblicherweise werden sowohl die Simulationsergebnisse als auch die Referenzmessungen, bei denen es sich idealerweise um reale Experimente handelt, als Ziehungen aus zwei verschiedenen Zufallsverteilungen aufgefasst. Das heißt, dass sowohl für die Simulation als auch für die Referenz aus den Daten eine (empirische) Verteilungsfunktion, engl. Cumulative distribution function, CDF, erstellt wird. Diese Verteilungsfunktionen werden dann mit einer Metrik, beispielsweise der Area Validation Metric, für Verteilungsfunktionen miteinander verglichen. Bei der Area Validation Metric wird die Fläche zwischen den beiden Verteilungsfunktionen als Maß für die Nichtübereinstimmung der beiden Verteilungen herangezogen.A validation framework based on the so-called area validation metric, for example described in Oberkampf, William L. and Christopher J. Roy, is available for validating scalar signals. Verification and validation in scientific computing. Cambridge University Press, 2010. Usually, both the simulation results and the reference measurements, which are ideally real experiments, are understood as being drawn from two different random distributions. This means that both for the simulation and for the reference from the data, an (empirical) distribution function Cumulative distribution function, CDF, is created. These distribution functions are then compared with one another using a metric, for example the Area Validation Metric, for distribution functions. With the Area Validation Metric, the area between the two distribution functions is used as a measure of the mismatch between the two distributions.

Die bekannte Area Validation Metric stößt jedoch bereits in dem eher einfachen Fall, in dem die aufgenommenen Signale Punkte in der Ebene sind, an ihre Grenzen. Im bekannten Validierungsframework fehlt es an einer Möglichkeit, Simulation und Referenz statistisch zu vergleichen. Wenn für Simulation und Referenz jeweils mehrere Datenpunkte, im besten Fall sehr viele Datenpunkte, aufgenommen worden, gibt es bisher keine Möglichkeit die beiden Datensätze als Ganze zu vergleichen und einen objektiven Wert der Nichtübereinstimmung zu berechnen.However, the well-known area validation metric already reaches its limits in the rather simple case in which the recorded signals are points in the plane. The well-known validation framework lacks a possibility to compare simulation and reference statistically. If several data points, in the best case a large number of data points, were recorded for the simulation and the reference, there was no way to compare the two data sets as a whole and to calculate an objective value for the mismatch.

Ferner lässt sich die bekannte Area Validation Metric nicht ohne weiteres auf mehrdimensionale Signale, und damit auch nicht auf Zeitreihen-Signale, bei denen jeder Zeitpunkt, an dem ein Signal aufgenommen wird, als einzelnes Signal betrachtet wird, und eine Aufnahme einer Zeitreihe mit N Zeitpunkten als N-dimensionales Signal dargestellt wird, erweitern.Furthermore, the well-known Area Validation Metric cannot be easily applied to multidimensional signals, and thus also not to time series signals in which each point in time at which a signal is recorded is considered as an individual signal, and a recording of a time series with N points in time is represented as an N-dimensional signal.

In der Literatur findet sich eine Anwendung der Wasserstein Metrik auf Zeitreihen beispielsweise in Muskulus, M., & Verduyn-Lunel, S. (2011), Wasserstein distances in the analysis of time series and dynamical systems. Physica D: Nonlinear Phenomena, 240(1), 45-58. Hier liegt der Fokus jedoch auf dem Langzeitverhalten des Signals. Außerdem muss vor Anwendung der Wasserstein Metrik eine Dimensionsreduktion durchgeführt werden.In the literature, an application of the Wasserstein metric to time series can be found, for example, in Muskulus, M., & Verduyn-Lunel, S. (2011), Wasserstein distances in the analysis of time series and dynamical systems. Physica D: Nonlinear Phenomena, 240(1), 45-58. However, the focus here is on the long-term behavior of the signal. In addition, before applying the Wasserstein metric, a dimensionality reduction must be performed.

Der Offenbarung liegt daher die Aufgabe zugrunde, eine alternatives Verfahren zum Bestimmen von Abständen von Zeitreihen bereitzustellen, mit dem die aus dem Stand der Technik bekannten Nachteile überwunden werden können.The disclosure is therefore based on the object of providing an alternative method for determining intervals of time series, with which the disadvantages known from the prior art can be overcome.

Offenbarung der ErfindungDisclosure of Invention

Eine Ausführungsform betrifft ein computerimplementiertes Verfahren zum Validieren von Simulationsdaten eines Simulationsmodells eines technischen Systems; das Verfahren umfassend die folgenden Schritte:

• Bereitstellen von Simulationsdaten umfassend eine Anzahl n an Simulations-Zeitreihen und Bereitstellen von Referenzdaten umfassend eine Anzahl m an Referenz-Zeitreihen,
• Bestimmen eines jeweiligen Abstands zwischen einer jeweiligen Simulations-Zeitreihe und einer jeweiligen Referenz-Zeitreihe unter Anwendung des Time-Warp-Edit-Distance, TWED, - Abstandsmaßes;
• und Bestimmen eines Gesamt-Abstands zwischen den Simulationsdaten und den Referenzdaten basierend auf den Abständen zwischen einer jeweiligen Simulations-Zeitreihe und einer jeweiligen Referenz-Zeitreihe unter Verwendung der Wasserstein-Metrik.

One embodiment relates to a computer-implemented method for validating simulation data of a simulation model of a technical system; the procedure comprising the following steps:

• Providing simulation data comprising a number n of simulation time series and providing reference data comprising a number m of reference time series,
• determining a respective distance between a respective simulation time series and a respective reference time series using the Time Warp Edit Distance, TWED, distance measure;
• and determining an overall distance between the simulation data and the reference data based on the distances between a respective simulation time series and a respective reference time series using the Wasserstein metric.

Ein typisches Problem bei der Verarbeitung von Zeitreihen ist die Bestimmung der Ähnlichkeit von Zeitreihen zueinander, beispielsweise im Rahmen des Clusterings oder der Klassifikation. Die Time Warp Edit Distance, TWED, ist ein Abstandsmaß für einen Abstand zwischen diskreten Zeitreihen. Die TWED wurde aus Elementen der so genannten Edit Distance sowie des Dynamic Time Warping, DTW, entwickelt, vergleiche dazu auch Marteau, P. F. (2008). Time warp edit distance with stiffness adjustment for time series matching. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(2), 306-318. Bei der TWED handelt es sich im Vergleich zu anderen Abstandsmaßen, wie z.B. der DTW, um eine Metrik im mathematischen Sinn, da insbesondere die Dreiecksungleichung erfüllt ist.A typical problem when processing time series is determining the similarity of time series to one another, for example in the context of clustering or classification. the Time Warp Edit Distance, TWED, is a distance measure of a distance between discrete time series. The TWED was developed from elements of the so-called Edit Distance and Dynamic Time Warping, DTW, see also Marteau, PF (2008). Time warp edit distance with stiffness adjustment for time series matching. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(2), 306-318. Compared to other measures of distance, such as the DTW, the TWED is a metric in the mathematical sense, since the triangle inequality in particular is satisfied.

Bei der TWED werden bestimmten Operationen, welche die beiden Zeitreihen, nämlich die Simulations-Zeitreihe und die Referenz-Zeitreihe, ineinander überführen, gewisse Kosten zugeordnet. Die Kosten der Operationen, welche die Zeitreihen mit dem geringsten Aufwand ineinander überführen, liefert die TWED.In the TWED, certain costs are assigned to certain operations that convert the two time series, namely the simulation time series and the reference time series, into one another. The TWED provides the costs of the operations that convert the time series into one another with the least effort.

Die Wasserstein-Metrik wird anschließend verwendet um den Gesamt-Abstand zwischen den Simulationsdaten und den Referenzdaten zu Bestimmen. Der gesuchte Gesamt-Abstand ist dabei der Wasserstein-Abstand zwischen der ersten Wahrscheinlichkeitsverteilung umfassend die Simulationsdaten SD und der zweiten Wahrscheinlichkeitsverteilung umfassend die Referenzdaten RD.The Wasserstein metric is then used to determine the total distance between the simulation data and the reference data. The total distance sought is the Wasserstein distance between the first probability distribution comprising the simulation data SD and the second probability distribution comprising the reference data RD.

Die Referenz-Zeitreihen der Referenzdaten stammen beispielsweise aus realen Messungen oder aus einem Referenzmodell und weisen daher üblicherweise eine natürliche Variabilität auf. Beispielweise können verschiedene Parameter bei verschiedenen Durchläufen einer Messung variieren. Unabhängig davon, wie gut man versucht, alle Parameter einer Messung zu kontrollieren, werden einige von ihnen bei jedem Durchlauf der Messung variieren. Geht man von einem deterministischen Simulationsmodell aus, würde die Simulation bei festen Parametern immer das gleiche Ergebnis liefern. Daher wird das Experiment in der Simulation neu modelliert, indem einige der Parameter zufällig variiert und die Ergebnisse aufgezeichnet werden. Wenn diese Parameter, die als aleatorische Parameter bezeichnet werden, in der richtigen Weise verteilt sind, werden die Simulations-Zeitreihen der Simulationsdaten den jeweiligen korrespondierenden Referenz-Zeitreihen sehr ähnlich sein, sofern das Simulationsmodell die relevanten Effekte korrekt wiedergibt. Mathematisch gesehen entspricht der Vergleich zwischen Simulation und Referenz somit der Berechnung des Abstands zwischen zwei Wahrscheinlichkeitsverteilungen. Für diesen Vergleich ist die Wasserstein-Metrik geeignet.The reference time series of the reference data come, for example, from real measurements or from a reference model and therefore usually have a natural variability. For example, different parameters can vary in different runs of a measurement. No matter how well one tries to control all parameters of a measurement, some of them will vary with each iteration of the measurement. Assuming a deterministic simulation model, the simulation would always deliver the same result with fixed parameters. Therefore, the experiment is remodeled in the simulation by randomly varying some of the parameters and recording the results. If these parameters, called aleatoric parameters, are distributed in the right way, the simulation time series of the simulation data will be very similar to the corresponding reference time series, provided the simulation model correctly reflects the relevant effects. Mathematically, the comparison between the simulation and the reference corresponds to the calculation of the distance between two probability distributions. The Wasserstein metric is appropriate for this comparison.

Gemäß einer Ausführungsform ist vorgesehen, dass sich wenigstens eine der Simulations-Zeitreihen und wenigstes einer der Referenz-Zeitreihen in wenigstens einer der folgenden Eigenschaften voneinander unterscheiden:

• - Abtastfrequenz und/oder
• - Zeitachse und/oder
• - Streckung und/oder Stauchung.

According to one embodiment, at least one of the simulation time series and at least one of the reference time series differ from one another in at least one of the following properties:

• - Sampling frequency and/or
• - Timeline and/or
• - Stretching and/or compression.

Eine unterschiedliche Abtastfrequenz bedeutet, dass die Signale von zwei Zeitreihen nicht zu äquidistanten Abtastzeitpunkten vorliegen.A different sampling frequency means that the signals from two time series are not present at equidistant sampling times.

Eine unterschiedliche Zeitachse bedeutet, dass die Zeitachsen von zwei Zeitreihen zueinander verschoben sind.A different time axis means that the time axes of two time series are shifted to each other.

Eine unterschiedliche Streckung und/oder Stauchung bedeutet anschaulich, dass sich aus den Signalen von zwei Zeitreihen ergebenden Kurven zwar in ihrer Form ähneln, die eine Kurve jedoch gestaucht oder gestreckt gegenüber der anderen Kurve ist.Different stretching and/or compression clearly means that the curves resulting from the signals of two time series are similar in shape, but one curve is compressed or stretched compared to the other curve.

Bei starren Abstandsmaßen, wie beispielsweise dem euklidischen Abstand, ist insbesondere implizit vorausgesetzt, dass zwei miteinander zu vergleichende Zeitreihen mit derselben Abtastfrequenz aufgenommen sind. Ein starres Abstandsmaß kann die Unterschiede zwischen Zeitreihen, die sich nur aus Streckung oder Verschiebung bezüglich der Zeitachse ergeben, nicht unberücksichtigt lassen - damit ist gemeint, dass entlang eines Zeitstrahls Datenpunkte der jeweiligen Zeitreihe zu jedem Zeitpunkt einen Datenpunkt zum selben Zeitpunkt in der jeweils anderen Zeitreihe zur Abstandsberechnung voraussetzen. Sollte eine der Zeitreihen gestaucht sein, sind diese starre Abstandsmaße zur Abstandsberechnung ungeeignet.In the case of rigid distance measures, such as the Euclidean distance, it is implicitly assumed in particular that two time series to be compared with one another are recorded with the same sampling frequency. A rigid distance measure cannot ignore the differences between time series, which only result from stretching or shifting with respect to the time axis - this means that along a time line data points of the respective time series at each point in time have a data point at the same point in time in the other time series required for distance calculation. If one of the time series is compressed, these rigid distance measurements are unsuitable for distance calculation.

Die TWED kann als elastisches Abstandsmaß für Zeitreihen mit den genannten Unterschieden angewendet werden. Bei der Anwendung der TWED werden Operationen, beispielsweise Löschen (Delete Operation) oder Übereinstimmen (Match Operation), durchgeführt um Signale aus einer der Zeitreihen, insbesondere abschnittsweise, der jeweils anderen anzugleichen. Je höher die Kosten zum Durchführen der Operationen oder je weiter entfernt vermeintlich passende Datenpunkte gemessen entlang der Zeitachse sind, desto unähnlicher sind die Zeitreihen. Während zur Angleichung unterschiedlich langer Zeitreihen entlang des Zeitstrahls bei starren Abstandsmaßen auch Techniken wie Re-Sampling genutzt werden können, entfällt dieser zusätzliche Arbeitsaufwand bei der Nutzung elastischer Abstandsmaße.The TWED can be used as an elastic distance measure for time series with the differences mentioned. When using the TWED, operations such as deletion (delete operation) or matching (match operation) are carried out in order to match signals from one of the time series, in particular in sections, to the respective other. The higher the cost of performing the operations or the further away supposedly matching data points are measured along the time axis, the more dissimilar the time series are. While techniques such as re-sampling can also be used to adjust time series of different lengths along the timeline with rigid distance measures, this additional work effort is not required when using elastic distance measures.

Gemäß einer Ausführungsform umfasst das Verfahren weiter das Erstellen einer Kostenmatrix basierend auf den jeweiligen Abständen zwischen den Simulations-Zeitreihen und den Referenz-Zeitreihen.According to an embodiment, the method further comprises creating a cost matrix based on the respective distances between the simulation time series and the reference time series.

Gemäß einer Ausführungsform umfasst das Verfahren weiter das Ableiten eines optimalen Transportplans basierend auf der Kostenmatrix.According to one embodiment, the method further includes deriving an optimal transportation plan based on the cost matrix.

Gemäß einer Ausführungsform umfasst das Verfahren weiter das Berechnen von Kosten des optimalen Transportplans unter Verwendung der Wasserstein-Metrik. According to an embodiment, the method further comprises calculating costs of the optimal transportation plan using the Wasserstein metric.

Weitere Ausführungsformen betreffen ein Computerprogramm zum Validieren von Daten eines Simulationsmodells, wobei das Computerprogramm computerlesbare Instruktionen umfasst, bei deren Ausführung durch einen Computer ein computerimplementiertes Verfahren gemäß den Ausführungsformen ausgeführt wird.Further embodiments relate to a computer program for validating data of a simulation model, the computer program comprising computer-readable instructions, when executed by a computer, a computer-implemented method according to the embodiments is carried out.

Weitere Ausführungsformen betreffen eine Verwendung eines computerimplementierten Verfahrens gemäß den Ausführungsformen und/oder eines Computerprogramms gemäß den Ausführungsformen zum Validieren eines Simulationsmodells eines technischen Systems, insbesondere Software, Hardware oder ein eingebettetes System, insbesondere in der Entwicklung des technischen Systems.Further embodiments relate to using a computer-implemented method according to the embodiments and/or a computer program according to the embodiments for validating a simulation model of a technical system, in particular software, hardware or an embedded system, in particular in the development of the technical system.

Das Simulationsmodell ist beispielsweise ein HiL, Hardware in the Loop, - oder ein SiL, Software in the Loop, - Simulationsmodell. Das Simulationsmodell dient in diesem Fall als Nachbildung der realen Umgebung des technischen Systems. HiL und SiL sind Methoden zum Testen von Hardware und eingebetteten Systemen oder Software, beispielsweise zur Unterstützung während der Entwicklung sowie zur vorzeitigen Inbetriebnahme. Mit der Verwendung des Verfahrens zum Validieren eines Simulationsmodells eines technischen Systems, insbesondere Software, Hardware oder ein eingebettetes System, insbesondere in der Entwicklung des technischen Systems kann beispielsweise eine simulationsbasierte Freigabe unterstützt werden.The simulation model is, for example, a HiL, hardware in the loop, or a SiL, software in the loop, simulation model. In this case, the simulation model serves as a replica of the real environment of the technical system. HiL and SiL are methods for testing hardware and embedded systems or software, for example for support during development and for early commissioning. With the use of the method for validating a simulation model of a technical system, in particular software, hardware or an embedded system, in particular in the development of the technical system, a simulation-based release can be supported, for example.

Bei dem technischen System handelt es sich beispielsweise um Software, Hardware oder ein eingebettetes System. Bei dem technischen System handelt es sich insbesondere um ein technisches System, beispielsweise ein Steuergerät oder eine Software für ein Steuergerät, für ein Kraftfahrzeug, insbesondere für ein autonomes oder teilautonomes Kraftfahrzeug. Insbesondere im Kraftfahrzeugbereich umfassen Simulationsmodelle, insbesondere Fahrdynamikmodell, häufig Zeitreihen-Signale.The technical system is, for example, software, hardware or an embedded system. The technical system is in particular a technical system, for example a control unit or software for a control unit, for a motor vehicle, in particular for an autonomous or semi-autonomous motor vehicle. In the motor vehicle sector in particular, simulation models, in particular vehicle dynamics models, often include time-series signals.

Das vorgeschlagene Verfahren kann angewandt werden, wann immer zwei Gruppen von Zeitreihen-Signalen, beispielsweise die Simulationsdaten umfassend die Simulations-Zeitreihen und die Referenzdaten umfassen die Referenz-Zeitreihen, miteinander verglichen werden. Insbesondere im Bereich der Bewertung von Fahrdynamikmodellen wurde die RMSE Metrik bereits als unzureichend eingestuft. Daher kann hier vorteilhafterweise das vorgeschlagene Verfahren zu Anwendung kommen.The proposed method can be applied whenever two groups of time series signals, for example the simulation data comprising the simulation time series and the reference data comprising the reference time series, are compared with one another. The RMSE metric has already been classified as insufficient, especially in the area of evaluating vehicle dynamics models. The proposed method can therefore advantageously be used here.

Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung, die in den Figuren der Zeichnung dargestellt sind. Dabei bilden alle beschriebenen oder dargestellten Merkmale für sich oder in beliebiger Kombination den Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Patentansprüchen oder deren Rückbeziehung sowie unabhängig von ihrer Formulierung bzw. Darstellung in der Beschreibung bzw. in der Zeichnung.Further features, application possibilities and advantages of the invention result from the following description of exemplary embodiments of the invention, which are illustrated in the figures of the drawing. All of the features described or illustrated form the subject matter of the invention, either alone or in any combination, regardless of their summary in the patent claims or their back-reference and regardless of their wording or representation in the description or in the drawing.

In der Zeichnung zeigt:

• 1 Aspekte eines computerimplementierten Verfahrens in einer schematischen Darstellung;
• 2 weitere Aspekte computerimplementierten Verfahrens in einer schematischen Darstellung, und
• 3a bis 3b Aspekte einer Verwendung des computerimplementierten Verfahrens aus 1 in einer schematischen Darstellung.

In the drawing shows:

• 1 Aspects of a computer-implemented method in a schematic representation;
• 2 further aspects of the computer-implemented method in a schematic representation, and
• 3a until 3b Aspects of using the computer-implemented method 1 in a schematic representation.

In 1 sind schematisch Schritte eines computerimplementiertes Verfahrens 100 zum Validieren von Simulationsdaten eines Simulationsmodells eines technischen Systems dargestellt.In 1 steps of a computer-implemented method 100 for validating simulation data of a simulation model of a technical system are shown schematically.

Das Verfahren 100 umfasst einen Schritt 110 zum Bereitstellen von Simulationsdaten SD umfassend eine Anzahl n an Simulations-Zeitreihen und einen Schritt zum Bereitstellen von Referenzdaten RD umfassend eine Anzahl m an Referenz-Zeitreihen mit mit n>1 und m>1. Die Anzahl n und m kann dabei unterschiedlich sein.The method 100 comprises a step 110 for providing simulation data SD comprising a number n of simulation time series and a step for providing reference data RD comprising a number m of reference time series with n>1 and m>1. The number n and m can be different.

Die Simulations-Zeitreihen und die Referenzzeitreihen können sich dahingehend voneinander unterscheiden, dass wenigstens eine der Simulations-Zeitreihen und wenigstes einer der Referenz-Zeitreihen sich in wenigstens einer der folgenden Eigenschaften voneinander unterscheiden:

• - Abtastfrequenz und/oder
• - Zeitachse und/oder
• - Streckung und/oder Stauchung.

The simulation time series and the reference time series can differ from one another in that at least one of the simulation time series and at least one of the reference time series differ from one another in at least one of the following properties:

• - Sampling frequency and/or
• - Timeline and/or
• - Stretching and/or compression.

Eine unterschiedliche Abtastfrequenz bedeutet, dass die Signale von zwei Zeitreihen nicht zu äquidistanten Abtastzeitpunkten vorliegen. Eine unterschiedliche Zeitachse bedeutet, dass die Zeitachsen von zwei Zeitreihen zueinander verschoben sind. Eine unterschiedliche Streckung und/oder Stauchung bedeutet anschaulich, dass sich aus den Signalen von zwei Zeitreihen ergebenden Kurven zwar in ihrer Form ähneln, die eine Kurve jedoch gestaucht oder gestreckt gegenüber der anderen Kurve ist.A different sampling frequency means that the signals from two time series are not present at equidistant sampling times. A different timeline means that the time axes of two time series are shifted to each other. Different stretching and/or compression clearly means that the curves resulting from the signals of two time series are similar in shape, but one curve is compressed or stretched compared to the other curve.

Bei starren Abstandsmaßen, wie beispielsweise dem euklidischen Abstand, ist insbesondere implizit vorausgesetzt, dass zwei miteinander zu vergleichende Zeitreihen mit derselben Abtastfrequenz aufgenommen sind. Ein starres Abstandsmaß kann die Unterschiede zwischen Zeitreihen, die sich nur aus Streckung oder Verschiebung bezüglich der Zeitachse ergeben, nicht unberücksichtigt lassen - damit ist gemeint, dass entlang eines Zeitstrahls Datenpunkte der jeweiligen Zeitreihe zu jedem Zeitpunkt einen Datenpunkt zum selben Zeitpunkt in der jeweils anderen Zeitreihe zur Abstandsberechnung voraussetzen. Sollte eine der Zeitreihen gestaucht sein, sind diese starre Abstandsmaße zur Abstandsberechnung ungeeignet.In the case of rigid distance measures, such as the Euclidean distance, it is implicitly assumed in particular that two time series to be compared with one another are recorded with the same sampling frequency. A rigid distance measure cannot ignore the differences between time series, which only result from stretching or shifting with respect to the time axis - this means that along a time line data points of the respective time series at each point in time have a data point at the same point in time in the other time series required for distance calculation. If one of the time series is compressed, these rigid distance measurements are unsuitable for distance calculation.

Gemäß der dargestellten Ausführungsform umfasst das Verfahren 100 weiter einen Schritt 120 zum Bestimmen eines jeweiligen Abstands zwischen einer jeweiligen Simulations-Zeitreihe und einer jeweiligen Referenz-Zeitreihe unter Anwendung des Time-Warp-Edit-Distance, TWED, - Abstandsmaßes.According to the illustrated embodiment, the method 100 further comprises a step 120 for determining a respective distance between a respective simulation time series and a respective reference time series using the Time Warp Edit Distance, TWED, distance measure.

Die TWED kann als elastisches Abstandsmaß für Zeitreihen mit den genannten Unterschieden angewendet werden. Bei der Anwendung der TWED werden Operationen, beispielsweise Löschen (Delete Operation) oder Übereinstimmen (Match Operation), durchgeführt um Signale aus einer der Zeitreihen, insbesondere abschnittsweise, der jeweils anderen anzugleichen. Je höher die Kosten zum Durchführen der Operationen oder je weiter entfernt vermeintlich passende Datenpunkte gemessen entlang der Zeitachse sind, desto unähnlicher sind die Zeitreihen. Während zur Angleichung unterschiedlich langer Zeitreihen entlang des Zeitstrahls bei starren Abstandsmaßen auch Techniken wie Re-Sampling genutzt werden können, entfällt dieser zusätzliche Arbeitsaufwand bei der Nutzung elastischer Abstandsmaße.The TWED can be used as an elastic distance measure for time series with the differences mentioned. When using the TWED, operations such as deletion (delete operation) or matching (match operation) are carried out in order to match signals from one of the time series, in particular in sections, to the respective other. The higher the cost of performing the operations or the further away supposedly matching data points are measured along the time axis, the more dissimilar the time series are. While techniques such as re-sampling can also be used to adjust time series of different lengths along the timeline with rigid distance measures, this additional work effort is not required when using elastic distance measures.

Gemäß der dargestellten Ausführungsform umfasst das Verfahren weiter einen Schritt 130 zu, Bestimmen eines Gesamt-Abstands zwischen den Simulationsdaten umfassend die Simulations-Zeitreihen und den Referenzdaten umfassend die Referenz-Zeitreihen basierend auf den Abständen zwischen einer jeweiligen Simulations-Zeitreihe und einer jeweiligen Referenz-Zeitreihe unter Verwendung der Wasserstein-Metrik.According to the illustrated embodiment, the method further includes a step 130 of determining a total distance between the simulation data comprising the simulation time series and the reference data comprising the reference time series based on the distances between a respective simulation time series and a respective reference time series using the Wasserstein metric.

Gemäß der dargestellten Ausführungsform umfasst das Verfahren weiter einen Schritt 120a zum Erstellen einer Kostenmatrix basierend auf den jeweiligen Abständen zwischen den Simulations-Zeitreihen und den Referenz-Zeitreihen.According to the illustrated embodiment, the method further comprises a step 120a for creating a cost matrix based on the respective distances between the simulation time series and the reference time series.

Die Kostenmatrix ist gemäß der dargestellten Ausführungsform eine m x n oder n x m Matrix. Das Erstellen 120a der Kostenmatrix basiert auf dem Schritt 120 zum Bestimmen des Abstands einer jeweiligen Simulations-Zeitreihe zu einer jeweiligen Referenz-Zeitreihe. Dabei wird jede Simulations-Zeitreihe mit jeder Referenz-Zeitreihe verglichen. Der i-j-te Eintrag der Matrix ist der Abstand der i-ten Simulations-Zeitreihe zur j-ten Referenz-Zeitreihe, mit 1 ≤ i ≤ n und 1 ≤ j ≤ m.According to the illustrated embodiment, the cost matrix is an m×n or n×m matrix. The creation 120a of the cost matrix is based on the step 120 for determining the distance between a respective simulation time series and a respective reference time series. Each simulation time series is compared with each reference time series. The ith entry of the matrix is the distance of the ith simulation time series to the jth reference time series, with 1 ≤ i ≤ n and 1 ≤ j ≤ m.

Gemäß der dargestellten Ausführungsform umfasst das Verfahren weiter einen Schritt 120b zum Ableiten eines optimalen Transportplans basierend auf der Kostenmatrix. Das Ableiten 120b des optimalen Transportplans basierend auf der Kostenmatrix erfolgt beispielsweise unter Verwendung eines Lösungsalgorithmus basierend auf der sogenannten „ungarischen Methode“. Der Transportplan ist im Fall empirischer Daten ebenfalls eine Matrix gleicher Dimension wie die Kostenmatrix.According to the illustrated embodiment, the method further comprises a step 120b for deriving an optimal transportation plan based on the cost matrix. The derivation 120b of the optimal transport plan based on the cost matrix takes place, for example, using a solution algorithm based on the so-called “Hungarian method”. In the case of empirical data, the transport plan is also a matrix of the same dimensions as the cost matrix.

Gemäß der dargestellten Ausführungsform umfasst das Verfahren weiter einen Schritt 130a zum Berechnen von Kosten des optimalen Transportplans unter Verwendung der Wasserstein-Metrik. Die Kosten des optimalen Transportplans ist der gesuchte Wasserstein-Abstand zwischen der ersten Wahrscheinlichkeitsverteilung umfassend die Simulationsdaten SD und der zweiten Wahrscheinlichkeitsverteilung umfassend die Referenzdaten RD.According to the illustrated embodiment, the method further comprises a step 130a for calculating costs of the optimal transportation plan using the Wasserstein metric. The cost of the optimal transport plan is the Wasserstein distance sought between the first probability distribution comprising the simulation data SD and the second probability distribution comprising the reference data RD.

Die Referenz-Zeitreihen der Referenzdaten stammen beispielsweise aus realen Messungen oder aus einem Referenzmodell und weisen daher üblicherweise eine natürliche Variabilität auf. Beispielweise können verschiedene Parameter bei verschiedenen Durchläufen einer Messung variieren. Unabhängig davon, wie gut man versucht, alle Parameter einer Messung zu kontrollieren, werden einige von ihnen bei jedem Durchlauf der Messung variieren. Geht man von einem deterministischen Simulationsmodell aus, würde die Simulation bei festen Parametern immer das gleiche Ergebnis liefern. Daher wird das Experiment in der Simulation neu modelliert, indem einige der Parameter zufällig variiert und die Ergebnisse aufgezeichnet werden. Wenn diese Parameter, die als aleatorische Parameter bezeichnet werden, in der richtigen Weise verteilt sind, werden die Simulations-Zeitreihen der Simulationsdaten den jeweiligen korrespondierenden Referenz-Zeitreihen sehr ähnlich sein, sofern das Simulationsmodell die relevanten Effekte korrekt wiedergibt. Mathematisch gesehen entspricht der Vergleich zwischen Simulation und Referenz somit der Berechnung des Abstands zwischen zwei Wahrscheinlichkeitsverteilungen. Für diesen Vergleich ist die Wasserstein-Metrik geeignet.The reference time series of the reference data come, for example, from real measurements or from a reference model and therefore usually have a natural variability. For example, different parameters can vary in different runs of a measurement. No matter how well one tries to control all parameters of a measurement, some of them will vary with each iteration of the measurement. Assuming a deterministic simulation model, the simulation would always deliver the same result with fixed parameters. Therefore, the experiment is remodeled in the simulation by randomly varying some of the parameters and recording the results. If these parameters, called aleatoric parameters, are distributed in the right way, the simulation time series of the simulation data will be very similar to the corresponding reference time series, provided the simulation model correctly reflects the relevant effects. Mathematically, the comparison between cal simulation and reference thus the calculation of the distance between two probability distributions. The Wasserstein metric is appropriate for this comparison.

Algorithmen zum Ableiten 120b des optimalen Transportplans und zum Berechnen 130a von Kosten des optimalen Transportplans sind beispielsweise bekannt aus
https://pythonot.github.io/auto_examples/plot_OT_2D_samples.html#sphx-glr-auto-exam ples-plot-ot-2d-sam ples-py.Algorithms for deriving 120b the optimal transportation plan and for calculating 130a costs of the optimal transportation plan are known from, for example
https://pythonot.github.io/auto_examples/plot_OT_2D_samples.html#sphx-glr-auto-examples-plot-ot-2d-samples-py.

Weitere Ausführungsformen betreffen die Verwendung des Verfahrens 100 zum Validieren eines Simulationsmodells eines technischen Systems, insbesondere Software, Hardware oder ein eingebettetes System, insbesondere in der Entwicklung des technischen Systems.Further embodiments relate to the use of the method 100 for validating a simulation model of a technical system, in particular software, hardware or an embedded system, in particular in the development of the technical system.

2 zeigt eine Verwendung des Verfahrens 100 im Validierungsframework. 2 shows a use of the method 100 in the validation framework.

Bei den Simulationsdaten SD und Referenzdaten RD handelt es sich um Simulations-Zeitreihen und Referenz-Zeitreihen. Bei Zeitreihen wird jeder Zeitpunkt, an dem ein Signal aufgenommen wird, als einzelnes Signal betrachtet. Eine Aufnahme einer Zeitreihe mit N Zeitpunkten wird somit als N-dimensionales Signal dargestellt.The simulation data SD and reference data RD are simulation time series and reference time series. With time series, each point in time at which a signal is recorded is considered as a single signal. A recording of a time series with N points in time is thus represented as an N-dimensional signal.

Durch Ausführen des Verfahrens 100, insbesondere durch Ausführen eines Computerprogramms PRG1 auf einer Recheneinheit 300, wird das Simulationsmodell validiert.The simulation model is validated by executing the method 100, in particular by executing a computer program PRG1 on a computing unit 300.

Weitere Ausführungsformen betreffen eine Verwendung eines computerimplementierten Verfahrens gemäß den Ausführungsformen und/oder eines Computerprogramms gemäß den Ausführungsformen zum Validieren eines Simulationsmodells eines technischen Systems, insbesondere Software, Hardware oder ein eingebettetes System, insbesondere in der Entwicklung des technischen Systems.Further embodiments relate to using a computer-implemented method according to the embodiments and/or a computer program according to the embodiments for validating a simulation model of a technical system, in particular software, hardware or an embedded system, in particular in the development of the technical system.

Das Simulationsmodell ist beispielsweise ein HiL, Hardware in the Loop, - oder ein SiL, Software in the Loop, - Simulationsmodell. Das Simulationsmodell dient in diesem Fall als Nachbildung der realen Umgebung des technischen Systems. HiL und SiL sind Methoden zum Testen von Hardware und eingebetteten Systemen oder Software, beispielsweise zur Unterstützung während der Entwicklung sowie zur vorzeitigen Inbetriebnahme. Mit der Verwendung des Verfahrens 100 zum Validieren eines Simulationsmodells eines technischen Systems, insbesondere Software, Hardware oder ein eingebettetes System, insbesondere in der Entwicklung des technischen Systems kann beispielsweise eine simulationsbasierte Freigabe unterstützt werden. Weiter kann durch Verwendung des Verfahrens 100 ein verbessertes Simulationsmodell für die Entwicklung und/oder Validierung des technischen Systems, und damit vorteilhafterweise weitere positive Auswirkungen, wie erhöhte Sicherheit, bereitgestellt werden.The simulation model is, for example, a HiL, hardware in the loop, or a SiL, software in the loop, simulation model. In this case, the simulation model serves as a replica of the real environment of the technical system. HiL and SiL are methods for testing hardware and embedded systems or software, for example for support during development and for early commissioning. With the use of the method 100 for validating a simulation model of a technical system, in particular software, hardware or an embedded system, in particular in the development of the technical system, a simulation-based release can be supported, for example. Furthermore, by using the method 100, an improved simulation model for the development and/or validation of the technical system, and thus advantageously further positive effects, such as increased security, can be provided.

Bei dem technischen System handelt es sich beispielsweise um Software, Hardware oder ein eingebettetes System. Bei dem technischen System handelt es sich insbesondere um ein technisches System, beispielsweise ein Steuergerät oder eine Software für ein Steuergerät, für ein Kraftfahrzeug, insbesondere für ein autonomes oder teilautonomes Kraftfahrzeug. Insbesondere kann es sich auch um ein sicherheitsrelevantes technisches System handeln.The technical system is, for example, software, hardware or an embedded system. The technical system is in particular a technical system, for example a control unit or software for a control unit, for a motor vehicle, in particular for an autonomous or semi-autonomous motor vehicle. In particular, it can also be a safety-relevant technical system.

Insbesondere im Kraftfahrzeugbereich umfassen Simulationsmodelle, insbesondere Fahrdynamikmodell, häufig Zeitreihen-Signale.In the motor vehicle sector in particular, simulation models, in particular vehicle dynamics models, often include time-series signals.

Das vorgeschlagene Verfahren kann angewandt werden, wann immer zwei Gruppen von Zeitreihen-Signalen, beispielsweise die Simulationsdaten umfassend die Simulations-Zeitreihen und die Referenzdaten umfassen die Referenz-Zeitreihen, miteinander verglichen werden. Insbesondere im Bereich der Bewertung von Fahrdynamikmodellen wurde die RMSE Metrik bereits als unzureichend eingestuft. Daher kann hier vorteilhafterweise das vorgeschlagene Verfahren zu Anwendung kommen.The proposed method can be applied whenever two groups of time series signals, for example the simulation data comprising the simulation time series and the reference data comprising the reference time series, are compared with one another. The RMSE metric has already been classified as insufficient, especially in the area of evaluating vehicle dynamics models. The proposed method can therefore advantageously be used here.

Schließlich zeigen die 3a bis 3b schematisch verschiedene Operationen der TWED.Finally show the 3a until 3b schematic of various operations of the TWED.

Es sind jeweils beispielhaft zwei Zeitreihen A, B dargestellt. Die Zeitreihe A ist beispielsweise eine Simulations-Zeitreihe. Die Zeitreihe B ist beispielsweise ein Referenz-Zeitreihe.Two time series A, B are shown as examples. The time series A is a simulation time series, for example. The time series B is a reference time series, for example.

Die linke Abbildung zeigt die Zeitreihen vor Durchführen der jeweiligen Operation, wobei pro Zeitreihe schematisch jeweils drei Abtastzeitpunkte dargestellt sind. Die rechte Abbildung zeigt die Zeitreihen jeweils nach dem Durchführen der jeweiligen Operation.The figure on the left shows the time series before the respective operation is carried out, with three sampling times being shown schematically for each time series. The figure on the right shows the time series after the respective operation has been carried out.

In 3a ist die Match-Operation dargestellt. Bei dieser Operation wird ein Abschnitt der Zeitreihe A verschoben, so dass dieser Abschnitt mit einem Abschnitt der Zeitreihe B übereinstimmt.In 3a the match operation is shown. In this operation, a section of time series A is shifted so that this section coincides with a section of time series B.

In 3b ist die Delete-A-Operation dargestellt. Bei dieser Operation wird ein Signal aus der Zeitreihe A entfernt.In 3b the Delete-A operation is shown. This operation removes a signal from time series A.

In 3b ist die Delete-B-Operation dargestellt. Bei dieser Operation wird ein Signal aus der Zeitreihe B entfernt.In 3b the Delete B operation is shown. In this operation, a signal is removed from time series B.

Claims (7)

Computerimplementiertes Verfahren (100) zum Validieren von Simulationsdaten (SD) eines Simulationsmodells eines technischen Systems; das Verfahren (100) umfassend die folgenden Schritte: Bereitstellen (110) von Simulationsdaten (SD) umfassend eine Anzahl n an Simulations-Zeitreihen und Bereitstellen (110) von Referenzdaten (RD) umfassend eine Anzahl m an Referenz-Zeitreihen, Bestimmen (120) eines jeweiligen Abstands zwischen einer jeweiligen Simulations-Zeitreihe und einer jeweiligen Referenz-Zeitreihe unter Anwendung des Time-Warp-Edit-Distance, TWED, - Abstandsmaßes; und Bestimmen (130) eines Gesamt-Abstands zwischen den Simulationsdaten (SD) und den Referenzdaten (RD) basierend auf den Abständen zwischen einer jeweiligen Simulations-Zeitreihe und einer jeweiligen Referenz-Zeitreihe unter Verwendung der Wasserstein-Metrik.Computer-implemented method (100) for validating simulation data (SD) of a simulation model of a technical system; the method (100) comprising the following steps: Providing (110) simulation data (SD) comprising a number n of simulation time series and providing (110) reference data (RD) comprising a number m of reference time series, determining (120) a respective distance between a respective simulation time series and a respective reference time series using the Time Warp Edit Distance, TWED, distance measure; and determining (130) a total distance between the simulation data (SD) and the reference data (RD) based on the distances between a respective simulation time series and a respective reference time series using the Wasserstein metric. Computerimplementiertes Verfahren (100) nach Anspruch 1, wobei wenigstens eine der Simulations-Zeitreihen und wenigstes einer der Referenz-Zeitreihen sich in wenigstens einer der folgenden Eigenschaften voneinander unterscheiden: - Abtastfrequenz und/oder - Zeitachse und/oder - Streckung und/oder Stauchung.Computer-implemented method (100) according to claim 1 , wherein at least one of the simulation time series and at least one of the reference time series differ from one another in at least one of the following properties: - sampling frequency and/or - time axis and/or - stretching and/or compression. Computerimplementiertes Verfahren (100) nach wenigstens einem der vorhergehenden Ansprüche, wobei das Verfahren weiter umfasst: Erstellen (120a) einer Kostenmatrix basierend auf den jeweiligen Abständen zwischen den Simulations-Zeitreihen und den Referenz-Zeitreihen.Computer-implemented method (100) according to at least one of the preceding claims, the method further comprising: Creating (120a) a cost matrix based on the respective distances between the simulation time series and the reference time series. Computerimplementiertes Verfahren (100) nach wenigstens einem der vorhergehenden Ansprüche, wobei das Verfahren weiter umfasst: Ableiten (120b) eines optimalen Transportplans basierend auf der Kostenmatrix.Computer-implemented method (100) according to at least one of the preceding claims, the method further comprising: deriving (120b) an optimal transportation plan based on the cost matrix. Computerimplementiertes Verfahren (100) nach wenigstens einem der vorhergehenden Ansprüche, wobei das Verfahren weiter umfasst: Berechnen (130a) von Kosten des optimalen Transportplans unter Verwendung der Wasserstein-Metrik.Computer-implemented method (100) according to at least one of the preceding claims, the method further comprising: Calculating (130a) costs of the optimal transportation plan using the Wasserstein metric. Computerprogramm (PRG1) zum Validieren von Daten eines Simulationsmodells, wobei das Computerprogramm (PRG1) computerlesbare Instruktionen umfasst, bei deren Ausführung durch einen Computer ein computerimplementiertes Verfahren (100) nach einem wenigstens einem der Ansprüche 1 bis 5 ausgeführt wird.Computer program (PRG1) for validating data of a simulation model, the computer program (PRG1) comprising computer-readable instructions, when executed by a computer, a computer-implemented method (100) according to at least one of Claims 1 until 5 is performed. Verwendung eines computerimplementierten Verfahrens (100) nach einem der Ansprüche 1 bis 5 und/oder eines Computerprogramms (PRG1) nach Anspruch 6 zum Validieren eines Simulationsmodells eines technischen Systems, insbesondere Software, Hardware oder ein eingebettetes System, insbesondere in der Entwicklung des technischen Systems.Use of a computer-implemented method (100) according to one of Claims 1 until 5 and/or a computer program (PRG1). claim 6 to validate a simulation model of a technical system, in particular software, hardware or an embedded system, in particular in the development of the technical system.

Images