DE102019124018A1

DE102019124018A1 - Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme

Info

Publication number: DE102019124018A1
Application number: DE102019124018.2A
Authority: DE
Inventors: Mike Hartrumpf; Mike Kohlhoff; David Seidel
Original assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Current assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Priority date: 2019-09-06
Filing date: 2019-09-06
Publication date: 2021-03-11

Abstract

Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme, bei dem relevante Parameter und relevante Systemantworten definiert werden, quasi-zufällige Parameterkombinationen der relevanten Parameter und Systemantworten erzeugt werden, ein Modell in Abhängigkeit der erzeugten Parameterkombinationen und Systemantworten erstellt und trainiert wird, die von dem Modell erzeugten relevanten Systemantworten des Modells analysiert werden, der Parameterraum auf einen Teilbereich in Abhängigkeit der analysierten Systemantworten eingegrenzt wird, in diesem Teilbereich neue Parameterkombinationen mit größerer Dichte erzeugt werden, die letzten drei Schritte solange wiederholt werden, bis ein Konfidenzniveau des Modells in dem Teilbereich ein vorgegebenes Konfidenzmodell erreicht.

Description

Beschreibung
Die Erfindung betrifft ein Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme, insbesondere zum Optimieren der Auswahl von Testparametern und effizienteres Durchführen von Tests über große Parameterräume.
Stand der Technik
Im Rahmen der Entwicklung komplexer Fahrerassistenzsysteme steigt die Anzahl der zu untersuchenden Parameter und Testszenarien stetig an. Selbst moderne Methoden und Technologien, wie computergestützte Simulationen, können die notwendigen Ressourcen für eine vollumfängliche Untersuchung von Systemen nicht mit Sicherheit bereitstellen. Zum aktuellen Stand gibt es zum Testen der genannten Systeme, im Folgenden Testsysteme genannt, unterschiedliche Herangehensweisen.
Vor der Überprüfung des Testsystems werden üblicherweise die einzubeziehenden Parameter definiert. Diese beschreiben die Umstände, Einflussfaktoren und Rahmenbedingungen für einen Test. Es können systeminterne und -externe Parameter gewählt werden, mit denen ein Test durchgeführt wird. Die Überprüfung des Testsystems auf Übereinstimmung mit den definierten Anforderungen kann mittels Qualifizierung, Verifizierung oder Validierung erfolgen.
Anhand der identifizierten Parameter wird ein Parameterraum aufgespannt, dessen Dimensionen der Anzahl der gewählten Parameter entspricht. Innerhalb des Parameterraumes werden verschiedene Parametereinstellungen bzw. Parameterausprägungen getestet. Dabei kommen unterschiedliche Parameterkombinationen zum Einsatz, bei denen mehrere oder alle Parameter mit jeweils unterschiedlichen Ausprägungen variiert und/oder kombiniert werden.
Im Ergebnis der Tests werden in Abhängigkeit der getesteten Parameterkombinationen Testdaten erzeugt. Die Tests an sich können auf unterschiedliche Arten erfolgen. Tests können an virtuellen Testsystemen, z. B. Simulationen, und an realen Testsystemen, z. B. Fahrzeugen, durchgeführt werden. Dazwischen existieren eine Vielzahl an Tests, bei denen Teile des Testsystems virtuell und andere Teile real sind. Auf Basis der erzeugten Testdaten werden Erkenntnisse über das zu testende Testsystem gewonnen, die mit entsprechendem Fachwissen verknüpft zu Optimierungen führen.
Die Aussagekraft der Testdaten und damit der Tests hängt davon ab, wie die für das Testen verwendeten Parameterkombinationen erzeugt werden. Dabei spielen unter anderem die Anzahl, die Ausprägungen, die Kombinationen und die Verteilung der Parameter im Parameterraum eine Rolle.
Bei der vollfaktoriellen Versuchsplanung wird jede mögliche Parameterkombination getestet. Bei kontinuierlichen Parametern müssen dabei feste Parameterausprägungen als Untermenge aller möglichen Einstellungen gewählt werden. Je nach Anzahl der Parameterausprägungen erhöht sich die Gesamtanzahl an zu testenden Parameterkombinationen. Der Parameterraum wird entlang eines Rasters getestet. Die gewonnenen Testdaten können anschließend direkt für Auswertungen bzw. Erkenntnisgewinn genutzt werden. Abhängig von der Parameteranzahl und der Rasterdichte kann es zu Kombinationszahlen kommen, bei denen es aufgrund ihrer Menge nicht möglich ist, alle Tests durchzuführen. Aus diesem Grund werden teilweise die Parameterräume verkleinert oder gezielt Untermengen der vollfaktoriellen Parameterkombinationen gewählt. Deren Auswahl bzw. Einschränkung erfolgt willkürlich. Kritische Bereiche können aufgrund der komplexen Zusammenhänge nicht hinreichend sicher identifiziert und damit möglicherweise übersehen werden.
Bei der statistischen Modellierung der Parameterkombinationen liegen den Parameterkombinationen Wahrscheinlichkeitsverteilungen zugrunde, z. B. eine Normalverteilung, und es wird angenommen, dass eine bestimmte Parameterkombination am häufigsten auftritt. Anschließend werden die restlichen Tests um die Parameterkombination mit der größten Auftretenswahrscheinlichkeit mit abnehmender Dichte verteilt. Die gewonnenen Testdaten werden anschließend direkt für die entsprechenden Auswertungen genutzt.
Es sind weiterhin Simulationsmethoden mit Rückmeldung bekannt. Anhand des Ergebnisses eines Tests wird entschieden, welche Parameterkombination als nächstes simuliert wird. Ziel ist es, lokale und/oder globale Maxima oder Minima, sowie Systemgrenzen aufzudecken. Diese Vorgehensweise bietet einige Nachteile. Vor allem beim Ansatz der vollfaktoriellen Simulation steigt die Versuchsanzahl exponentiell mit der Anzahl der Parameter an. Eine erfolgreiche Simulation kann nur unter Einsatz hoher Ressourcen und Zeit erfolgen. Bei Nichtbeachtung der System antworten wird die Simulation nach einem im Vorhinein festgelegten Plan durchgeführt. Damit ist es möglich, dass in kritischen Bereichen des Parameterraums nicht ausreichend Messdaten aufgenommen werden. Bei der Simulation mit Rückmeldung erfolgt zwar eine dynamische Versuchsplanung, sollten jedoch mehrere Minima oder Maxima vorliegen, werden diese von einfachen Simulationen regelmäßig nicht gefunden, da diese üblicherweise auf das Auffinden eines Extremwertes ausgelegt sind. Komplizierte Simulationen mit Rückmeldung sind zwar unter Umständen in der Lage, mehrere Extrema parallel zu lokalisieren, weisen dann aber wieder einen hohen Ressourcenverbrauch auf.
Die WO 2015 067 649 A1 betrifft eine virtuelle Testoptimierung für Fahrerassistenzsysteme (FAS). Dabei wir ein Testszenario, definiert durch Testparameter, im realen Fahrversuch und/oder virtuell durchlaufen. Zur Erstellung eines zweiten Tests wird der erste Test abgeändert, um den Testparameter innerhalb eines kritischen Bereichs zu verschieben. Nachteilig ist, dass die Parametervariation, die zu einem kritischen Fahrverhalten führt, willkürlich, zumindest a priori festgelegt wurde oder sich zufällig aus einem Test ergibt. Eine systematische Eingrenzung kritischer Bereiche, in denen die Aktivierung eines FAS provoziert wird, erfolgt nicht.
Aufgabe der Erfindung
Demgegenüber ist es die Aufgabe der Erfindung, das Generieren und Durchführen von Tests für Regelsysteme für automatisierte Fahrdynamiksysteme zu verbessern. Insbesondere sollen Tests bei global gleichbleibender Konfidenz sowie bei lokal höheren Konfidenzen einen insgesamt geringeren Ressourcenaufwand als im Stand der Technik aufweisen sowie eine Reduzierung der Testzeit und des Testaufwandes ermöglichen.
Darstellung und Vorteile der Erfindung
Die Aufgabe wird durch ein Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme entsprechend den Maßnahmen des unabhängigen Anspruch 1 gelöst.
Automatisierte Fahrdynamiksysteme sind Systeme zum Regeln von Komponenten zur Fahrzeugsteuerung, wie Antrieb, Verzögerung oder Lenkung, die nicht unmittelbar vom Fahrzeugführer bedient werden, sondern automatisch oder autonom von dedizierten Steuereinheiten aktiviert und betätigt werden. Diese Fahrdynamiksysteme können als Fahrerassistenzsysteme für spezifische Fahrsituationen ausgelegt sein. Beispiele für derartige Fahrerassistenzsysteme sind das Antiblockiersystem (ABS), das Elektronische Stabilitätsprogram (ESP), der Abstandstempomat (Automatic Cruise Control ACC), der Notbremsassistent (Automatic Emergency Breaking AEB) oder auch der Spurhalteassistent (Lane Keep Assist LKA). Diese Funktionen werden als Automations-Level 1 oder 2 angesehen, die die Fahrzeugbedienung unterstützen oder eben Teilaufgaben der Fahrzeugführung übernehmen. Automatisierte Fahrdynamiksysteme können auch dem Automatisierungs-Level 3 (Bedienungsautomatisierung bzw. bedingte Automation) und höher zugeordnet sein, bei denen das Fahrzeug vorübergehend oder dauerhaft eigenständig Aufgaben übernimmt. Letzteres umfasst die Integration mehrerer Systeme, die jeweils Teilaufgaben übernehmen, und im Gesamtsystem das Fahrzeug hoch automatisiert bis hin zu autonom führen.
Im ersten Schritt des erfindungsgemäßen Verfahrens erfolgt das Definieren relevanter Parameter und relevanter Systemantworten des zu testenden Regelsystems. Das zu testende Regelsystem ist das Testsystem. Die relevanten Parameter bilden dabei den Parameterraum, wobei dessen Dimensionen von der Anzahl der Parameter abhängen. Die variablen Parameter und die zu protokollierenden Systemantworten bzw. spezifischen Beobachtungsgrößen, auch Key Performance Indicators (KPI) genannt, sind in erster Linie von der Ausgestaltung des Testsystems selbst, also der hard- und softwaretechnischen Gestaltung, von dessen Funktionsumfang, also dem eigentlichen Regelungsziel des Fahrdynamiksystems, und der Umgebung, in der das Regelsystem verwendet werden soll, abhängig. Weiterhin hängen sie aber auch von den Testzielen, dem Grad der Abstraktion des zu testenden Regelsystems sowie dessen Systemgrenzen ab. Das Definieren der Parameter und System antworten ist neben weiteren Festlegungen Teil der ursprünglichen Versuchsplanung. Die KPIs können dabei klassische unfallrelevante Kennzahlen, wie Zeit bis zum Aufprall, oder auch komfortbezogene Antworten des Systems, wie maximale Querbeschleunigungen, sein.
Im nächsten Schritt, der dem Beginn einer ersten Iteration entsprechen kann, erfolgt das Erzeugen quasi-zufälliger Parameterkombinationen der relevanten Parameter über dem Parameterraum. Jeder definierte Parameter kann unterschiedlich ausgeprägt sein, beispielsweise als Boolesche Variable, die nur wenige Zustände annehmen kann, über diskrete nominal oder ordinal skalierte Variablen, hin zu stetigen Verteilungen. Dazu zählen verschiedene Arten von Wahrscheinlichkeitsverteilungen, zum Beispiel die diskrete Gleichverteilung oder die Normalverteilung. Eine Kombination beider Arten für einzelne Parameter kann ebenfalls sinnvoll sein. Die Auswahl der Verteilungsart erfolgt im Zusammenhang mit dem Testziel oder der gewünschten Repräsentativität der Realität. So eignet sich die diskrete Gleichverteilung für Untersuchungen im gesamten Wertebereich der Parameter. Unter anderem lässt sich die Leistungsfähigkeit einer Funktion im gesamten Anwendungsbereich, wie z. B. der geforderten Umgebung bzw. Szenarien, analysieren und bewerten. Ebenfalls lassen sich so verschiedene Funktions- und Systemausprägungen oder Grenzen der Systemleistungsfähigkeit, wie Sensortoleranzen oder physikalische Limitierungen, bewerten. Schließlich können auch auf realen Fahrdaten und Messaufnahmen basierende realitätsnahe Wahrscheinlichkeitsverteilungen für die Parameter bestimmt werden.
Quasi-zufällig bedeutet, dass die Verteilung der Parameterausprägungen über den Parameterraum nicht durch einen wirklichen Zufallsmechanismus, wie einer festgelegten Wahrscheinlichkeitsverteilung, erfolgt. Die Anzahl und Dichte der Testpunkte kann dabei je nach Systemkomplexität und Testziel, gegebenenfalls unter Nutzung bekannter DoE-Methoden (Design of Experiments - Statistische Versuchsplanung), angepasst werden. Nach der Berechnung der quasi-zufälligen Parameterkombinationen können diese anhand unterschiedlicher Metriken auf ihre Konfidenz bzw. Güte überprüft werden und besitzen im Vergleich zur vollfaktoriellen Versuchsplanung einen deutlich reduzierten Umfang. Sie decken jedoch weiterhin den gesamten Parameterraum ab.
Im nächsten Schritt erfolgt das Erzeugen von Systemantworten des zu testenden Regelsystems, also des Testsystems, als Antwort auf die quasi-zufällig erzeugten Parameterkombinationen. Das Testsystem selbst kann von einer modellierten Konzeptidee über eine zu testende Software, eine zu testende Einzelkomponente, eine zu testende Baugruppe bis hin zu einem zu testenden Fahrzeug jede Ausgestaltung eines Regelsystems für automatisierte Fahrdynamiksysteme entlang des gesamten Entwicklungsprozesses darstellen. Das Testsystem kann mithilfe bekannter Concept-, Software-, Hardware-, oder Model-in-the-Loop-Methoden (CiL, SiL, HiL, MiL) modelliert oder ein zu testendes Gesamtsystem sein. Im Falle einer Modellierung ist diese so einfach wie möglich zu gestalten, sodass die System antworten effizient erzeugt werden können. So können einfache, vorzugsweise bereits Vorhandene (Teil-)Modelle genauso verwendet werden wie einfache deterministische Software-Codes unter Weglassen physikalischer Hintergründe. Im Falle eines zu testenden Gesamtsystems kann die Erzeugung der Systemantworten auch mittels Testfahrten auf einem Prüfstand oder in der realen Welt erfolgen. Schließlich sind auch Kombinationen modellierter und real erzeugter Systemantworten des Testsystems denkbar.
Im nächsten Schritt des erfindungsgemäßen Verfahrens erfolgt das Erstellen und Trainieren eines Prädiktionsmodells in Abhängigkeit der quasi-zufällig erzeugten Parameterkombinationen und der korrespondierenden Systemantworten des zu testenden Regelsystems, also des Testsystems. Bei dem Prädiktionsmodell kann es sich um ein statistisches Modell handeln, dass im Rahmen von maschinellem Lernen von Algorithmen aufgebaut wird, beispielsweise in Form eines künstlichen neuronalen Netzes. Vorteilhafterweise kann damit das Systemverhalten in einem trainierten Modell abgebildet werden und es können die Systemreaktionen für beliebige, unbekannte Parameterkombinationen geschätzt werden. Bei der Erstellung des Prädiktionsmodells können Kontrollmechanismen eingesetzt werden, die es ermöglichen, die Konfidenz des Prädiktionsmodells zu berechnen.
Im nächsten Schritt findet das Erzeugen und Analysieren der relevanten Systemantworten des Prädiktionsmodells in Abhängigkeit der quasi-zufällig erzeugten Parameterkombinationen statt. Die Parameterkombinationen sind dabei mit der ursprünglichen Dichte über den gesamten Parameterraum verteilt. Die Vorhersagen des Prädiktionsmodells, also die System antworten bzw. KPIs, werden bezüglich ihrer Kritikalität ausgewertet, beispielsweise mittels Vergleichen mit vorgegebenen Schwellenwerten, anhand hoher Gradienten zwischen benachbarten System antworten oder anhand unerwartetem Systemverhalten, wie Verletzung der Funktions- oder Testziele. Es werden Rückschlüsse auf die korrespondierenden Parameter gezogen und entsprechend wenigstens ein kritischer Bereich, auch Region of Interest (ROI) genannt, im Parameterraum identifiziert.
Im nächsten Schritt erfolgt das Eingrenzen des Parameterraums auf wenigstens einen Teilbereich in Abhängigkeit der analysierten Systemantworten des Prädiktionsmodells. Die Parameterausprägungen werden auf einen Bereich um den identifizierten kritischen Bereich herum begrenzt. Dies geschieht für jeden Parameter der Parameterkombination individuell. Im Ergebnis entsteht ein begrenzter Teilbereich des Parameterraums. Der Bereich um den kritischen Bereich kann dabei über eine prozentuale oder absolute Abweichung im Vorfeld der Versuchsplanung für alle Parameter oder parameterindividuell festgelegt werden. Theoretisch kann die Güte des Prädiktionsmodells von Beginn an über den gesamten Parameterraum bereits eine geforderte Güte aufweisen. Auch ist es theoretisch denkbar, dass keine kritischen Bereiche existieren. Praktisch werden diese Fälle beim derzeitigen Komplexitätsgrad der Fahrdynamiksysteme nicht eintreten. Das erfindungsgemäße Verfahren könnte dann an dieser Stelle abgebrochen werden. Diese Fälle werden nicht weiter betrachtet.
Im nächsten Schritt erfolgt das quasi-zufällige Erzeugen neuer Parameterkombinationen in dem wenigstens einen Teilbereich mit größerer Dichte im Vergleich zur ursprünglichen Verteilungsdichte. Innerhalb des Teilbereichs können die gleichen oder unterschiedliche Kriterien zum Erzeugen der Parameterkombination zum Einsatz kommen wie bei der Erzeugung der Parameterkombinationen über den gesamten Parameterraum hinweg.
Im nächsten Schritt erfolgt das Wiederholen der vorhergehenden drei Schritte Erzeugen und Analysieren der relevanten Systemantworten des Prädiktionsmodells in Abhängigkeit der quasi-zufällig erzeugten Parameterkombinationen, Eingrenzen des Parameterraums auf wenigstens einen Teilbereich in Abhängigkeit der analysierten Systemantworten des Prädiktionsmodells sowie quasi-zufälliges Erzeugen neuer Parameterkombinationen in dem wenigstens einen Teilbereich mit größerer Dichte. Mit jedem Wiederholungs- bzw. Iterationsschritt erfolgt eine Eingrenzung auf wenigstens einen weiteren Teilbereich sowie anschließend eine Erhöhung der Dichte der Parameterkombinationen in diesen kritischen Teilbereichen, also nur dort, wo es tatsächlich Test- bzw. Anpassungsbedarf gibt. Als Ausgangspunkt für jeden weiteren Wiederholungs- bzw. Iterationsschritt wird der oder die zuvor eingegrenzten Teilbereiche verwendet und nicht der ursprüngliche gesamte Parameterraum vor der Wiederholung.
Als nächstes erfolgt das Ermitteln des Konfidenzniveaus des Prädiktionsmodells nach jeder Wiederholung des Schrittes quasi-zufälliges Erzeugen neuer Parameterkombinationen mit größerer Dichte für jeden in dieser Wiederholung eingegrenzten Teilbereich. Das Konfidenzniveau eines trainierten Modells zu bestimmen, ist grundsätzlich bekannt. So kann beispielsweise anhand bekannter Ein- und Ausgangskombinationen eine Kreuzvalidierung durchgeführt werden. Bei geeigneter Ausgestaltung können einige Modelle, z. B. einige Neuronale Netzwerke, ihre eigene Anpassungsgüte ausgeben und damit schätzen, wie gut das Modell den Zusammenhang zwischen Eingangsgrößen und den darauf basierten Antworten wiedergibt.
Als nächstes erfolgt das Beenden des Wiederholens der drei Schritte Erzeugen und Analysieren der relevanten Systemantworten des Prädiktionsmodells in Abhängigkeit der quasi-zufällig erzeugten Parameterkombinationen, Eingrenzen des Parameterraums auf wenigstens einen Teilbereich in Abhängigkeit der analysierten Systemantworten des Prädiktionsmodells sowie quasi-zufälliges Erzeugen neuer Parameterkombinationen in dem wenigstens einen Teilbereich mit größerer Dichte für den wenigstens einen eingrenzten Teilbereich, dessen ermitteltes Konfidenzniveaus des Prädiktionsmodells ein vorgegebenes Konfidenzniveau erreicht oder übersteigt. Die Ermittlung des Konfidenzniveaus nach jeder Eingrenzung des Parameterraums auf einen Teilbereich ermöglicht es, mehrere unterschiedliche lokale Konfidenzen bzw. Güten zu schätzen und damit auch die lokale Verdichtung der Parameterkombinationen innerhalb der kritischen Teilbereiche auf ein entsprechendes Niveau zu heben, die Iteration also solange zu durchlaufen, bis das geforderte Konfidenzniveau für jeden der Teilbereiche erreicht ist. Dies verbessert vorteilhafterweise weiter die Anpassbarkeit des erfindungsgemäßen Verfahrens an die jeweilige Entwicklungsstufe, da je nach Entwicklungsstufe unterschiedliche Konfidenzniveaus vorgegeben werden können. Mit anderen Worten werden die Schritte solange wiederholt bzw. iteriert, bis alle kritischen Bereiche hinreichend genau bestimmt sind. Das Kriterium für die hinreichende Genauigkeit ist das Konfidenzniveau des Prädiktionsmodells in dem jeweils eingegrenzten Teilbereich.
Schließlich werden optimierte Parameterkombinationen zum Testen von Regelsystemen für automatisierte Fahrdynamiksysteme erhalten. Optimiert, genauer ressourcenoptimiert bedeutet, dass lokal verdichtete Bereiche einer global geringen Dichte gegenüberstehen, die den insgesamten Ressourceneinsatz im Vergleich zum Stand der Technik um Größenordnungen reduziert. Im Ergebnis stehen also Parameterkombinationen zur Verfügung, die an den kritischen Stellen hinreichend dicht verteilt sind. Diese können dann in (weiteren) Tests der automatisierten Fahrdynamiksysteme verwendet werden, z.B. bei Testfahrten oder aufwändigen Hardware-in-the-Loop (HiL)-Tests aber auch bei Software- oder Modell-in-the-Loop-Tests (SiL, MiL). Mit fortschreitender Entwicklungsstufe der Fahrerassistenz- bzw. Fahrdynamiksysteme werden auch aufgrund erhöhter Komplexität der beteiligten Parameter (Sensoreingänge, Situationsvariablen, beteiligte Funktionen) komplexere Parameterkombinationen und damit komplexere Tests benötigt. Das erfindungsgemäße Verfahren bietet den Vorteil, optimierte Parameterkombinationen für jede Entwicklungsstufe zur Verfügung zu stellen. Vorteilhafterweise könnte das Simulieren von System antworten einer höheren Entwicklungsstufe wenigstens teilweise durch das Prädiktionsmodells der vorhergehenden Stufe ausgeführt werden. Darüber hinaus können als kritisch eingegrenzte Teilbereiche auch ohne anschließende Tests vor allem in frühen Entwicklungs- oder Funktionsauslegungsphasen bereits kritische Schwachstellen des automatisierten Fahrdynamiksystems aufdecken, deren frühzeitige Abstellung wesentliche Ressourcen für nachträgliche Anpassungen spart.
Ein maßgeblicher Vorteil des erfindungsgemäßen Verfahrens ist das effiziente Abbilden großer Parameterräume mit einer geringen Anzahl von zu testenden Parameterkombinationen, die dafür lokal eine hohe Dichte aufweisen können. Dabei können besonders vorteilhaft auch mehrere Extreme, also mehrere kritische Bereiche aufgefunden werden, die einzeln oder parallel analysiert werden können. Ein weiterer Vorteil ist das einfache Erzeugen von anfänglichen System antworten des Testsystems zu den Parameterkombinationen aufgrund der quasi-zufälligen Verteilung der Parameterkombinationen. Diese ermöglicht gerade wegen der geringen Startdichte ein schnelles, ressourcenschonendes Generieren von Testdaten für das Prädiktionsmodell. Außerdem ist das Testsystem in den meisten Fällen bereits vorhanden oder kann aus Modellbausteinen zusammengesetzt werden. Dadurch ist eine hinreichend genaue Startkombination von Systemein- und -ausgängen erzeugbar, die das Trainieren des Prädiktionsmodells zum Schätzen von Systemreaktionen für beliebige, unbekannte Parameterkombinationen ermöglicht. Vor allem die Kombination aus dem Trainieren eines Prädiktionsmodells mit einfach erzeugten Daten und der anschließend iterativen Fokussierung auf kritische Bereiche bewirkt eine deutliche Effizienzsteigerung in der Testfalloptimierung bei gleichzeitiger Anwendbarkeit über die gesamte Entwicklungskette von der Konzepterstellung bis zur Serienabsicherung.
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens werden nach jedem quasi-zufälligen Erzeugen neuer Parameterkombinationen in dem wenigstens einen Teilbereich mit größerer Dichte die relevanten Systemantworten des Prädiktionsmodells dieser neuen Parameterkombinationen erzeugt und mit den neuen Parameterkombinationen zum weiteren Trainieren des Prädiktionsmodells verwendet. Dies ermöglicht vorteilhafterweise je nach Anwendungsfall oder Validierungsziel ein weiteres Training, das genauer und/oder zielgerichteter auf konkrete Bereiche des Parameterraums fokussiert erfolgen kann.
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird das Konfidenzniveau des Prädiktionsmodells nach jedem Trainingsschritt für den gesamten Parameterraum ermittelt und das Trainieren des Prädiktionsmodells bei Erreichen eines vorgegebenen Konfidenzniveaus beendet. Dies verbessert vorteilhafterweise weiter die Anpassbarkeit des erfindungsgemäßen Verfahrens an die jeweilige Entwicklungsstufe, das Validierungsziel und/oder den konkreten Anwendungsfall, da dort jeweils unterschiedliche Konfidenzen vorgegeben sein können. Darüber hinaus können Rechnerkapazitäten für das weitere Trainieren über ein nicht benötigtes Genauigkeitslevel hinaus gespart werden.
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt das Modellieren des Testsystems auf Basis eines Funktionsmodells, eines Systemmodells und eines Umgebungsmodells des Regelsystems für automatisierte Fahrdynamiksysteme. Das Funktionsmodell modelliert dabei die Funktion des automatisierten Fahrdynamiksystems, also dessen eigentlichen Zweck. Das Systemmodell modelliert, wie der Zweck umgesetzt werden soll, inklusive beteiligter Sensoren, Prozessoren und Aktoren sowie die Kommunikation dieser Elemente untereinander. Das Umgebungsmodell modelliert, wo das umgesetzt werden soll, also in welchen Szenarien. Ganz besonders vorteilhaft ist dabei, dass diese Bausteine auch unabhängig voneinander an das zu testende Fahrdynamiksystem angepasst werden sollen. So können die gleichen Funktionen in unterschiedlichen Systemen getestet werden, ohne ein neues Funktionsmodell zu erstellen. Die einzelnen Bausteine können also wiederverwendet werden. Gleiches gilt für verschiedene Umgebungen bzw. Szenarien. Weiterhin ist die Aufteilung in diese drei Bausteine einerseits sehr einfach zu modellieren und andererseits besonders realitätsnah. Somit ist dieser Ansatz besonders ressourcenschonend.
Die vorgesehene Funktion lässt sich beispielsweise mit einer szenenbasierten Funktionsentwicklung mithilfe von Szenarien vereinfachen, wodurch bereits ein Teil der Umgebung definiert sein kann. Außerdem sind relevante Systemeigenschaften und Umgebungsvariablen festzulegen. Die Umgebung beinhaltet neben allgemeinen Anforderungen, wie Wetterbedingungen, auch identifizierte Szenarien, die das Gesamtsystem handhaben können soll. Die Szenarien sind definiert durch Straßen- und Infrastrukturelemente sowie Objekte mit spezifischer Startsituation und verschiedenen Aktionen im zeitlichen Verlauf. Die drei zu modellierenden Elemente können entsprechend der Zielsetzung in ihrer Komplexität stark variieren. So lässt sich zum Beispiel in der Systemmodellierung ein perfektes Systemverhalten, wie ein idealer Sensor darstellen, insofern die Einflüsse dieser drei Elemente explizit in der Analyse ausgeschlossen werden sollen. Oder es werden komplexe Sensorcharakteristika abgebildet, wenn der Fokus auf deren Einfluss liegt. Die initiale Erzeugungsmethode kann alternativ oder zusätzlich auch anhand realer Fahrzeugdaten und/oder mittels einfacher deterministischer Software-Codes unter Weglassen physikalischer Hintergründe erstellt und durchgeführt werden. Die Komplexität der Modellierung des Testsystems kann von der jeweiligen Entwicklungsphase abhängig sein und nimmt im Zuge der Weiterentwicklung der Konzeptphase über diverse Serienentwicklungsphasen hin zur Serienfreigabe und Serienüberwachung, bezogen sowohl auf die einzelne Funktion als auch das Gesamtfahrzeug, üblicherweise zu. Vorteilhafterweise kann dadurch eine dem jeweiligen Entwicklungsstand angemessene Modellierung des zu testenden Regelungssystems schnell und einfach erstellt werden. Funktions- und Systemcharakteristika sowie Szenariospezifikationen lassen sich durch Parameter beschreiben, wie zum Beispiel Toleranzen von Sensoren oder Geschwindigkeiten anderer Objekte in den Szenarien. Die Variation der einzelnen Parameter und deren Kombination führen zu spezifischen Szenarien mit festgelegtem Funktionsverhalten und bestimmter Systemleistungsfähigkeit.
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt das Analysieren der relevanten Systemantworten des Prädiktionsmodells durch Vergleich der Systemantworten des Prädiktionsmodells mit vorgegebenen Schwellenwerten, durch Vergleich der System antworten des Prädiktionsmodells mit vordefinierten System antworten, die außerhalb der Systemgrenzen oder des Testziels liegen und/oder durch Vergleich eines anhand der System antworten des Prädiktionsmodells ermittelten Konfidenzniveaus mit einem vorgegebenen Konfidenzniveau, wobei von den derart identifizierten System antworten des Prädiktionsmodells ein Rückschluss auf die ursächliche Parameterkombination gezogen wird. Systemantworten des Prädiktionsmodells lassen sich als quantitative Größen, wie Abstand zum vorausfahrenden Fahrzeug oder Bremsweg, als qualitative Größen, wie Auffahrunfall hat stattgefunden, zählbar und/oder skalierbar ausdrücken. Entsprechend lassen sich diese System antworten mit vorgegebenen Zahlenbereichen oder qualitativen Aussagen vergleichen und auf das Vorliegen einer kritischen Antwort schließen. Die gleiche Schlussfolgerung kann aufgrund eines nicht erreichten Konfidenzniveaus der Systemantwort des Prädiktionsmodells oder bei Verlassen der Systemgrenzen, beispielsweise der festgelegten Funktion, bzw. bei Verletzung der Testziele gezogen werden. In diesen Fällen werden die für die jeweiligen Systemantworten des Prädiktionsmodells ursächlichen Parameterkombinationen identifiziert. Im nächsten Schritt des erfindungsgemäßen Verfahrens findet dann die Eingrenzung auf einen Teilbereich um diese identifizierten Parameterkombinationen statt.
Ein Aspekt der vorliegenden Erfindung betrifft eine Vorrichtung zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme, wobei die Vorrichtung als Recheneinheit ausgebildet ist, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 6 auszuführen. Es versteht sich, dass jeder Schritt des erfindungsgemäßen Verfahrens auf derselben oder auf unterschiedlichen, in Kommunikationsverbindung stehenden Recheneinheiten, wie Computern, ausgeführt werden können. Diese Recheneinheiten können lokal angeordnet oder global verteilt angeordnet sein. Die Recheneinheit kann Teil eines stationären oder transportablen Computers sein. Jede Recheneinheit weist einen eigenen oder gemeinsam mit anderen Recheneinheiten genutzten Speicher sowie wenigstens einen Prozessor auf.
Ein Aspekt der Erfindung betrifft ein Computerprogramm zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme, wobei das Computerprogramm eine Recheneinheit dazu veranlasst, alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 6 auszuführen, wenn es auf der Recheneinheit ausgeführt wird. Die Recheneinheit weist einen eigenen oder gemeinsam mit anderen Recheneinheiten genutzten Speicher sowie wenigstens einen Prozessor auf. Dabei ist eines der angegebenen Verfahren in Form des Computerprogramms in dem Speicher hinterlegt und der Prozessor zur Ausführung des Verfahrens vorgesehen, wenn das Computerprogramm aus dem Speicher in den Prozessor geladen ist.
Die Erfindung betrifft weiterhin ein computerlesbares Speichermedium, auf dem ein Computerprogramm gemäß der vorliegenden Erfindung gespeichert ist. Computerlesbare Speichermedien, auch als maschinenlesbare Speichermedien bezeichnet, sind an sich bekannt und können als Magnetspeicher (Disketten), optische Speicher (CD), Flashspeicher (USB-Stick), Festwertspeicher (ROM) oder vieles mehr ausgebildet sein.
Die Erfindung betrifft außerdem einen Programmcode mit Verarbeitungsanweisungen zum Erstellen eines auf einem Computer ablauffähigen Computerprogramms gemäß der vorliegenden Erfindung, wobei der Programmcode das Computerprogramm ergibt, wenn der Programmcode gemäß den Verarbeitungsanweisungen in ein ablauffähiges Computerprogramm umgewandelt wird.
Die Erfindung betrifft darüber hinaus ein Computerprogrammprodukt, wobei das Computerprogrammprodukt ein computerlesbares Speichermedium gemäß der vorliegenden Erfindung und ein auf dem computerlesbaren Speichermedium gespeichertes Computerprogramm gemäß der vorliegenden Erfindung mit einem Programmcode gemäß der vorliegenden Erfindung aufweist, wobei der Programmcode zum Ausführen eines Verfahrens gemäß der vorliegenden Erfindung geeignet ist, wenn das Computerprogramm auf einem Computer ausgeführt wird.
Figurenliste
Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung unter Bezugnahme auf die schematisch dargestellten Zeichnungen. Diese dienen lediglich zum Verständnis der Erfindung und haben keinerlei limitierende Wirkung auf den Erfindungsgegenstand, wie er in den Patentansprüchen dargelegt ist.
Hierbei zeigen:

1a-c eine Gegenüberstellung verschiedener Dichteverteilungen von Parameterkombinationen eines zweidimensionalen Parameterraums;
2a-c eine Abfolge von Iterationen zur Eingrenzung von Teilbereichen des Parameterraums;
3 eine vorhergesagte minimale Zeit bis zum Aufprall (Time To Collision - TTC) in Abhängigkeit des initialen Abstandes (Zeitlücke) und der Verzögerung des Zielfahrzeugs.

1a zeigt anhand einer lediglich beispielhaften zweidimensionalen Darstellung eine äquidistante und 1b eine quasi-zufällige Verteilung von Parameterkombinationen über den gesamten Parameterraum. Beide dargestellten Verteilungen spiegeln dabei nicht das wahre Verhältnis der jeweiligen Anzahlen der Parameterkombinationen wider, sondern dienen lediglich der Verdeutlichung, dass es sich bei 1b um nicht gleichmäßig bzw. äquidistant verteilte sowie um eine im Vergleich zu 1a signifikant geringere Anzahl, mithin eine signifikant geringere Dichte an Parameterkombinationen handelt. In 1a ist eine (grobe) Grenze 11 gezeigt, die die innerhalb dieser liegenden kritischen Parameterkombinationen 10 von den außerhalb liegenden trennt. Ob eine Parameterkombination kritisch ist, resultiert aus der zu dieser Parameterkombination korrespondierenden Systemantwort. Ist diese kritisch, beispielsweise aufgrund der Unterschreitung eines kritischen Schwellenwertes, wie die Zeit bis zum Aufprall, oder aufgrund einer negativen Systemantwort, wie Auftreffen auf ein Hindernis, so ergibt dies eine kritische Parameterkombination. Im Vergleich dazu sind die Parameterkombinationen außerhalb der Grenze 11 liegenden Bereiche 12 unkritisch, weil deren korrespondierenden System antworten unkritisch sind.
Die Dichte der Parameterkombinationen in 1b ist nicht ausreichend, um auf Grundlage der Modellprädiktion eine hinreichend genaue Aussage darüber zu treffen, welche konkreten Parameter in welcher Ausprägung für die Kritikalität der Systemantwort ursächlich sind. Demnach können auch noch keine sinnvollen Abstellmaßnahmen abgeleitet werden. Daher wird der Parameterraum um die kritischen Parameter herum eingegrenzt und in diesem zusätzliche, quasi-zufällige Parameterkombinationen mit höherer Dichte erzeugt. Zu diesen zusätzlichen Parameterkombinationen 14 (1c) wird wiederum die Systemantwort prädiziert, die kritisch oder unkritisch sein kann und auf die korrespondierende Parameterkombination zurückgespiegelt wird. Auf diese Weise erfolgt mit jedem Iterationsschritt eine detailliertere Abgrenzung 15 von kritischen und unkritischen Parameterkombinationen. Dies ermöglicht konkrete Aussagen zu den Ursachen der kritischen System antworten. Im Ergebnis können unterschiedliche kritische Teilbereiche identifiziert werden. Die dort vorliegende Dichte an Parameterkombinationen ist größer als die ursprüngliche Dichte und kann sogar lokal höher sein als im Vergleich zur äquidistanten Verteilung nach 1a. Weil die im Vergleich zu den kritischen Teilbereichen deutlich umfangreicheren unkritischen Bereiche 13 eine sehr geringe Dichte zu testender Parameterkombinationen aufweisen, ist der Testaufwand mithilfe des erfindungsgemäßen Verfahrens um Größenordnungen geringer als bei herkömmlichen Verfahren mit gleichem Konfidenzniveau (z.B. vollfaktorielle Versuche).
2a-c verdeutlicht die lokale Verdichtung der Parameterkombinationen. 2a zeigt eine quasi-zufällige Verteilung von Parameterkombinationen 20 nach der ersten Iteration (Kreise), die die neben den ursprünglich quasi-zufällig erzeugten Parameterkombinationen auch die daraufhin durch das Testsystem erzeugten Systemantworten enthält. Es sind noch keine lokalen Verdichtungen zu erkennen. Diese sind in 2b zu erkennen. Die dort gezeigten Parameterkombinationen 21 (Dreiecke) nach der zweiten Iteration, also nach der Erzeugung von Systemantworten durch das Prädiktionsmodell, verdeutlichen eine Verdichtung der Parameterkombinationen in den (nicht dargestellten) kritischen Bereichen mit lokal erhöhter Dichte. Nach der dritten Iteration ist eine weitere Eingrenzung der lokal erhöhten Verdichtung anhand der Parameterkombinationen 22 (Sterne) zu sehen.
Die Erfindung wird nun am konkreten Beispiel eines Regelsystems für den Längsabstand eines Ego-Fahrzeugs zum vorausfahrenden Fahrzeug, auch Zielfahrzeug genannt, erläutert. In diesem beispielhaften Szenario folgt das Ego-Fahrzeug dem Zielfahrzeug mit einem als Zeitlücke Δt ausgedrückten Abstand. Das Zielfahrzeug beginnt mit einer (negativen) Beschleunigung aco auf eine Endgeschwindigkeit zu verzögern. Das gewählte Szenario veranschaulicht einen typischen Anwendungsfall auf einer Autobahn, bei dem der Verkehrsfluss durch eine Baustelle, das Auffahren auf ein Stauende oder eine Unfallsituation gestört ist. Das Ego-Fahrzeug ist ausgestattet mit einer Anzahl Sensoren zur Objekterkennung und dem Längsabstand-Regelsystem, welches eine Kombination aus Abstandstempomat (ACC) mit einer maximalen Verzögerung von -3 m/s² und Notbremssystem (AEB) mit einer maximalen Verzögerung von -8 m/s² ist. Das Ego-Fahrzeug reagiert auf die Dynamik des Zielfahrzeugs, um einen sicheren Abstand zu halten. Das System und die Funktion des Längsabstands-Regelsystems des Ego-Fahrzeugs wurde auf Basis von konzeptionellen Modellen simuliert. Als relevante Systemantwort bzw. KPI (Key Performance Indicator) wird die Zeit bis zum Aufprall, also die Time To Collision (TTC) definiert. Als sicherheitskritische Schwelle wurde eine TTC von 2 s gewählt.
Der Parameterraum weist aufgrund von fünf relevanten Parametern entsprechend fünf Dimensionen auf, nämlich die Ego-Geschwindigkeit v_Ego, die initiale (Szenariobeginn) Zeitlücke Δt, die (negative) Beschleunigung des Zielfahrzeugs aco, die initiale (Szenariobeginn) Geschwindigkeit des Zielfahrzeugs v_CO,start sowie die finale (Szenarioende) Geschwindigkeit des Zielfahrzeugs a_CO,final. Aus diesem Parameterraum wurden beispielsweise mittels Methoden der statistischen Versuchsplanung, auch Design of Experiments (DoE) genannt, 1920 quasi-zufällige Parameterkombinationen erzeugt. Diese wurden der Simulation des Testsystems zugeführt, wodurch für jede Parameterkombination eine korrespondierende TTC erzeugt wurde. Anschließend wurden diese simulierten TTCs und die entsprechenden Eingabeparameter zum Trainieren eines Modells zur Vorhersage der Zeit bis zum Aufprall genutzt. 3 zeigt nun eine beispielhafte 2D-Darstellung des 5D-TTC-Vorhersagemodells. Im Gegensatz zu den 1a-c und 2a-c sind nicht der Parameterraum, also nicht die Eingangsgrößen des Vorhersagemodells, sondern die Systemantworten, also die Ausgangsgrößen, dargestellt. Auf der vertikalen Achse ist die initiale Zeitlücke Δt in s und auf der horizontalen Achse ist die (negative) Beschleunigung des Zielfahrzeugs aco in m/s² abgetragen. Der Diagrammbereich zeigt die Verteilung der vorhergesagten TTC in s als Niveaumengen, also der Mengen aller prädizierten TTC, denen die gleiche TTC zugeordnet ist. Die Niveaumengen sind durch Isolinien bzw. Niveaulinien 30 dargestellt. Im vorliegenden Szenario fahren beide Fahrzeuge mit einer Anfangsgeschwindigkeit von 120 km/h mit den vertikal abgetragenen initialen Zeitlücken, wenn das Zielfahrzeug mit den horizontal abgetragenen Verzögerungen aco auf eine Endgeschwindigkeit von 20 km/h verzögert.
Kritische Bereiche wurden anhand der sicherheitskritischen Schwelle von 2 s zuzüglich eines Sicherheitsaufschlags von 0,5 s abgegrenzt. Der Sicherheitsaufschlag (Offset) wird dabei aus dem mittleren absoluten Fehler des Vorhersagemodells abgeleitet. Dabei wurden zunächst zwei kritische Bereiche 33 und 34 aufgefunden, die mit den gestrichelten kritischen Niveaulinien 31 und 32 abgegrenzt und jeweils schraffiert dargestellt sind. Wenn die initiale Zeitlücke Δt gering ist und die Verzögerung des Zielfahrzeuges sehr hoch, so ist eine kritische Zeit bis zum Aufprall durchaus zu erwarten (kritischer Bereich 33). Der kritische Bereich 34 wäre demgegenüber wahrscheinlich nur mit einer vollfaktoriellen Versuchsplanung aufzufinden gewesen. Rückschauend betrachtet könnte für diesen zweiten kritischen Bereich 34 möglicherweise der Übergang zwischen ACC und AEB ursächlich sein.
Die Fehlerwahrscheinlichkeit der Vorhersage über dem gesamten Parameterraum, also das Konfidenzniveau des Prädiktionsmodells, liegt unterhalb der vorgegebenen Zielmarke. Die erste Iteration, die neben den ursprünglich quasi-zufällig erzeugten Parameterkombinationen auch die System antworten des hier simulierten Testsystems enthält, ist hinreichend genau, um die kritischen Bereiche der TTC zu identifizieren und auf deren Basis Teilbereiche (ROIs) der zugrundeliegenden Parameterkombinationen einzugrenzen. Anschließend erfolgt ein erneutes Erzeugen quasi-zufälliger Parameterkombinationen in den Teilbereichen mit im Gegensatz zu den ursprünglichen Parameterkombinationen erhöhter Dichte.
Aufwändige Versuche mit 38.400 äquidistant über den Parameterraum verteilten Parameterkombinationen, die einer vollfaktoriellen Versuchsplanung nahe kommen, haben ein Bestimmtheitsmaß allein der ersten Iteration des Vorhersagemodells in Höhe von R²=95% ergeben. Demnach reicht eine reduzierte Datenmenge von 5% der annähernd vollfaktoriellen Datenmenge aus, um eine für diesen Anwendungsfall ausreichende Güte zum Verwenden der Daten zum Trainieren des Prädiktionsmodells zu erreichen. Je nach Anwendungsfall oder Testziel kann eine höhere oder niedrigere Konfidenz gefordert sein. Das Eingrenzen der Teilbereiche des Parameterraums ermöglicht die weitere lokale Erhöhung der Vorhersagekonfidenz, ohne sehr große und aufwändig zu verrechnende Datenmengen zu verarbeiten.
Bezugszeichenliste

10: kritische Parameterkombinationen
11: grobe Grenze kritischer Teilbereich
12: unkritischer Bereich
13: unkritischer Bereich
14: zusätzliche Parameterkombinationen
15: detaillierte Abgrenzung kritischer Teilbereich
20: Parameterkombinationen nach erster Iteration
21: Parameterkombinationen nach zweiter Iteration
22: Parameterkombinationen nach dritter Iteration
30: Niveaulinie TTC
31: kritische Niveaulinie TTC
32: kritische Niveaulinie TTC
33: kritischer Bereich
34: kritischer Bereich

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2015067649 A1 [0010]

Claims

Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme aufweisend folgende Schritte: - Definieren relevanter Parameter und relevanter Systemantworten des zu testenden Regelsystems, - Erzeugen quasi-zufälliger Parameterkombinationen der relevanten Parameter, - Erzeugen von System antworten des zu testenden Regelsystems als Antwort auf die quasi-zufällig erzeugten Parameterkombinationen, - Erstellen und Trainieren eines Prädiktionsmodells in Abhängigkeit der quasi-zufällig erzeugten Parameterkombinationen und der Systemantworten des zu testenden Regelsystems, - Erzeugen und Analysieren der relevanten Systemantworten des Prädiktionsmodells in Abhängigkeit der quasi-zufällig erzeugten Parameterkombinationen, - Eingrenzen des Parameterraums auf wenigstens einen Teilbereich in Abhängigkeit der analysierten System antworten des Prädiktionsmodells, - quasi-zufälliges Erzeugen neuer Parameterkombinationen in dem wenigstens einen Teilbereich mit größerer Dichte, - Wiederholen der vorhergehenden drei Schritte Erzeugen und Analysieren der relevanten Systemantworten des Prädiktionsmodells in Abhängigkeit der quasi-zufällig erzeugten Parameterkombinationen, Eingrenzen des Parameterraums auf wenigstens einen Teilbereich in Abhängigkeit der analysierten Systemantworten des Prädiktionsmodells sowie quasi-zufälliges Erzeugen neuer Parameter-kombinationen in dem wenigstens einen Teilbereich mit größerer Dichte, - Ermitteln des Konfidenzniveaus des Prädiktionsmodells nach jeder Wiederholung des Schrittes quasi-zufälliges Erzeugen neuer Parameterkombinationen mit größerer Dichte für jeden in dieser Wiederholung eingegrenzten Teilbereich, - Beenden des Wiederholens der drei Schritte Erzeugen und Analysieren der relevanten Systemantworten des Prädiktionsmodells in Abhängigkeit der quasi-zufällig erzeugten Parameterkombinationen, Eingrenzen des Parameterraums auf wenigstens einen Teilbereich in Abhängigkeit der analysierten Systemantworten des Prädiktionsmodells sowie quasi-zufälliges Erzeugen neuer Parameterkombinationen in dem wenigstens einen Teilbereich mit größerer Dichte für den wenigstens einen eingrenzten Teilbereich, dessen ermitteltes Konfidenzniveau des Prädiktionsmodells ein vorgegebenes Konfidenzniveau erreicht.
Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme nach Anspruch 1, wobei nach jedem quasi-zufälligen Erzeugen neuer Parameterkombinationen in dem wenigstens einen Teilbereich mit größerer Dichte die relevanten System antworten des Prädiktionsmodells dieser neuen Parameterkombinationen erzeugt und mit den neuen Parameterkombinationen zum weiteren Trainieren des Prädiktionsmodells verwendet werden.
Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme nach einem der vorhergehenden Ansprüche, wobei das Konfidenzniveau des Prädiktionsmodells nach jedem Trainingsschritt für den gesamten Parameterraum ermittelt wird und das Trainieren des Prädiktionsmodells bei Erreichen eines vorgegebenen Konfidenzniveaus beendet wird.
Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme nach einem der vorhergehenden Ansprüche, wobei das Modellieren des Testsystems auf Basis eines Funktionsmodells, eines Systemmodells und eines Umgebungsmodells des Regelsystems für automatisierte Fahrdynamiksysteme erfolgt.
Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme nach einem der vorhergehenden Ansprüche, wobei das Analysieren der relevanten Systemantworten des Prädiktionsmodells durch Vergleich der Systemantworten mit vorgegebenen Schwellenwerten, durch Vergleich der System antworten mit vordefinierten Systemantworten, die außerhalb der Systemgrenzen oder des Validierungsziels liegen und/oder durch Vergleich eines anhand der Systemantworten ermittelten Konfidenzniveaus mit einem vorgegebenen Konfidenzniveau erfolgt, wobei von den derart identifizierten Systemantworten ein Rückschluss auf die ursächliche Parameterkombination gezogen wird.
Vorrichtung zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme, wobei die Vorrichtung als Recheneinheit ausgebildet ist, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 6 auszuführen.
Computerprogramm zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme, wobei das Computerprogramm eine Recheneinheit dazu veranlasst, alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 6 auszuführen, wenn es auf der Recheneinheit ausgeführt wird.
Computerlesbares Speichermedium, dadurch gekennzeichnet, dass auf dem computerlesbaren Speichermedium ein Computerprogramm nach Anspruch 8 gespeichert ist.
Programmcode mit Verarbeitungsanweisungen zum Erstellen eines auf einem Computer ablauffähigen Computerprogramms, dadurch gekennzeichnet, dass der Programmcode das Computerprogramm nach Anspruch 8 ergibt, wenn der Programmcode gemäß den Verarbeitungsanweisungen in ein ablauffähiges Computerprogramm umgewandelt wird.
Computerprogrammprodukt, dadurch gekennzeichnet, dass das Computerprogrammprodukt ein computerlesbares Speichermedium nach Anspruch 9 und ein auf dem computerlesbaren Speichermedium gespeichertes Computerprogramm nach Anspruch 8 mit einem Programmcode nach Anspruch 10 aufweist, wobei der Programmcode zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 6 geeignet ist, wenn das Computerprogramm auf einem Computer ausgeführt wird.