DE102022107338B3

DE102022107338B3 - Verfahren zum Testen von automatisierten Fahrzeugfunktionen

Info

Publication number: DE102022107338B3
Application number: DE102022107338.6A
Authority: DE
Inventors: Max Winkelmann; Mike Hartrumpf; David Seidel
Original assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Current assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Priority date: 2022-03-29
Filing date: 2022-03-29
Publication date: 2023-06-29
Anticipated expiration: 2042-03-30

Abstract

Verfahren zum Testen automatisierter Fahrfunktionen, das kritische szenariospezifische Parameterkombinationen mithilfe einer performanten, skalierbaren Testumgebung ermittelt und diese gezielt einer komplexen, vertrauenswürdigen Testumgebung zuführt, um auf Basis des dabei ermittelten Risikos über eine Freigabe der automatisierten Fahrfunktion entscheiden zu können.

Description

Die Erfindung betrifft ein Verfahren zum Testen von automatisierten Fahr- bzw. Fahrzeugfunktionen, wie Fahrerassistenzsysteme bzw. deren Funktionen, durch Verknüpfung der Ergebnisse unterschiedlicher Testumgebungen.
Stand der Technik
Das Versprechen der gesteigerten Sicherheit im Verkehr ist ein großer Motivator für die Entwicklung automatisierter Fahrfunktionen bis hin zu autonomen Fahrzeugen. Nachzuweisen, dass automatisierte Fahrfunktionen mindestens so sicher sind wie ein menschlicher Fahrer, bleibt eine Herausforderung. Dabei stellt sich die Frage, ob das Testen dieser Funktionen rein virtuell erfolgen soll, was eine große Anzahl von Tests in vollständig kontrollierbarer Umgebung ermöglicht. Reale Feldversuche sind demgegenüber sehr aufwändig und nicht in der gleichen Anzahl durchführbar. Beide Methoden haben Vor- und Nachteile, weshalb die Kombination beider Methoden sinnvoll erscheint.
ISO 21448 fordert die Definition expliziter Freigabekriterien, um das von automatisierten Fahrfunktionen ausgehende Risiko zu adressieren. Ein gesellschaftlich anerkanntes Freigabekriterium ist, dass die automatisierte Fahrzeugfunktion nicht mehr tödliche Unfälle hervorruft als ein menschlich geführtes Fahrzeug. Dies zu erfüllen, bedarf der Schätzung der Rate tödlicher Unfälle, die die automatisierte Fahrzeugfunktion hervorruft, was nicht trivial ist.
Da Unfälle eher selten auftreten, wären zum Nachweis oben genannten Kriteriums mittels realer Fahrversuche mehrere Millionen Testkilometer zu absolvieren, um statistische Repräsentativität zu erreichen. Ein weiterer Nachteil realer Fahrversuche im Straßenverkehr ist die stark eingeschränkte Kontrolle über Rahmenbedingungen, wie Wetter, die Anzahl anderer Verkehrsteilnehmer sowie das konkret zu testende Szenario. Dabei besteht auch immer das Risiko, andere Verkehrsteilnehmer zu gefährden.
Für das Testen dieser Systeme wird oftmals das sogenannte szenarienbasierte Testen angewendet, um die Risikoeinschätzung durch die Fokussierung auf gefährliche Situationen zu verbessern. Dabei werden bestimmte Situationen aus dem Straßenverkehr isoliert und einzeln getestet. Eine solche Situation kann beispielsweise sein, dass kurz vor einem automatisierten Fahrzeug ein anderes Fahrzeug einschert oder ein Fußgänger die Straße vor dem zu testenden Fahrzeug überquert (Funktionales Szenario).
Beim szenariobasierten Testen wird das Szenario mit unterschiedlichen Parametern beschrieben. Jeder dieser Parameter charakterisiert eine gewisse Eigenschaft des Szenarios. Beispiele für diese Parameter können die Differenzgeschwindigkeit der Fahrzeuge oder der Zeitabstand, bei dem das Einscheren eingeleitet wird, sein. Für jeden der beschriebenen Parameter wird ein Intervall festgelegt, in dem Versuche absolviert werden können. Dieses Intervall beschreibt in der Regel die untere und obere Grenze, in der das System agieren kann. Die Grenzen werden anhand unterschiedlicher Kriterien wie beispielsweise physikalischer Gegebenheiten oder der sogenannten operationalen Domain der Funktion, also dem gesamten Funktionsbereich, innerhalb dessen die automatisierte Funktion anwendbar bzw. betreibbar ist, gewählt. Dieser Prozess wird für jeden Parameter durchgeführt und zusammen ergibt sich dann ein mehrdimensionaler Parameterraum, in dem mögliche Versuche platziert werden können (Logisches Szenario). Die Anzahl der möglichen Versuche ist hier theoretisch unendlich. Aus diesem Grund werden in der Praxis verschiedene Methoden zur Versuchsplanung genutzt. Diese reichen von einer Auswahl der Versuche auf Basis von Expertenwissen, über Methoden wie Design of Experiments (DoE) bis zu fortgeschrittenen Methoden wie iterativen Prozessen. Die abgeleiteten Versuche werden konkrete Szenarien genannt.
Szenariobasiertes Testen ist ein bekannter Ansatz für die systematische Untersuchung des Verhaltens eines automatisierten Fahrzeugs (WINKELMANN et al.: Probabilistic Metamodells for an Efficient Characterization of Complex Driving Scenarios). Dabei werden komplexe Situationen in endliche Mengen konkreter Szenarien unterteilt. Aufgrund der Seltenheit kritischer Szenarien bedarf es dabei einer effizienten Übersetzung der logischen in die konkreten Szenarien. Dazu werden unterschiedliche Metamodelle untersucht, die mit einer begrenzten Zahl an Testfällen trainiert werden, um für die Analyse oder gezielte Auswahl von Testfällen verwendet werden.
Während der Durchführung der Versuche werden Informationen (KPls - Key Performance Indicators) gesammelt, anhand derer Entscheidungen bzgl. des weiteren Entwicklungsprozesses oder einer Freigabe der getesteten Funktion getroffen werden können. Ein Beispiel für ein KPI für das oben genannte Beispiel könnte der kleinste Abstand zwischen den beiden Fahrzeugen während des gesamten Szenarios sein. Auch der erwartete Schaden im Falle eines Unfalls kann ein KPI sein.
Bei der Analyse von Szenarien ist es oft das Ziel, Auftrittswahrscheinlichkeiten von Ereignissen, wie Unfälle, Verletzungen oder Todesfälle zu ermitteln. Dazu wird für die Parameter, die das Szenario parametrieren, eine Verteilung der Auftrittswahrscheinlichkeit ermittelt. Im Falle des oben genannten Spurwechselszenarios wäre der Parameter der Abstand zum Vorderfahrzeug bei Beginn des Spurwechsels. Der Schwerpunkt der Verteilung läge in einem moderaten bis hohen Abstand bei sinkender Auftrittswahrscheinlichkeit mit abnehmendem Abstand. Mit anderen Worten treten die meisten Spurwechsel in der Realität bei einem mittleren bis hohen Abstand zum Vorderfahrzeug auf. Die erwartete Wahrscheinlichkeitsverteilung der szenariospezifischen Parameter im Funktionsbereich der automatisierten Funktion wird mit p(x) bezeichnet, wobei x der Parametervektor der szenariospezifischen Parameter ist. p(x) kann auch als Häufigkeitsverteilung oder Dichtefunktion modelliert werden.
Zusätzlich zur Wahrscheinlichkeit für das absolute Auftreten der Situation lässt sich noch die Schwere, welche ein Fehlverhalten zur entsprechenden Parametereinstellung verursachen würde, bestimmen. In diesem Fall lässt die Intuition erahnen, dass ein Fehlverhalten bei sehr kleinen Abständen zu potenziell größerem Schaden führt. Mit anderen Worten ist der erwartete Schaden am höchsten bei einem Spurwechsel mit sehr kleinem Abstand zum Vorderfahrzeug. Gleichzeitig ist die Auftrittswahrscheinlichkeit dort gering.
Um das Risiko des Szenarios zu bestimmen, muss sowohl die Verteilung der konkreten Szenarien als auch der Schaden bzw. die Gefährdung innerhalb der konkreten Szenarien berücksichtigt werden. Letztlich kann die Verteilung als p(x) und der Schaden als f (x) bezeichnet werden, das Risiko ergibt sich dann zu f f(x)p (x) dx.
Um das Risiko und damit die funktionale Sicherheit automatisierter Fahrfunktionen möglichst realistisch einschätzen zu können, ist die Auswahl der Testumgebung, also des konkreten Versuchsaufbaus, von großer Bedeutung. Dabei kann jedes Testszenario in unterschiedlichen Testumgebungen unterschiedlich gut getestet werden. Beispielsweise sind 3D-Simulationen sehr gut geeignet, um den Einfluss von Wetterbedingungen bei überschaubarem Kostenaufwand zu untersuchen. Hochdynamische Fahrmanöver können demgegenüber besser auf einem realen Testgelände untersucht werden. Entlang des Entwicklungsprozesses können je nach Entwicklungsstadium Testumgebungen unterschiedlicher Abstraktion eingesetzt werden. Als Beispiele hierfür sind z.B. Software in the Loop (SiL) oder Hardware in the Loop (HiL) zu nennen. Generell lässt sich festhalten: Je höher die Abstraktion der Testumgebung, desto weniger reale Teile des Fahrzeuges werden untersucht, desto weniger Ressourcen werden benötigt, desto geringer ist aber auch der Informationsgehalt.
Um die jeweiligen Nachteile der Testumgebungen auszugleichen, werden große Anstrengungen unternommen, beispielsweise durch realistischere Simulationen. Dennoch wird es vermutlich immer sowohl abstrakte aber hoch skalierbare Testumgebungen (z. B. virtuelle Tests) als auch verlässliche aber kostenintensive Testumgebungen (z. B. Versuche in der realen Welt oder aufwändige 3D-Simulationen) geben.
Beim Monte Carlo Sampling werden die Parameter über den gesamten Parameterraum der Verteilung p(x) folgend zufällig ausgewählt und einem Modell zugeführt, welches das Auftreten eines Schadensfalls in Abhängigkeit der jeweiligen Parameterkombination schätzt. Aus der Gesamtzahl von Tests und der Anzahl der Testergebnisse mit Schaden wird eine Auftretenswahrscheinlichkeit, beispielsweise für Kollisionen, berechnet. Dabei wird aus der Verteilung p(x) ein konkretes Szenario gezogen und dieses untersucht, um f(x) zu ermitteln. Dieser Vorgang wird wiederholt durchgeführt und das Integral ermittelt. Jedoch ist diese Methode sehr ineffizient, da die Szenarien, in denen die Gefährdung f(x) hoch ist, sehr selten sind. Bspw. könnte erst nach 1000 Versuchen ein erster Unfall beobachtet werden und es dauert ca. 100.000 Versuche, bis das Risiko mit hinreichender Genauigkeit beurteilt werden kann.
Eine alternative Methode ist das sogenannte Importance Sampling. Hier werden die Versuche nicht aus p(x) gezogen, sondern es wird ein q(x) definiert, aus dem Versuche gezogen werden. Dieses q(x) wird so gewählt, dass mehr Unfälle/Schäden beobachtet werden. Um das Risiko beurteilen zu können, wird dann der beobachtete Schaden für den Parametervektor x immer mit p(x)/q(x) multipliziert und so auf die eigentliche Verteilung p(x) skaliert. So kann das Risiko wesentlich schneller beurteilt werden, da es mit weniger durchgeführten Versuchen konvergiert. Bei der Anwendung von Importance Sampling ist die zentrale Herausforderung die Wahl von q(x). q(x) kann auf Basis von historischen Daten (die i.d.R. auf menschliche Fahrer bezogen sind) ermittelt oder durch Experten geschätzt werden. Bei komplexen Szenarien können aber häufig auch Experten nicht genau sagen, wann ein Testlauf kritisch verlaufen wird und wann nicht.
Das Adaptive Importance Sampling ist ein iterativer Prozess, bei dem die sogenannte Cross Entropy Methode verwendet werden kann. Dabei wird zunächst eine Verteilungsfunktion q(x) für den kritischen Parameterraum gewählt. Diese kann eine parametrische oder nicht-parametrische Wahrscheinlichkeitsverteilung oder eine Kombination beider sein. Dann wird z. B. mittels Monte Carlo Sampling eine große Zahl von Tests durchgeführt, um Informationen über das Systemverhalten zu erlangen. Im Anschluss daran wird die Kreuzentropie zwischen der gewählten Verteilung und der gesuchten Verteilung minimiert. Durch iteratives Wiederholen kann so eine hinreichend genaue Verteilung des kritischen Parameterraums gefunden werden.
Für eine zuverlässige Risikobestimmung sind aktuell realistische Methoden wie Tests auf Prüfgeländen unverzichtbar. Die Ermittlung von q(x) ist der entscheidende Faktor dafür, wie sehr sich die Risikobestimmung beschleunigen lässt. Wird q(x) auf Basis von Expertenwissen definiert oder auf Basis historischer Daten anderer Systeme (z.B. menschlicher Fahrer) gewählt, fehlt einerseits die Evidenz und andererseits der Bezug auf das eigentliche zu untersuchende System. Bei automatisierten Fahrzeugen können Risiken auftreten, die weder Experten bewusst sind, noch in historischen Daten gefunden werden können. Die Bestimmung von q(x) in ihrer aktuellen Form birgt deshalb das Risiko, Versuche nicht optimal auszuwählen und so durch automatisierte Fahrfunktionen hervorgerufene kritische Situationen nicht identifizieren zu können. Letztlich entstehen dadurch Risiken für Mensch und Maschine.
Die DE 10 2020 005 507 A1 offenbart ein Verfahren zum Testen einer automatisierten Fahrzeugfunktion, insbesondere einer Notbremsfunktion. Dabei werden Messdaten aus Feldversuchen nach Fahrsituationen geclustert, Kritikalitätsmetriken (KPI, z. B. Zeitabstand zwischen Fahrzeug und vorausfahrendem Fahrzeug) durch Korrelation einer aus synthetischen Fahrszenarien (HiL-Versuche) bestimmten Kritikalitätsschwelle und den geclusterten Fahrsituationen identifiziert und dann die Tests für einzelne gruppierte logische Szenarien ausgeführt. Das Verfahren verläuft iterativ mittels eines Adaptive-Importance-Sampling-Algorithmus ab.
Aufgabe der Erfindung
Die Aufgabe vorliegender Erfindung ist es, den Aufwand und den Ressourceneinsatz beim Testen automatisierter Fahrfunktionen zu reduzieren und dennoch valide Testergebnisse zu erhalten, die eine Freigabe der automatisierten Fahrfunktion ermöglichen.
Darstellung und Vorteile der Erfindung
Die Aufgabe wird durch ein Verfahren zum Testen von automatisierten Fahrzeugfunktionen entsprechend den Maßnahmen des unabhängigen Anspruchs 1 gelöst. Insbesondere wird die Aufgabe durch eine evidenz-basierte Risikobestimmung durch Verknüpfung unterschiedlicher Testumgebungen gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Automatisierte Fahrzeugfunktionen sind Funktionen zur Fahrzeugführung, wie Lenken, Beschleunigen und Verzögern, die ohne Eingriff eines Fahrers vom Fahrzeug selbstständig umgesetzt werden. Sie werden häufig auch als Fahrerassistenzsysteme bezeichnet. Beispiele hierfür sind Abstandstempomaten, Spurhaltesysteme, Notbremsassistenten bis hin zu vollständig autonom agierenden Fahrzeugen.
In einem ersten Schritt des erfindungsgemäßen Verfahrens erfolgt das Definieren von logischen Testszenarien mittels szenariospezifischen Parametern x und Erstellen eines vorzugsweise mehrdimensionalen Parameterraums der szenariospezifischen Parameter. Jeder Parameter, z. B. die Fahrzeuggeschwindigkeit oder der Abstand zum Vorderfahrzeug, ist durch ein nach oben und unten begrenztes Intervall (Parameterintervall) definiert. Der wahrgenommene Abstand zum Vorderfahrzeug kann beispielsweise nicht kleiner als null und nicht größer als die Sensorreichweite werden. Die oberen und unteren Grenzen können demnach physikalischer Natur oder durch den Umfang der zu testenden Fahrzeugfunktion gegeben sein.
In einem nächsten Schritt erfolgt das Ermitteln der Verteilung p(x) der szenariospezifischen Parameter über den gesamten Parameterraum. p(x) beschreibt dabei die Verteilung jedes einzelnen Parameters oder Parameterkombinationen im Testszenario. Mit anderen Worten ist p(x) proportional zur Häufigkeit jeder Parameterausprägung im Parameterintervall, wie sie in der Realität bei dem entsprechenden Szenario auftritt.
In einem nächsten Schritt erfolgt das Definieren einer szenariospezifischen Gefährdung. Eine Gefährdung kann eine Kollision mit einem anderen Objekt, die Schwere der Kollision, also die Schadenshöhe am Fahrzeug oder Menschen, oder auch die Unterschreitung kritischer Abstände sein.
In einem nächsten Schritt erfolgt das Ermitteln einer Gefährdungsausprägung f(x) in Abhängigkeit der szenariospezifischen Parameter über den gesamten Parameterraum mithilfe einer performanten Testumgebung. Die Ausprägung der Gefährdung kann die Auftretenshäufigkeit eines binären Ereignisses (Kollision oder nicht) oder auch die (stetige oder diskrete) Ausprägung der Gefährdung, also beispielsweise die Schadenshöhe sein. Ein Beispiel wäre die Wahrscheinlichkeit bzw. die zu beobachtende Häufigkeit von Kollisionen während eines Spurwechsels bzw. eines Einschervorgangs. Die Verteilung dieser Gefährdungsausprägung über dem Parameterraum könnte eine sinkende Häufigkeit von Kollisionen mit zunehmendem Abstand zum Vorderfahrzeug sein.
In einem nächsten Schritt erfolgt das Ermitteln kritischer szenariospezifischer Parameterkombinationen innerhalb des gesamten Parameterraums in Abhängigkeit der ermittelten Auftretenswahrscheinlichkeit p(x) der szenariospezifischen Parameter und der ermittelten Gefährdungsausprägung f(x) sowie das Ermitteln einer Verteilung q(x) der kritischen szenariospezifischen Parameterkombinationen. Durch Abbildung der Gefährdungsausprägung f(x) auf den Parameterraum können kritische Parameterausprägungen identifiziert werden. Im Falle des Einscherens eines vorausfahrenden Fahrzeugs wäre beispielsweise die Ausprägung des Parameters Abstand zum Vordermann kritisch, wenn dieser einen aus der Gefährdungsausprägung abgeleiteten Abstandsschwellenwert unterschreitet. Mit anderen Worten ist der Parameter Abstand dann kritisch, wenn er zum Zeitpunkt des Einscherens weniger als bspw. 10 m beträgt.
In einem nächsten Schritt erfolgt das Testen der automatisierten Fahrfunktion in Abhängigkeit der ermittelten kritischen szenariospezifischen Parameterkombinationen mithilfe einer vertrauenswürdigen Testumgebung. Durch die Fokussierung der Tests auf die kritischen Parameterkombinationen können aufwändige und komplexe Testverfahren, die sehr realistische Testergebnisse produzieren, wie komplexe 3D-Simulationen oder Tests in der realen Welt, auf ein Minimum reduziert werden.
In einem nächsten Schritt erfolgt das Ermitteln eines szenariospezifischen Risikos in Abhängigkeit des Testens der automatisierten Fahrfunktion. Dies kann auf Basis von KPls erfolgen, die bei jedem Test bestimmt werden. In Abhängigkeit des ermittelten Risikos kann die automatisierte Fahrfunktion schließlich freigegeben werden.
Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass das Ermitteln der Gefährdungsausprägung in Abhängigkeit der szenariospezifischen Parameter über den gesamten Parameterraum mittels einer performanten, skalierbaren Testumgebung erfolgt. Das Testen der automatisierten Fahrfunktion sowie die eigentliche Risikobestimmung erfolgen dann in Abhängigkeit der ermittelten kritischen szenariospezifischen Parameterkombinationen mittels einer aufwändigen, vertrauenswürdigen Testumgebung. So kann zunächst mit geringem Aufwand ein Systemverständnis erlangt werden und im Anschluss können die Risiken der automatisierten Fahrfunktion sehr präzise ermittelt werden. Die performante, skalierbare Testumgebung kann eine 2D- oder 3D-Simulation sein und findet vorzugsweise rein virtuell statt. Demgegenüber ist die aufwändige, vertrauenswürdige Testumgebung vorzugsweise nicht rein virtuell, sondern beinhaltet reale Komponenten der zu testenden Fahrfunktion, wie Steuergeräte, Sensoren, Aktoren oder das Gesamtfahrzeug. Dies kann Hardware-in-the-Loop-Tests, Vehicle-in-the-Loop-Tests, Prüfgeländetests oder Tests im realen Straßenverkehr umfassen. Im Unterscheid zum Stand der Technik, bei dem für das Beispiel eines Meta-Modell-basierten Importance-Samplings sowohl für die Meta-Modelle als auch die eigentliche Risikobestimmung dieselbe Testumgebung genutzt wird, ist das erfindungsgemäße Verfahren in der Lage, unterschiedliche Testumgebungen zu kombinieren und damit die Vor- und Nachteile verschiedener Testumgebungen optimal auszugleichen und damit schnellere und genauere Risikoeinschätzungen zu liefern.
In einer bevorzugten Ausführungsform wird die performante, skalierbare Testumgebung mittels eines Meta-Modells modelliert. Ein Meta-Modell ist ein Modell, dessen Original, also das was modelliert werden soll, nicht Bestandteil der realen Welt, sondern Bestandteil einer Modellbildung ist. Mit anderen Worten ist ein Meta-Modell ein Modell von einem Modell. Das Meta-Modell bringt keine besonders realistischen Ergebnisse, unter anderem weil die Modellstruktur sehr einfach aufgebaut ist und nur wenige essentielle Parameter eingehen. Dafür weist das Metal-Modell eine hohe Recheneffizienz auf, weshalb eine große Anzahl von Schätzungen über den gesamten Parameterraum durchgeführt werden kann. Die Ergebnisse des Meta-Modells können daher nicht zur abschließenden Risikobeurteilung der automatisierten Fahrfunktion genutzt werden, liefern aber einen statistisch hinreichend abgesicherten kritischen Parametersatz. Meta-Modelle werden dabei in der Regel auf Basis virtueller Testumgebungen, wie SiL-Tests, parametriert.
Ein weiterer Vorteil der Verwendung eines Meta-Modells zur Ermittlung der Gefährdungsausprägung liegt darin, dass keine komplexen Wahrscheinlichkeiten bestimmt werden müssen. Hier kann eine binäre Aussage, beispielsweise ob eine Kollision stattgefunden hat oder nicht, ausreichend sein. Außerdem kann einfach die Szenarien-Parametrierung übernommen werden, die beispielsweise aus Feld-Tests oder vorhergehenden Entwicklungsstufen oder Produkten bekannt ist. Damit können Verzerrungen bzw. systematische Fehler (Bias) von Schätzfunktionen umgangen werden.
Das eigentliche Testen der automatisierten Fahrfunktion findet dann mit einem aufwändigen und aufgrund der Komplexität sehr vertrauenswürdigen Testverfahren statt. Dies kann ein Modell sein, beispielsweise eine aufwändige 3D-Simulation mit einer Vielzahl von Eingangsparametern. Dies kann auch ein HiL-Versuch sein, bei dem die Original-Hardware des zu testenden Fahrzeugs getestet wird. Dabei können Sensoren durch komplexe Sensormodelle abgebildet werden. Es können aber auch die Original-Sensoren verwendet werden und die Objektrepräsentation, z. B. Dummy-Fahrzeug, aufwändig simuliert werden. Schließlich kann das Testen auch in der realen Welt auf einer Teststrecke mit entsprechenden Objektrepräsentationen anderer Verkehrsteilnehmer oder echten anderen Verkehrsteilnehmern stattfinden.
In einer vorteilhaften Ausgestaltung der Erfindung ist das Meta-Modell ein trainiertes Klassifikationsmodell. Derartige Klassifikatoren sind im Bereich des Maschinellen Lernens bekannt und entsprechend einfach umzusetzen. Hier können beispielsweise ein Bayes-Klassifikator, eine Support-Vektor-Maschine (SVM), ein Random-Forest-Klassifikator, ein Extra-Trees-Klassifikator, ein Gauß'scher-Prozess-Klassifikator, ein tiefer Gauß'scher-Prozess-Klassifikator oder ein Klassifikator basierend auf einem Bayes'schen Neuronalen Netzwerk verwendet werden. Das Trainieren der Klassifikatoren findet üblicherweise mittels überwachten Lernens statt. Ein Klassifikator ist besonders vorteilhaft bei der Prädiktion einer binären Aussage, wie Kollision hat stattgefunden oder nicht, verwendbar.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung ist das Meta-Modell ein trainiertes Regressionsmodell. Regressionsmodelle unterscheiden sich mathematisch nicht sehr stark von Klassifikatoren. Es können ebenfalls künstliche neuronale Netze, z. B. ein Bayes'sches Neuronales Netzwerk, Entscheidungsbäume, Gauß'sche-Prozess-Regressoren oder Tiefe Gauß'sche-Prozess-Regressoren genutzt werden.
Besonders vorteilhaft ist die Anwendung eines Gauß-Prozesses. Das Trainieren des Regressionsmodells findet üblicherweise mittels überwachten Lernens statt. Ein Regressionsmodell ist besonders vorteilhaft bei der Prädiktion stetiger Werte, wie dem minimalen Abstand zum Vorderfahrzeug, verwendbar.
Die Wirkung des erfindungsgemäßen Verfahrens soll nun noch einmal mit anderen Worten beschrieben werden. Es ist für Importance Sampling bekannt, welches q(x), also welche kritischen Parameterkombinationen theoretisch optimal als Ausgangspunkt für das aufwändige, vertrauenswürdige Testverfahren wäre (Voraussetzung f(x) ≥ 0): $q (x) = f (x) * p (x) / \int (f (x) * p (x)) d x$
So würde bereits ein einziger Versuch das Risiko ermitteln können: $f (x) * p (x) / q (x) = f (x) * p (x) * \int (f (x) * p (x)) d x / f (x) * p (x) = \int (f (x) * p (x)) d x$
In der Praxis kann das optimale q(x) natürlich nicht gewählt werden, da in der Definition die Lösung des Problems (das Risiko) schon auftaucht. Jedoch lässt sich das Risiko durch skalierbare, virtuelle Methoden schon sehr genau ermitteln.
Bei der erfindungsgemäß vorgeschlagenen Lösung werden die Vorteile unterschiedlicher Testumgebungen genutzt, um eine effiziente und präzise Risikobestimmung durchführen zu können. p(x) (die Wahrscheinlichkeitsverteilung der Szenarien) kann weiterhin aus vorhandenen Daten oder makroskopischen Simulationen abgeleitet werden. Denn bei der Einführung automatisierter Fahrzeuge ist davon auszugehen, dass diese die selben Situationen wie menschliche Fahrer beherrschen müssen.
Jedoch wird f(x) auf Basis effizienter (i.d.R. virtueller) Testumgebungen ermittelt. Dieser Prozess kann automatisiert durchgeführt werden. Zunächst wird dabei das gewünschte Szenario in einer Testumgebung mit niedriger Komplexität modelliert. Anschließend wird für den aufgespannten Parameterraum das Verhalten des automatisierten Fahrzeuges bestimmt. Dafür können aktuelle Methoden der Versuchsplanung genutzt werden. Wichtig hierbei ist, dass über die Funktion den gesamten Parameterraum hinweg beobachtet und getestet wird. Dabei soll besonders darauf geachtet werden, in welchen Bereichen des Parameterraums gefährliches Verhalten auftritt. Zur Ermittlung dieser Fragestellung können auch iterative Methoden der Versuchsplanung genutzt werden. In diesem Schritt des Testens können die Vorteile weniger komplexer Testumgebungen besonders genutzt werden. Versuche können schnell modelliert werden und eine große Anzahl an Tests innerhalb kurzer Zeit absolviert werden.
Das so erlangte Wissen bzgl. f(x) kann dann mit dem Wissen über p(x) kombiniert werden, um q(x) zu bestimmen und die eigentlichen Versuche für die Risikobeurteilung können in aufwendigen Methoden (i.d.R. real) durchgeführt werden. Zur Kombination wird q(x) entsprechend der Gleichung oben bestimmt.
Die Verknüpfung der Testumgebungen und das Übertragen von Wissen wirkt sich in den folgenden Punkten besonders positiv aus.
Die Erwartung über den Ausgang der Testfälle kann auf Evidenzen bezogen auf das zu untersuchende System gestützt werden, so ergibt sich ein sehr gutes q(x) (vorher: entweder historische Daten von menschlichen Fahrern oder anderen Systemen, teils sogar einfaches Raten).
Die Übertragung von Wissen im Rahmen von Importance Sampling ist besonders sicher, da in der Auswertung kein Bias auftritt, selbst wenn sich Verhalten in Simulation und Realität unterscheiden. Bei vielen anderen Arten der Übertragung wäre es sehr kompliziert, die unterschiedlichen Verhalten in verschiedenen Testumgebungen so zu kombinieren, dass am Ende ein Ergebnis ohne systematischen Fehler (Bias) erhalten werden kann.
Die Vor- und Nachteile der unterschiedlichen Testumgebungen können jeweils durch das Übertragen von Wissen zwischen den Testumgebungen ausgeglichen werden (abstrakte Testumgebungen können eine umfangreiche Untersuchung ermöglichen, realistische Testumgebungen die genaue Bestimmung von Risiken).
Risiken können insgesamt sehr effizient und genau bestimmt werden, dies schafft die Grundlage für eine Freigabe automatisierter Fahrfunktionen.
Es ist zu erwarten, dass viele Schwachstellen der automatisierten Fahrzeugfunktion aufgedeckt und so Mensch und Maschine geschützt werden.
Ausführungsbeispiel
Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines Ausführungsbeispiels der Erfindung unter Bezugnahme auf die schematisch dargestellte Zeichnung.
Hierbei zeigt 1 ein Szenario, bei dem ein Fußgänger 2 die Straße überquert und ein Ego-Fahrzeug 1 die zu testende automatisierte Fahrfunktion aufweist. Dabei kann es sich um einen Notbremsassistenten handeln. Um die Fahrfunktion hinsichtlich ihrer funktionalen Sicherheit zu beurteilen, ist das Risiko des Szenarios in Abhängigkeit einer Vielzahl von Startparametern und Umwelteinflüssen zu ermitteln. Das Risiko kann anhand einer stattgefundenen Kollision oder des minimalen Abstandes zwischen Ego-Fahrzeug und Fußgänger jeweils nach Eingreifen des Notbremsassistenten quantifiziert werden.
Bei einigen Startparametern wird es zu keinem signifikanten Risiko kommen, beispielsweise bei einer defensiven Eigengeschwindigkeit des Ego-Fahrzeugs 1 von 6 m/s und einem longitudinalen Abstand zwischen Ego-Fahrzeug 1 und Fußgänger 2 zu Beginn des Überquerens der Straße von über 50 m. Diese Parameterkombination wäre daher unkritisch. Wird die Eigengeschwindigkeit erhöht, beispielsweise auf Schnellstraßen, so kann keine einfache intuitive Aussage mehr zur Kritikalität der Parameterkombination getroffen werden. Das Fahrzeug 1 fährt dann zwar wesentlich schneller auf den Fußgänger auf, jedoch hat der Notbremsassistent mehr Vorwarnzeit und kann dementsprechend eher eingreifen.
Um nun das Überquerungsszenario hinsichtlich der Notbremsfunktion zu testen, werden zunächst die Umgebungsbedingungen parametrisiert. Dazu werden Fußgänger-Modelle mit Wetterdaten zusammengeführt. Fußgängerdaten betreffen beispielsweise die Auftretenshäufigkeit von Fußgängern, z. B. auf stündlicher Basis. Daraus ergibt sich eine Wahrscheinlichkeit zum Auftreten des Szenarios, die proportional zur Auftretenshäufigkeit von Fußgängern ist. Um die Umgebungsbedingen anwendbar zu machen, werden Parameter für Nebel (ω_fοg), Wind (ω_wind) und Regen (ω_rain) parametrisiert, üblicherweise in einem Intervall von null bis eins. Darauf aufbauend wird ein Reibbeiwert µ_fric zwischen Straße und Fahrzeugreifen bestimmt, der wiederum Einfluss auf den Bremsweg des Ego-Fahrzeugs 1 hat. Die Daten werden unmittelbar aus Datenbanken zu Verkehrs- und Wetteraufkommen gezogen, die die über einen Zeitraum von 8 bis 10 Jahren in der Realität vorgekommenen Situationen widerspiegeln.
Die Eigengeschwindigkeit wird im Falle eines defensiven Fahrens normalverteilt mit einem Erwartungswert von 6 m/s und einer Standardabweichung von 0,2 m/s parametrisiert. Ein Modell beschreibt, bei welchen Lücken zwischen Fahrzeugen ein Fußgänger 2 die Überquerung beginnt. Diese werden anhand des longitudinalen Abstands da Ego-Fahrzeug 1 und Fußgänger 2 abgebildet. Die Geschwindigkeit v_ped des Fußgängers 2 ist weiterhin abhängig von der Regenstärke ω_rain.
Alle Parameter in der Realität zu testen, wäre extrem aufwändig bzw. nahezu unmöglich durchführbar. Auch komplexe Simulationen aller dieser Parameter wären sehr aufwändig, da der Großteil der Startparameter zu keinen kritischen Situationen führen würde und damit jeder Versuchsdurchlauf mit unkritischen Parameterkombinationen zeit- und kostenintensiv wäre, ohne eine Risikoeinschätzung zu ermöglichen. Eine klassische Modellbildung vorliegender Parameter in einer 3D-Simulation (3D-SiL), beispielsweise mithilfe des Simulationstools CARLA und einem modularen Stack automatisierter Fahrfunktionen mittels Pylot, würde mit einer relativ performanten Graphikkarte (z. B. NVIDIA GeForce RTX 2080 Ti) ca. 90 s pro Test dauern. Ein Großteil der Simulationen würde Startparameter betreffen, die nicht zu Kollisionen führen. Im betrachteten Szenario ist zu erwarten, dass der Anteil von Kollisionen im Bereich von 10^-3 bis 10^-6 liegt. Es müssten demnach Simulationsversuche im mittleren bis hohen fünfstelligen Bereich durchgeführt werden, um statistisch relevante Aussagen zu erhalten.
Daher wird das Verhalten der aufwändigen 3D-Simulation durch ein Meta-Modell abgebildet. Im vorliegenden Beispiel ist dies ein Gauß'sches-Prozess-Modell, welches mit einer Anzahl von 200 Testläufen trainiert wird. Das Training dauert ca. 5 s. Das Risiko wird mittels des minimalen Anstandes d*_min zwischen Ego-Fahrzeug 1 und Fußgänger 2 nach Aktivierung des Notbremsassistenten bestimmt. Kommt es zu einer Kollision, wird das Risiko anhand des theoretisch verbleibenden Bremsweges bestimmt. $d_{m i n}^{*} = {\begin{array}{l} d_{m i n}, & i f d_{m i n} > 0 \\ - v_{A V c o l /}^{2} (2 g μ_{f r i c}), & o t h e r w i s e \end{array}$
Das Meta-Modell wird weiter vereinfacht und ressourcensparender, wenn ein Wahrnehmungsmodell eingeführt wird. Dies bestimmt, ob ein Fußgänger 2 überhaupt erkannt wurde. Dazu wird ein Extra-Tree-Klassifikator verwendet, der mit einzeln gerenderten Bildern von Fußgängern und variierenden Wetterbedingungen trainiert wird. Wenn ein Fußgänger 2 erkannt wird, folgt ein Extra-Tree-Regressor, der die wahrgenommene Position des Fußgängers 2 aus Sicht der automatisierten Fahrfunktion (Ego-Vehicle 1) bestimmt.
Derart kann ein komplexes Sensormodell durch zwei einfache und skalierbare Meta-Modelle ersetzt werden. Diese lassen zwar keine hinreichend genaue Bestimmung des Szenarien-Risikos zu, liefern aber hinreichend genaue kritische Parameterkombinationen zum weiteren Testen. In einer besonders vorteilhaften Ausgestaltung kann dann pro Simulationsdurchlauf (Frame) ein zufälliges Klassifikations- und Regressionsmodell aus einer Vielzahl derart trainierter Modelle ausgewählt werden. So kann beispielsweise ein Sensormodell durch ein trainiertes Modell-Ensemble abgebildet werden, wobei zur Laufzeit für jeden Frame ein Ensemble-Modell ausgewählt wird. Damit kann systematisches und zufälliges Sensorrauschen sehr effizient simuliert werden.
Auch das Dynamik-Modell der aufwändigen 3D-Simulation für einen HiL-Test kann durch ein Meta-Modell modelliert werden. So wird die Eigengeschwindigkeit, die Beschleunigung sowie das Schub- und Bremsverhalten von vier aufeinander folgenden Zeitschritten (Frames) verwendet, um ein Extra-Tree-Regressionsmodell zur Vorhersage der Beschleunigung/Verzögerung für den nächsten Zeitschritt zu parametrisieren.
Die Ergebnisse der performanten, skalierbaren Testumgebung, also die kritischen Parameterkombinationen, können gegebenenfalls für die komplexe, vertrauenswürdige Testumgebung transferiert werden. Dabei können Methoden des Transfer Learnings verwendet werden. Handelt es sich um die selben Parameter, die in beide Testumgebungen eingehen, findet das sogenannte homogeneous Transfer Learning statt. Für den Fall, dass die szenariospezifischen Parameter nicht für beide Testumgebungen identisch gewählt werden, kann das sogenannte heterogeneous Transfer Learning für den Transfer der Parameter zwischen beiden Testumgebungen verwendet werden. Dies kann beispielsweise bestimmte Wetterbedingungen betreffen. So kann Regen in einer 3D-Simulation direkt simuliert werden, wohingegen es in der 2D-Simulation lediglich ein Rauschen ist.
Die erfindungsgemäße Methode kann als Transfer Importance Sampling bezeichnet werden, das Methoden verschiedener Testumgebungen zusammenführt. Dabei können Verzerrungen (Bias und Abweichungen von der Realität) einzelner Schätzmethoden aus dem Stand der Technik, die nur durch eine hohe Anzahl an Tests verringert werden können, umgangen werden.
Bezugszeichenliste

1: Ego-Fahrzeug
2: Fußgänger
d0: longitudinaler Abstand Ego-Fahrzeug und Fußgänger
d: wahrgenommener Abstand Ego-Fahrzeug und Fußgänger
dped: lateraler Abstand Ego-Fahrzeug und Fußgänger
vAV: Geschwindigkeit Ego-Fahrzeug
vped: Geschwindigkeit Fußgänger

Claims

Verfahren zum Testen automatisierter Fahrfunktionen mit folgenden Schritten: - Definieren von logischen Testszenarien mittels szenariospezifischen Parametern und Erstellen eines Parameterraums der szenariospezifischen Parameter, - Ermitteln der Verteilung der szenariospezifischen Parameter über den gesamten Parameterraum, - Definieren von szenariospezifischen Gefährdungen, - Ermitteln einer Gefährdungsausprägung in Abhängigkeit der szenariospezifischen Parameter über den gesamten Parameterraum, - Ermitteln kritischer szenariospezifischer Parameterkombinationen innerhalb des gesamten Parameterraums in Abhängigkeit der ermittelten Auftretenswahrscheinlichkeit der szenariospezifischen Parameter und der ermittelten Gefährdungsausprägung sowie Ermitteln einer Verteilung der kritischen szenariospezifischen Parameterkombinationen, - Testen der automatisierten Fahrfunktion in Abhängigkeit der ermittelten kritischen szenariospezifischen Parameterkombinationen und - Ermitteln eines szenariospezifischen Risikos in Abhängigkeit des Testens der automatisierten Fahrzeugfunktion, dadurch gekennzeichnet, dass - das Ermitteln der Gefährdungsausprägung in Abhängigkeit der szenariospezifischen Parameter über den gesamten Parameterraum mittels einer performanten, skalierbaren Testumgebung und - das Testen der automatisierten Fahrfunktion in Abhängigkeit der ermittelten kritischen szenariospezifischen Parameterkombinationen mittels einer aufwändigen, vertrauenswürdigen Testumgebung erfolgt.
Verfahren zum Testen automatisierter Fahrfunktionen nach Anspruch 1, wobei die performante, skalierbare Testumgebung mittels eines Meta-Modells modelliert wird.
Verfahren zum Testen automatisierter Fahrzeugfunktionen nach Anspruch 2, wobei das Meta-Modell ein trainiertes Klassifikationsmodell ist.
Verfahren zum Testen automatisierter Fahrzeugfunktionen nach Anspruch 2, wobei das Meta-Modell ein trainiertes Regressionsmodell ist.