AT524822A1 - Verfahren zum Testen eines Fahrerassistenzsystems eines Fahrzeugs - Google Patents

Abstract

Die Erfindung betrifft ein System (10) zum Erzeugen von Szenarien zum Testen eines Fahrerassistenzsystems eines Fahrzeugs (1) und ein entsprechendes Verfahren, das System aufweisend: Mittel (11) zum Simulieren einer Verkehrssituation (3), welche das Fahrzeug und wenigstens einen weiteren Verkehrsteilnehmer (1, 4, 5a, 5b, 5c, 5d, 6) aufweist, wobei ein erster Verkehrsteilnehmer (4) von einem ersten Benutzer (2) steuerbar ist; eine erste Benutzerschnittstelle (12) zum Ausgeben, auf der Grundlage der virtuellen Verkehrssituation (3), eines virtuellen Umfelds an den ersten Benutzer (2) über eine erste, insbesondere wenigstens optische, Benutzerschnittstelle (12); und eine zweite Benutzerschnittstelle (13) zum Erfassen von Eingaben des ersten Benutzers (2) zum Steuern des wenigstens einen ersten Verkehrsteilnehmers (4) in dem virtuellen Umfeld; Mittel (14) zum Betreiben des Fahrerassistenzsystems (2) in einem virtuellen Umfeld des Fahrzeugs (1) auf der Grundlage der simulierten Verkehrssituation (3); Mittel (15) zum Erfassen eines Szenarios; und Mittel (16) zum Ermitteln einer Güte des entstandenen Szenarios.

Description

Verfahren zum Testen eines Fahrerassistenzsystems eines Fahrzeugs

Die Erfindung betrifft ein computerimplementiertes Verfahren zum Testen wenigstens eines Fahrerassistenzsystems für ein Fahrzeug. Des Weiteren betrifft die Erfindung

ein entsprechendes System zum Testen wenigstens eines Fahrerassistenzsystems.

Die Verbreitung von Fahrerassistenzsystemen (Advanced Driver Assistance Systems — ADAS), welche in einer Weiterentwicklung autonomes Fahren (Autonomous Driving — AD) ermöglichen, nehmen sowohl im Bereich der Personenkraftwagen als auch bei Nutzfahrzeugen ständig zu. Fahrerassistenzsysteme leisten einen wichtigen Beitrag zur Erhöhung der aktiven Verkehrssicherheit und dienen zur Steigerung des Fahrkomforts.

Neben den insbesondere der Fahrsicherheit dienenden Systemen wie ABS (Anti-Blockier-System) und ESP (Elektronisches Stabilitätsprogramm) werden im Bereich der Personenkraftwagen und der Nutzfahrzeuge eine Vielzahl von Fahrerassistenzsyste-

men angeboten.

Fahrerassistenzsysteme, welche bereits zur Erhöhung der aktiven Verkehrssicherheit eingesetzt werden, sind ein Parkassistent, ein adaptiver Abstandsregeltempomat, der auch als Adaptive Cruise Control (ACC) bekannt ist, welcher eine vom Fahrer gewählte Wunschgeschwindigkeit adaptiv auf einen Abstand zu einem vorausfahrenden Fahrzeug einregelt. Ein weiteres Beispiel für solche Fahrerassistenzsysteme sind ACCStop-&-Go-Systeme, welche zusätzlich zum ACC die automatische Weiterfahrt des Fahrzeugs im Stau oder bei stehenden Fahrzeugen bewirkt, Spurhalte- oder LaneAssist-Systeme, die das Fahrzeug automatisch auf der Fahrzeugspur halten, und PreCrash-Systeme, die im Fall der Möglichkeit einer Kollision beispielsweise eine Bremsung vorbereiten oder einleiten, um die kinetische Energie aus dem Fahrzeug zu nehmen, sowie gegebenenfalls weitere Maßnahmen einleiten, falls eine Kollision unver-

meidlich ist.

Diese Fahrerassistenzsysteme erhöhen sowohl die Sicherheit im Verkehr, indem sie den Fahrer in kritischen Situationen warnen, bis zur Einleitung eines selbstständigen Eingriffs zur Unfallvermeidung oder Unfallverminderung, beispielsweise indem eine

Notbremsfunktion aktiviert wird. Zusätzlich wird der Fahrkomfort durch Funktionen wie

automatisches Einparken, automatische Spurhaltung und automatische Abstandskontrolle erhöht.

Der Sicherheits- und Komfortgewinn eines Fahrerassistenzsystems wird von den Fahrzeuginsassen nur dann positiv wahrgenommen, wenn die Unterstützung durch das Fahrerassistenzsystem sicher, verlässlich und in — soweit möglich — komfortabler Weise erfolgt.

Darüber hinaus muss jedes Fahrerassistenzsystem, je nach Funktion, im Verkehr auftretende Szenarien mit maximaler Sicherheit für das eigene Fahrzeug und auch ohne Gefährdung anderer Fahrzeuge bzw. anderer Verkehrsteilnehmer bewerkstelligen.

Der jeweilige Automatisierungsgrad von Fahrzeugen wird dabei in sogenannte Automatisierungslevel 1 bis 5 unterteilt (vgl. beispielsweise Norm SAE J3016). Die vorliegende Erfindung betrifft insbesondere Fahrzeuge mit Fahrerassistenzsystemen des Automatisierungslevels 3 bis 5, welches im Allgemeinen als autonomes Fahren betrachtet wird.

Die Herausforderungen zum Testen solcher Systeme sind vielfältig. Insbesondere muss ein Ausgleich zwischen dem Testaufwand und der Testabdeckung gefunden werden. Dabei ist die Hauptaufgabe beim Testen von ADAS/AD-Funktionen, zu demonstrieren, dass die Funktion des Fahrerassistenzsystems in allen vorstellbaren Situationen gewährleistet ist, insbesondere auch in kritischen Fahrsituationen. Solche kritischen Fahrsituationen weisen eine gewisse Gefährlichkeit auf, da keine oder eine falsche Reaktion des jeweiligen Fahrerassistenzsystems zu einem Unfall führen kann.

Das Testen von Fahrerassistenzsystemen erfordert daher eine Berücksichtigung einer großen Anzahl von Fahrsituationen, welche sich in verschiedenen Szenarien ergeben können. Der Variationsraum von möglichen Szenarien wird dabei im Allgemeinen durch viele Dimensionen aufgespannt (z. B. verschiedene Straßeneigenschaften, ein Verhalten von anderen Verkehrsteilnehmern, Wetterbedingungen, etc.). Aus diesem nahezu unendlichen und multidimensionalen Parameterraum ist es zum Testen der Fahrerassistenzsysteme besonders relevant, solche Parameterkonstellationen für kritische Szenarien zu extrahieren, welche zu ungewöhnlichen oder gefährlichen Fahrsi-

tuationen führen können.

Wie in Fig. 1 dargestellt, haben solche kritischen Szenarien eine weit geringere Auftrittswahrscheinlichkeit als übliche Szenarien.

Wissenschaftliche Veröffentlichungen gehen davon aus, dass ein Betrieb eines Fahrzeugs im autonomen Fahrbetrieb nur dann statistisch sicherer als ein von Menschen gesteuertes Fahrzeug ist, wenn mit dem entsprechenden Fahrerassistenzsystem 275 Millionen Meilen unfallfreier Fahrzeit absolviert wurden, um das entsprechende Fahrerassistenzsystem zu validieren. Dies ist mittels realer Testfahrten praktisch nicht zu realisieren, insbesondere vor dem Hintergrund, dass die Entwicklungszyklen und Qualitätsstandards, welche in der Automobilindustrie gefordert sind, schon einen sehr engen Zeitrahmen setzen. Auch wäre es unwahrscheinlich, dass eine ausreichende Menge von kritischen Szenarien bzw. sich aus diesen Szenarien ergebenden Fahrsi-

tuationen aus dem vorgenannten Grund enthalten wären.

Aus dem Stand der Technik ist es bekannt, reale Testfahrdaten einer realen Flotte von Testfahrzeugen zum Validieren und Verifizieren von Fahrerassistenzsystemen einzusetzen und aus den aufgezeichneten Daten Szenarien zu extrahieren. Des Weiteren ist es bekannt, zum Validieren und Verifizieren vollfaktorielle Versuchspläne einzuset-

zen.

Es ist eine Aufgabe der Erfindung, Fahrerassistenzsysteme, insbesondere Autonome Fahrfunktionen, in kritischen Szenarien prüfen zu können. Insbesondere ist es eine Aufgabe der Erfindung, kritische Szenarien für Fahrerassistenzsysteme zu identifizie-

ren.

Diese Aufgabe wird durch die Lehre der unabhängigen Ansprüche gelöst. Vorteilhafte

Ausgestaltungen finden sich in den abhängigen Ansprüchen.

Ein erster Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Testen eines Fahrerassistenzsystems eines Fahrzeugs, folgende Arbeitsschritte auf-

weisend:

Simulieren einer virtuellen Verkehrssituation, welche das Fahrzeug und wenigstens einen weiteren Verkehrsteilnehmer aufweist, wobei ein erster Verkehrsteilnehmer von einem ersten Benutzer steuerbar ist und wobei weitere Verkehrsteilnehmer, welche nicht von Benutzern steuerbar sind, automatisiert, insbesondere durch künstliche In-

telligenz oder Logik-basiert, gesteuert werden;

Ausgeben, auf der Grundlage der virtuellen Verkehrssituation, eines virtuellen Umfelds des wenigstens einen ersten Verkehrsteilnehmers an den ersten Benutzer über eine

erste, insbesondere wenigstens optische, Benutzerschnittstelle;

Erfassen von Eingaben des ersten Benutzers (2) zum Steuern des wenigstens einen ersten Verkehrsteilnehmers in dem virtuellen Umfeld des ersten Verkehrsteilnehmers über eine zweite Benutzerschnittstelle, wobei beim Simulieren der virtuellen Verkehrssituation die erfassten Eingaben des ersten Benutzers und die daraus resultierende Wechselwirkung des wenigstens einen ersten Verkehrsteilnehmers mit seinem virtu-

ellen Umfeld berücksichtigt werden;

Betreiben des Fahrerassistenzsystems in einem virtuellen Umfeld des Fahrzeugs auf der Grundlage der simulierten Verkehrssituation, wobei das Fahrerassistenzsystem ein Fahrverhalten zeigt;

Erfassen eines Szenarios, welches durch das Fahrverhalten des Fahrerassistenzsystems in dem virtuellen Umfeld des Fahrzeugs entsteht;

Ermitteln einer Güte des entstandenen Szenarios in Abhängigkeit eines vordefinierten Kriteriums, insbesondere einer Gefährlichkeit des entstandenen Szenarios; und

Ausgeben der Güte an den Benutzer über die erste oder eine zweite Benutzerschnitt-

stelle, insbesondere ein Display.

Ein zweiter Aspekt der Erfindung betrifft ein System zum Erzeugen von Szenarien zum

Testen eines Fahrerassistenz-systems eines Fahrzeugs, aufweisend:

Mittel zum Simulieren einer virtuellen Verkehrssituation, welche das Fahrzeug und wenigstens einen weiteren Verkehrsteilnehmer aufweist, wobei ein erster Verkehrsteilnehmer von einem ersten Benutzer steuerbar ist und wobei weitere Verkehrsteilnehmer, welche nicht von Benutzern steuerbar sind, automatisiert, insbesondere durch

künstliche Intelligenz oder Logik-basiert, gesteuert werden;

eine erste, insbesondere wenigstens optische, Benutzerschnittstelle zum Ausgeben, auf der Grundlage der virtuellen Verkehrssituation, eines virtuellen Umfelds des wenigstens einen ersten Verkehrsteilnehmers an den ersten Benutzer über eine erste,

insbesondere wenigstens optische, Benutzerschnittstelle; und

eine zweite Benutzerschnittstelle zum Erfassen von Eingaben des ersten Benutzers zum Steuern des wenigstens einen ersten Verkehrsteilnehmers in dem virtuellen Umfeld des ersten Verkehrsteilnehmers über eine zweite Benutzerschnittstelle, wobei beim Simulieren der virtuellen Verkehrssituation die erfassten Eingaben des ersten Benutzers und die daraus resultierende Wechselwirkung des wenigstens einen ersten

Verkehrsteilnehmers mit seinem virtuellen Umfeld berücksichtigt werden;

Mittel zum Betreiben des Fahrerassistenzsystems in einem virtuellen Umfeld des Fahrzeugs auf der Grundlage der simulierten Verkehrssituation, wodurch das Fahrerassis-

tenzsystem ein Fahrverhalten zeigt;

Mittel zum Erfassen eines Szenarios, welches durch das Fahrverhalten des Fahreras-

sistenzsystems in dem virtuellen Umfeld des Fahrzeugs entsteht; und

Mittel zum Ermitteln einer Güte des entstandenen Szenarios in Abhängigkeit eines vordefinierten Kriteriums, insbesondere einer Gefährlichkeit des entstandenen Szena-

rios;

wobei die erste oder die zweite Benutzerschnittstelle, insbesondere ein Display, des Weiteren eingerichtet ist, die Güte an den Benutzer auszugeben.

Weitere Aspekte der Erfindung betreffen ein Computerprogramm und ein Computerlesbares Medium.

Ein Benutzer im Sinne der Erfindung ist eine natürliche Person, d. h. ein Mensch.

Ein Fahrerassistenzsystem im Sinne der Erfindung ist vorzugsweise dazu eingerichtet, einen Fahrer beim Fahren zu unterstützen oder ein Fahrzeug wenigstens teilweise zu führen, insbesondere ein Fahrerassistenzsystem des Automatisierungslevels 3 bis 5,

oder weiter insbesondere eine autonome Fahrfunktion.

Verkehrsteilnehmer im Sinne der Erfindung ist vorzugsweise jegliches Objekt, welches am Verkehr teilnimmt. Insbesondere ist ein Verkehrsteilnehmer ein Mensch, ein Tier oder ein Fahrzeug.

Extrahieren im Sinne der Erfindung bedeutet vorzugsweise Abgrenzen oder Isolieren.

Insbesondere werden aus den Szenariendaten Szenarien abgegrenzt bzw. isoliert.

Hierbei werden vorzugsweise Datenbereiche in den Szenariendaten ausgewählt.

Szenariendaten im Sinne der Erfindung sind vorzugsweise durch Position und Bewegung der Verkehrsteilnehmer und Position von statischen Objekten in Bezug auf ein

Szenario charakterisiert.

Ein Szenario im Sinne der Erfindung wird vorzugsweise aus einer zeitlichen Abfolge von, insbesondere statischen, Szenen gebildet. Die Szenen geben dabei beispielsweise die räumliche Anordnung von dem wenigstens einen anderen Objekt relativ zum Ego-Objekt, z. B. die Konstellation von Verkehrsteilnehmern, an. Ein Szenario berücksichtigt vorzugsweise dynamischen und statischen Inhalt. Vorzugsweise kommt hierbei ein Modell zur systematischen Beschreibung von Szenarien zum Einsatz, weiter vorzugsweise das Modell des PEGASUS-Projekts (https://www.pegasusprojekt.de) mit den folgenden sechs unabhängigen Ebenen: 1. Straße (Geometrie,...); 2. Straßenmöbel und Regeln (Verkehrszeichen,...); 3. Vorübergehende Änderungen und Ereignisse (Straßenbau,...); 4. Bewegende Objekte (verkehrsrelevante Objekte wie: Fahrzeuge, Fußgänger,... die sich relativ zum zu testenden Fahrzeug bewegen); 5. Umgebungsbedingungen (Lichtsituation, Straßenwetter,...); 6. Digitale Informationen (V2X, digitale Daten / Karte,...). Ein Szenario kann insbesondere eine Fahrsituation enthalten, in der ein Fahrerassistenzsystem das Ego-Fahrzeug genannte, mit dem Fahrerassistenzsystem ausgestattete Fahrzeug zumindest teilweise steuert, z. B. wenigstens eine Fahrzeugfunktion des Ego-Fahrzeugs autonom ausführt.

Eine Verkehrssituation im Sinne der Erfindung beschreibt vorzugsweise die Gesamtheit aller Umstände in einem Verkehr mit Verkehrsteilnehmern in einem definierten räumlichen Bereich und/oder in einem definierten Zeitraum oder Zeitpunkt. Vorzugsweise werden diese Umstände von Verkehrsteilnehmern für die Auswahl geeigneter Verhaltensmuster zu einem bestimmten Zeitpunkt berücksichtigt. Vorzugsweise umfasst eine Verkehrssituation alle relevanten Bedingungen, Möglichkeiten und Determinanten von Handlungen. Eine Verkehrssituation kann, muss aber nicht, aus der Sicht eines Verkehrsteilnehmers oder Objekts repräsentiert werden.

Die simulierten Messgrößen im Sinne der Erfindung sind vorzugsweise aus der folgenden Gruppe ausgewählt: Geschwindigkeit, insbesondere eine initiale Geschwindigkeit, eines Verkehrsteilnehmers; eine Bewegungsrichtung, insbesondere eine Trajektorie, eines Verkehrsteilnehmers; Lichtverhältnisse; Witterung; Fahrbahnbeschaffenheit; Temperatur; Anzahl und Position statischer und/oder dynamischer Objekte; eine

Geschwindigkeit und eine Bewegungsrichtung, insbesondere eine Trajektorie, der dynamischen Objekte; Zustand von Signalanlagen, insbesondere Lichtsignalanlagen; Verkehrszeichen; Anzahl der Fahrspuren; Beschleunigung oder Bremsverzögerung von Verkehrsteilnehmern oder Objekten.

Eine vordefinierte Konstellation von Messgrößen im Sinne der Erfindung ist vor-zugsweise eine Konstellation von Werten einer oder mehrerer Messgrößen, insbesondere

in einem zeitlichen Verlauf.

Labeln im Sinne der Erfindung bedeutet vorzugsweise mit einer kategorisierenden Be-

nennung versehen.

Eine Gefährlichkeit eines Szenarios im Sinne der Erfindung ist vorzugsweise die räumliche oder zeitliche Nähe zu einer Verkehrssituation ohne möglichen unfallfreien Ausgang (aus eigener Kraft und unter Berücksichtigung der genannten Ungewissheiten) bezeichnet. Wenn ein Unfall nicht mehr vermeidbar ist, ist die Gefährlichkeit maximal. Vorzugsweise wird die Gefährlichkeit auch als Kritikalität bezeichnet. Wird das Fahrverhalten oder Fahrkönnen eines Fahrerassistenzsystems berücksichtigt, kann die Gefährlichkeit eine Unfallwahrscheinlichkeit und/oder eine berechnete Dauer bis zu einem Kollisionszeitpunkt charakterisieren. Eine maximale Gefährlichkeit ist vorzugsweise gegeben, wenn die berechnete Dauer 0 Sekunden beträgt und/oder die Unfallwahrscheinlichkeit P = 1 beträgt. Eine erhöhte Unfallwahrscheinlichkeit kann insbesondere durch ein Fahrmanöver ausgelöst werden, beispielsweise eine ausweichende Reaktion oder starke Gradientenänderungen beim Lenken, Bremsen, Gasgeben (also z.B. ein Fahrzeug weicht durch eine starke Lenkbewegung aus). Eine erhöhte Unfallwahrscheinlichkeit kann insbesondere auch in Bezug auf die anderen Verkehrsteilnehmer (die Logik- oder Kl-basiert geführt werden) und in einer kritischen Fahrsituation ihren Fahrauftrag bzw. ihre eigentliche Trajektorie verlassen müssen (durch ein Ausweichfahrmanöver). Eine erhöhte Unfallwahrscheinlichkeit kann insbesondere auch durch äußere Faktoren entstehen, welche auf den ersten Verkehrsteilnehmer oder die übrigen Verkehrsteilnehmer einwirken, beispielsweise wenn ein Fahrer geblendet

wird.

Eine Güte im Sinne der Erfindung charakterisiert vorzugsweise das simulierte Szena-

rio. Unter einer Güte wird vorzugsweise eine Qualität oder Beschaffenheit und/oder

eine Relevanz des simulierten Szenarios in Bezug auf die Gefährlichkeit einer Fahrsi-

tuation für ein bestimmtes Fahrerassistenzsystem verstanden.

Unter einer Relevanz im Sinne der Erfindung wird vorzugsweise verstanden, mit welcher Häufigkeit ein Szenario im Straßenverkehr auftritt. Beispielsweise ist ein Szenario unter Gegenlicht relevanter als ein Szenario, in welchem ein Flugzeug auf der Straße landet. Die Relevanz hängt vorzugsweise auch von der Region ab, für welche der Straßenverkehr relevant ist. Beispielsweise existieren Szenarien, die in Deutschland relevant sind, in China aber nicht.

Ein Umfeld des Fahrzeugs im Sinne der Erfindung wird vorzugsweise wenigstens durch die für die Fahrzeugführung durch das Fahrerassistenzsystem relevanten Verkehrsteilnehmer und anderen Objekte gebildet. Insbesondere umfasst das Umfeld des Fahrzeugs eine Szenerie und dynamische Elemente. Die Szenerie umfasst vorzugs-

weise alle stationären Elemente.

Eine Abbruchbedingung im Sinne der Erfindung ist vorzugsweise objektiv definiert 0der kann auch durch die Eingabe eines Benutzers herbeigeführt werden.

Mittel im Sinne der Erfindung können hard- und/oder softwaretechnisch ausgebildet sein und insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheiten (CPU) und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die CPU kann dabei dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper und/oder andere nicht-flüchtige Medien, aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die CPU die Schritte solcher Verfahren ausführen kann und dann

insbesondere Szenarien erzeugen kann.

Die Erfindung basiert auf dem Ansatz, reale Menschen zum Erzeugen von Szenarien

zu animieren, wobei jedoch keine Testfahrten im realen Verkehr erforderlich sind.

Erfindungsgemäß bewegt der reale Fahrer ein Fahrzeug nämlich in einer simulierten Verkehrssituation, insbesondere in einem virtuellen Umfeld bzw. einer virtuellen Umgebung welche durch die simulierte Verkehrssituation entsteht. Durch die Erfindung wird das Erzeugen von Szenarien einem Crowdsourcing-Ansatz zugänglich gemacht. Ein oder mehrere Benutzer können nun an einem Simulator einen Verkehrsteilnehmer ihrer Wahl durch virtuelle Verkehrssituationen navigieren. Durch die nahezu unendliche Möglichkeit an Optionen beim Navigieren des oder der Verkehrsteilnehmer sowie weiterer aleatorischer Mechanismen beim Simulieren der virtuellen Verkehrssituation können, wie im realen Straßenverkehr, verschiedene Szenarien in einer nahezu unendlich großen Anzahl entstehen. Ein Auftreten von bekannten oder neuen Szenarien wird durch die Erfindung vorzugsweise anhand von vordefinierten Kriterien festgestellt. Hierfür wird der Simulationsprozess und insbesondere die mittels diesem erzeugten

Simulationsdaten kontinuierlich analysiert bzw. überwacht.

In Bezug auf den Crowdsourcing-Ansatz kann hierbei der natürliche Spieltrieb von Menschen ausgenutzt werden. So kann das erfindungsgemäße Verfahren oder sogar ein entsprechendes System Benutzern zur Verfügung gestellt werden. Diese Benutzer können dann „zum Spaß“ in dem simulierten Verkehr herumfahren. Alternativ könnten den Benutzern auch Aufgaben gestellt werden, beispielsweise dass diese möglichst zügig von einem Ort A zu einem Ort B gelangen sollen, unter Einhaltung von Verkehrsregeln, oder dass sie gewisse Objekte an verschiedenen Orten einsammeln müssen. Des Weiteren kann der Benutzer beim Navigieren durch den simulierten Verkehr abgelenkt werden, z. B. indem er gewisse Spracheingaben oder Ähnliches vornehmen

MUSS.

Die Physik in der Simulation entspricht hierbei vorzugsweise der Realität, um möglichst reale Szenariendaten zu erzeugen. Dies gilt insbesondere in Bezug auf die physikalischen Eigenschaften der Verkehrsteilnehmer und jener des Umfelds. Ein Durchfahren von Objekten oder Ähnliches ist nicht möglich. Besonders bevorzugt navigieren meh-

rere Benutzer mehrere Verkehrsteilnehmer in dem simulierten Verkehr.

Die Qualität oder Gefährlichkeit eines durch seine Aktivität entstandenen Szenarios wird dem Benutzer durch ein Feedback der Güte des Szenarios mitgeteilt. Der Benutzer kann dann versuchen, die Güte zu erhöhen, indem er sein Steuerverhalten des

von ihm gesteuerten Verkehrsteilnehmers anpasst. Vorzugsweise kann er die

Simulationsmittel, welche das Szenario simulieren, diesbezüglich auffordern, ein bereits durchlaufenes Szenario nochmals zu wiederholen. Auf diese Weise kann er sein Steuerverhalten so lange optimieren, bis er in Bezug auf ein bestimmtes Szenario eine bestmögliche Güte erreicht, d.h. die größte Gefährlichkeit, insbesondere unter Einhaltung der Verkehrsregeln.

Vorzugsweise wird die entstandene Fahrsituation als Szenariendaten aufgezeichnet,

um diese in einem simulierten Szenario später reproduzieren zu können.

Die auf diese Weise erzeugten Szenariendaten sind in einer vorteilhaften Ausgestaltung des Verfahrens bereits gelabelt, insbesondere Objekte der virtuellen Verkehrssituation sind gelabelt. In der Simulation steht Information über Eigenschaften von Ob-

jekten zur Verfügung, so dass die Information den Objekten zugeordnet werden kann.

Dies ist insbesondere ein Vorteil gegenüber Daten aus einem realen Testbetrieb, bei welchen alle Objekte gelabelt werden müssen. Dieses Labelling ist im Allgemeinen sehr aufwendig, da es nur durch Menschen durchgeführt werden kann.

In einer vorteilhaften Ausgestaltung des Verfahrens wird das simulierte Szenario der ermittelten Güte geändert, bis eine Abbruchbedingung erreicht ist. Vorzugsweise wird zusätzlich oder alternativ das simulierte Szenario ausgegeben, bis dessen Güte eine Abbruchbedingung erreicht. Weiter vorzugsweise wird das simulierte Szenario nur dann ausgegeben, wenn dessen Güte die Abbruchbedingung erreicht. In diesem Fall wird das Testverfahren so lange weitergeführt bzw. wiederholt, bis das Fahrverhalten des Benutzers und/oder die Simulation des Szenarios zu einem Verhalten des Fahrerassistenzsystems führt, welches einen vordefinierten Zielwert, welcher als Abbruchbedingung dient, verletzt wird. Eine solche Abbruchbedingung kann z. B. eine Dauer bis zu einem Kollisionszeitpunkt von weniger als 0,25 Sekunden oder auch ein bestimmtes

Zeitbudget, z. B. 600 Stunden maximale Simulationszeit sein.

Unter der Annahme eines ausreichend langen Zeitbudgets kann mittels der Erfindung eine hohe Wahrscheinlichkeit erreicht werden, dass das ADAS oder AD-System korrekt funktioniert.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens wird das Ändern wenigstens teilweise durch den Benutzer über die erste Benutzerschnittstelle oder die zweite Benutzerschnittstelle mittels eines Editors vorgenommen, wobei Operationen des

Benutzers vorzugsweise aufgezeichnet und in einer Steuertabelle abgelegt werden. Durch die Möglichkeit des Änderns des Szenarios kann der Benutzer nicht nur durch sein Fahrverhalten einen Einfluss auf die entstandene Fahrsituation nehmen, sondern kann unmittelbar auch das simulierte Fahrszenario beeinflussen. Hierdurch hat er einen weiteren Einfluss auf die Güte der entstehenden Fahrsituation. Der Benutzer kann somit ein bestehendes Fahrszenario so optimieren, dass sich im Zusammenspiel mit

seinem Fahrverhalten Fahrsituationen mit einer möglichst hohen Güte ergeben.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens wird beim Simulieren des Szenarios eine Geschwindigkeit, insbesondere eine initiale Geschwindigkeit des Fahrzeugs, und/oder eine Trajektorie des Fahrzeugs vorgegeben. Diese Vorgaben sind Randbedingungen beim Testen des Fahrerassistenzsystems und können vorzugs-

weise von dem Benutzer ebenfalls geändert werden.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens werden beim Ändern des simulierten Szenarios ausschließlich Werte von Parametern des simulierten Szenarios verändert. Das jeweils simulierte Szenario bleibt mithin von seiner Art erhalten. Neue Parameter, z. B. durch das Einfügen weiterer Fahrzeuge, sollen nicht hinzukommen. Hierdurch wird erreicht, dass der Benutzer in dem jeweils simulierten, zu testenden

Szenario bleibt und nicht ein vollständig neues Szenario erstellt.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens sind die Parameter des Szenarios, je nach Art des testenden Fahrerassistenzsystems, aus der folgenden

Gruppe ausgewählt:

Geschwindigkeit, insbesondere eine initiale Geschwindigkeit, eines Verkehrsteilnehmers; eine Bewegungsrichtung, insbesondere eine Trajektorie eines Verkehrsteilnehmers; Lichtverhältnisse; Witterung; Fahrbahnbeschaffenheit, Temperatur; Anzahl und Position statischer und/oder dynamischer Objekte; eine Geschwindigkeit und eine Bewegungsrichtung, insbesondere eine Trajektorie, der dynamischen Objekte; Zustand von Signalanlagen, insbesondere Lichtsignalanlagen; Verkehrszeichen; Anzahl der Fahrspuren; Beschleunigung oder Bremsverzögerung von Verkehrsteilnehmern oder Objekten.

Durch das Verändern dieser Parameter lässt sich die Gefährlichkeit von Szenarien maßgeblich beeinflussen.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens ist die Güte durch eine, insbesondere fiktive, Belohnung für den Benutzer charakterisiert. Insbesondere bekommt der Nutzer je nach erreichter Güte eine Belohnung gutgeschrieben, beispielsweise auf einem virtuellen Konto. Hierdurch kann erreicht werden, dass der Benutzer

versucht, stets Fahrsituationen mit höherer Güte zu realisieren.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens ist die Güte höher, je gefährlicher die jeweils entstandene Fahrsituation ist, insbesondere je kürzer eine berechnete Dauer bis zum Kollisionszeitpunkt ist. Dies hat den Vorteil, dass möglichst kritische Fahrsituationen identifiziert werden, welche aber im normalen Straßenverkehr sehr selten vorkommen. Auf diese kann die Menge an zu absolvierenden Testki-

lometern reduziert werden.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens wird das Verändern des simulierten Szenarios unter Verwendung evolutionärer Algorithmen vorgenommen. Evolutionäre Algorithmen werden auch als genetische Algorithmen bezeichnet. Beim Verändern durch solche Algorithmen werden verschiedene Algorithmen gekreuzt und mutiert. Aus den so entstehenden Algorithmen werden Kandidaten für den nächsten Iterationsschritt, d. h. die nächste Variante des simulierten Szenarios, gebildet.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens wird auf der Grundlage der ermittelten Güte eine Nutzenfunktion approximiert, welche beschreibt, welchen Güte-Wert ein bestimmtes simuliertes Szenario hat. Auf diese Weise kann eine Beloh-

nung für einen Benutzer berechnet werden.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens wird das Fahrerassistenzsystem simuliert. Dies bedeutet, dass nur die Software bzw. der tatsächliche Code des Fahrerassistenzsystems beim Simulieren der virtuellen Verkehrssituation berücksichtigt wird bzw. implementiert ist, gemäß dem Konzept „Software-in-the-Loop“. Hierdurch kann das Testen eines Fahrerassistenzsystems in einer reinen Simulation durchgeführt werden. Eine Stimulation oder ein Bereitstellen von Signalen an ein rea-

les Fahrerassistenzsystem kann hierbei unterbleiben.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens werden beim initialen Simulieren des Szenarios historische Daten aus früheren Testbetrieben eines Fahrerassistenzsystems, insbesondere des Fahrerassistenzsystems, berücksichtigt.

Die Nutzung von historischen Daten kann zum Vortrainieren eines zur Simulation von Verkehrsszenarien eingesetzten Algorithmus genutzt werden. Hierdurch kann die Dauer bis zum Auffinden von kritischen Szenarien reduziert werden. Des Weiteren können auch Algorithmen eingesetzt werden, welche auf einem anderen, insbesondere ähnlichen, ADAS bzw. AD-System trainiert wurden. Insbesondere können auf diese Weise sogenannte Regressionstests ausgeführt werden, um sicherzustellen, dass Änderungen von bereits getesteten Teilen der Software des Fahrerassistenzsys-

tems keine neuen Fehler verursachen.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens werden beim Betreiben des Fahrerassistenzsystems Daten in Bezug auf das Umfeld des Fahrzeugs in das Fahrerassistenzsystem eingespeist und/oder das Fahrerassistenzsystem, insbesondere dessen Sensoren, werden auf der Grundlage des Umfelds des Fahrzeugs stimuliert. Durch diese Ausgestaltung kann ein reales Fahrerassistenzsystem oder sogar

ein reales Fahrzeug mit einem solchen realen Assistenzsystem getestet werden.

Hierdurch kann das Fahrerassistenzsystem, insbesondere dessen Software oder die gesamte Hardware auf einem Prüfstand getestet werden. Insbesondere kann hierfür

ein Hardware-in-the-Loop-Verfahren zum Einsatz kommen.

Die im Vorhergehenden genannten Merkmale und Vorteile in Bezug auf den ersten Aspekt der Erfindung gelten entsprechend auch für die anderen Aspekte der Erfindung und umgekehrt.

Weitere Merkmale und Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen in Bezug auf die Figuren. Es zeigt wenigstens teilweise

schematisch:

Figur 1 ein Diagramm einer Auftrittswahrscheinlichkeit von Szenarien in Abhängigkeit ihrer Kritikalität und/oder Gefährlichkeit;

Figur 2 ein Blockdiagramm eines Ausführungsbeispiels eines Verfahrens zum Erzeu-

gen von Szenarien; Figur 3a ein erstes Beispiel für eine simulierte virtuelle Verkehrssituation; Figur 3b ein zweites Beispiel für eine simulierte virtuelle Verkehrssituation;

Figur 4 ein drittes Beispiel für eine simulierte virtuelle Verkehrssituation;

Figur 5 ein Ausführungsbeispiel eines Systems zum Erzeugen von Szenariendaten

zum Testen eines Fahrerassistenzsystems eines Fahrzeugs; und

Figur 6 ein Ausführungsbeispiel eines Mittels zum Betreiben eines Fahrerassistenz-

systems.

Figur 1 zeigt die Auftrittswahrscheinlichkeit von Szenarien in Abhängigkeit der Kritikalität und/oder Gefährlichkeit von Szenarien. Die Auftrittswahrscheinlichkeit ist jene

Wahrscheinlichkeit, in welcher Szenarien im realen Straßenverkehr vorkommen.

In Fig. 1 fällt auf, dass die Mehrzahl an Szenarien von vergleichsweise geringer Komplexität und/oder Gefährlichkeit sind, was auch der allgemeinen Lebenserfahrung eines Autofahrers entspricht. Der Bereich dieser Szenarien ist in Fig. 1 mit „A“ bezeichnet. Szenarien von hoher Komplexität, deren Bereich in Fig. 1 mit „B“ bezeichnet ist, kommen dagegen vergleichsweise selten vor. Gerade jene Szenarien „B“ mit großer Komplexität sind jedoch zum Untersuchen der Funktionstüchtigkeit von Fahrerassis-

tenzsystemen von hoher Relevanz.

Um eine ausreichende Anzahl und Diversität an verschiedenen Szenarien mit hoher Komplexität „B“ während des Tests eines Fahrerassistenzsystems zu erreichen, muss daher, unter Zugrundelegung der gezeigten Verteilungskurve, üblicherweise eine sehr hohe Anzahl an Szenarien durchlaufen werden. Im Nachfolgenden wird ein alternativer Ansatz beschrieben, bei welchem jene Szenarien mit großer Komplexität gezielt herbeigeführt werden, um Fahrerassistenzsysteme zu testen und damit die Anzahl an zu durchlaufenden Szenarien und entsprechend die Anzahl an zu absolvierenden Kilo-

metern zu verringern.

Ein Verfahren zum Erzeugen einer großen Anzahl von verschiedenen Szenarien mit möglichst hoher Komplexität zum Testen von Fahrerassistenzsystemen wird nachfolgend in Bezug auf die Fig. 2 bis Fig. 3b beschrieben.

In einem ersten Arbeitsschritt 101 wird eine virtuelle Verkehrssituation 3 simuliert, in welcher ein Fahrerassistenzsystem 7 getestet werden soll. Die virtuelle Verkehrssituation 3 weist eine Mehrzahl an virtuellen Verkehrsteilnehmern 1, 4, 5a, 5b, 5c, 5d, 6 auf, wobei das Fahrzeug 1 durch das zu testende Fahrerassistenzsystem 7 gesteuert wird. Vorzugsweise ist in dieser virtuellen Verkehrssituation 3 wenigstens ein weiterer

erster Verkehrsteilnehmer 4 der Mehrzahl an Verkehrsteilnehmern 1, 4, 5a, 5b, 5c, 5d,

6 von einem ersten Benutzer 2 steuerbar und jene Verkehrsteilnehmer 5a, 5b, 5c, 5d, 6, welche nicht von Benutzern steuerbar sind, werden automatisiert gesteuert. Hierbei kommt vorzugsweise eine künstliche Intelligenz oder eine Logik-basierte Steuerung zum Einsatz. Vorzugsweise kann sich in der simulierten virtuellen Verkehrssituation 3 eine Mehrzahl an Verkehrsteilnehmern befinden, welche durch Benutzer, d.h. Menschen, gesteuert werden. Auch kann eine Mehrzahl an Fahrerassistenzsystem 7, in

einem einzigen Fahrzeug oder mehreren Fahrzeugen, gleichzeitig getestet werden.

Zum Simulieren der virtuellen Verkehrssituation kommt vorzugsweise ein Verkehrsflussmodell, insbesondere PTV-Vissim® oder Eclipse SUMO, insbesondere Version 1.8.0, zum Einsatz.

In Bezug auf das Simulieren der virtuellen Verkehrssituation gibt es im Wesentlichen zwei Ansätze: Die Simulation beruht auf Daten, welche in einer realen Testfahrt gewonnen wurden. In diesem Fall können die Parameter einzelner Objekte, z. B. die Geschwindigkeit von Verkehrsteilnehmern, verändert werden oder aber so übernommen werden, wie sie während der realen Testfahrt erfasst wurden. In einer alternativen Ausgestaltung des Verfahrens wird die Verkehrssituation 3 rein auf der Grundlage von mathematischen Algorithmen erstellt. Vorzugsweise können beide Ansätze auch ver-

mischt werden.

Eine solche simulierte Verkehrssituation 3 ist beispielsweise in Fig. 3a gezeigt. Bei der in Fig. 3a gezeigten Verkehrssituation 3 überquert ein Fußgänger 6 eine Straße. Ein Motorrad 4, welches von dem ersten Benutzer gesteuert wird, nähert sich dem Fußgänger 6 auf dem Fußgänger 6 zugewandten Fahrstreifen. Neben dem Fahrstreifen sind weitere Fahrzeuge 5b, 5c, 5d geparkt, durch welche der Fußgänger 6 für das durch den ersten Benutzer 2 gesteuerte Motorrad 4 nicht oder nur schlecht sichtbar ist. Auf dem zweiten Fahrstreifen für den entgegenkommenden Verkehr fährt auf Höhe des Fußgängers 6 ein weiteres Fahrzeug 5a. Hinter dem weiteren Fahrzeug 5a nähert sich ein Fahrzeug 1, dessen Längs- und Quersteuerung durch ein Fahrerassistenzsystem 7 ausgeführt wird. Ob dieser Motorradfahrer 4 für das von dem ersten Benutzer 2 gesteuerte Fahrzeug 1 sichtbar ist, erschließt sich aus Fig. 3a nicht.

Die weiteren Fahrzeuge ba, 5b, 5c, 5d, der Fußgänger 6 sowie der Motorradfahrer 4 bilden ein virtuelles Umfeld des durch das Fahrerassistenzsystem gesteuerte Fahr-

zeugs 1 in der Verkehrssituation 3. Entsprechend bilden die weiteren Fahrzeuge ba,

5b, 5c, 5d, der Fußgänger 6 ein virtuelles Umfeld des durch den Benutzer gesteuerten Motorrads 4 in der Verkehrssituation 3.

Je nachdem, wie der erste Benutzer 2 im initialen Szenario, welches sich aus der Verkehrssituation 3 ergibt, reagiert oder agiert, d. h. welches Fahrverhalten der erste Benutzer 2 in dem virtuellen Umfeld des von ihm gesteuerten Motorrads 4 zeigt, wird sich ein Szenario ergeben, welches gefährlich oder weniger gefährlich ist. Im Allgemeinen ist das jeweilige Szenario ist dabei umso gefährlicher, je komplexer dies ist und somit für ein Fahrerassistenzsystem 7 schwieriger zu verarbeiten ist. Wird der erste Benutzer 2 das Motorrad 4 beispielsweise, wie in Figur 3a durch den Balken vor dem Bewegungspfeil des Motorrads 4 angedeutet, durch ein Bremsen zum Stehen bringen, so kann das Fahrzeug 1, welches von dem Fahrerassistenzsystem gesteuert wird, das auf dem anderen Fahrstreifen entgegenkommende Fahrzeug ba ungestört überholen.

Figur 3b zeigt dieselbe virtuelle Verkehrssituation 3 wie Fig. 3a, in welchem sich das von dem ersten Benutzer 2 gesteuerte Motorrad in derselben initialen Verkehrssituation befindet wie in Fig. 3a. Wie durch den Bewegungspfeil, welcher von dem durch den ersten Benutzer 2 gesteuerten Motorrad 4 ausgeht, angedeutet ist, steuert der

erste Benutzer 2 dieses mit unverminderter Geschwindigkeit weiter.

Hieraus wird sich mit hoher Wahrscheinlichkeit Szenario entwickeln, in welchem das Motorrad 4 mit dem durch das erste Fahrerassistenzsystem 7 gesteuerten Fahrzeug 1 kollidiert. Auch dies ist in Fig. 3b angedeutet. Eine solche Fahrsituation bzw. ein

solches Szenario entsprechen einer sehr hohen Gefährlichkeit.

Vorzugsweise wird durch das Simulieren der Verkehrssituation 3 eine initiale Geschwindigkeit und/oder eine initiale Trajektorie des Fahrzeugs 1 und/oder des Motorrads 4 vorgegeben.

In einem zweiten Arbeitsschritts 102 wird die virtuelle Verkehrssituation 3 an den ers-

ten Benutzer 2 über eine erste Benutzerschnittstelle 12 ausgegeben.

Mögliche Benutzerschnittstellen 12 sind in Fig. 4 beispielhaft dargestellt und umfassen vorzugsweise optische Benutzerschnittstellen, insbesondere Bildschirme, Audio-Benutzerschnittstellen, insbesondere Lautsprecher, und/oder eine Benutzerschnittstelle zur Stimulierung des Gleichgewichtssinns des ersten Benutzers 2.

In einem dritten Arbeitsschritt 103 werden Eingaben des ersten Benutzers 2 zum Steuern des Motorrads 4 in einem virtuellen Umfeld des ersten Verkehrsteilnehmers 1 über

eine zweite Benutzerschnittstelle 13 erfasst.

Auch die zweiten Benutzerschnittstellen 13 sind in Fig. 4 gezeigt. Vorzugsweise handelt es sich dabei um das Lenkrad, eine Gangschaltung, eine Handbremse, ein Bremspedal, eine Kupplung, und/oder ein Gaspedal sowie weitere etwaige Steuerinstru-

mente, welche einem Fahrer in einem Fahrzeug zur Verfügung stehen.

Je nachdem, welche Art von Verkehrsteilnehmer 1, 4, 5a, 5b, 5c, 5d, 6 der Benutzer 2 steuert, können jedoch auch andere Eingabemittel als Benutzerschnittstelle 13 vorhanden sein, beispielsweise eine Art Joystick.

Wie bereits erläutert, ist der erste Verkehrsteilnehmer 1 in den Fig. 3a und 3b das Motorrad 4. Beim Simulieren der in den Fig. 3a und 3b gezeigten Verkehrssituation 3 werden die erfassten Eingaben des ersten Benutzers 2 und die daraus resultierende Wechselwirkung des Motorrads 4, d. h. des ersten Verkehrsteilnehmers, mit seinem virtuellen Umfeld berücksichtigt.

Die Wechselwirkung in den in Fig. 3a und 3b gezeigten Verkehrssituationen 3 ist beispielsweise, wie der erste Benutzer 2 auf das initiale Szenario reagiert. Je nach Reaktion des ersten Benutzers 2 auf dieses initiale Szenario werden auch die anderen Verkehrsteilnehmer, insbesondere das entgegenkommende Fahrzeug 1 sowie das weitere entgegenkommende Fahrzeug 5a sowie der Fußgänger 6, reagieren. Beispielsweise ist damit zu rechnen, dass das entgegenkommend Fahrzeug 1 abbremst, wenn das Fahrerassistenzsystem 7 erfasst, dass das durch den ersten Benutzer 2 gesteuerte Fahrzeug 1 seine Geschwindigkeit nicht reduziert. Diese Wechselwirkungen ha-

ben wiederum einen Einfluss auf die Entwicklung der virtuellen Verkehrssituation 3.

Das Simulieren der Verkehrssituation 3 ist mithin ein kontinuierlicher Prozess, welcher, wie in Fig. 2 durch einen Pfeil angedeutet, beständig in einer Schleife verläuft und dabei Simulationsdaten erzeugt.

Während des Simulierens werden die Objekte, welche Teil der virtuellen Verkehrssituation 3 sind, vorzugsweise gelabelt. Dies betrifft sowohl statische als auch dynamische Objekte. Hierdurch umfassen spätere Daten, welche aus den Simulationsdaten

gewonnen werden können, die sogenannte Ground-Truth-Information.

Werden die Szenariendaten beispielsweise zum Testen eines Fahrerassistenzsystems 7 eingesetzt, kann nachvollzogen werden, welche Objekte das Fahrerassistenzsystem 7 zutreffend und welche es unzutreffend erfasst hat. Solche Labels sind beispielsweise Baum, Fußgänger, Personenkraftwagen, Lastkraftwagen, etc.

Weiter vorzugsweise werden in den Verkehrssituationen 3 Aktionen gesetzt, welche den ersten Benutzer zur Aktivität anregen. Beispielsweise könnte dies ein in der Verkehrssituation 3 der Fig. 3a und 3b ein weiteres Fahrzeug sein, welches dem durch den ersten Benutzer 2 gesteuerten Motorrad 4 folgt und dieses zum Beschleunigen drängt. Auch eine überraschende Bewegungstrajektorie des Fußgängers 6, beispiels-

weise indem dieser anfängt zu rennen, kann eine solche Aktion sein.

In einem vierten Arbeitsschritt 104 wird das Fahrerassistenzsystem 2 und mit diesem das von ihm gesteuerte Fahrzeug 1 in einem virtuellen Umfeld des Fahrzeugs betrieben, welches sich aus der Position und Ausrichtung des Fahrzeugs 1 in der simulierten Verkehrssituation 3 ergibt, welche durch die Simulation und die Steuerung des Motorrads 4 durch den ersten Benutzer 2 erschaffen wurde. Wie weiter unten beschrieben, kann hierbei sowohl die Hardware des Fahrerassistenzsystems 7 mit oder ohne Sensoren als auch lediglich die Software des Fahrerassistenzsystems 7 getestet betrieben

werden. Fehlende Hardwarekomponenten können simuliert werden.

Ein Beispiel für einen solchen Betrieb in dem virtuellen Umfeld ist in Fig. 4 dargestellt. Das Fahrzeug 1 mit der zu testenden Funktion oder dem zu testenden Fahrerassistenzsystem 2 wird in dem virtuellen Straßennetz betrieben, welches wenigstens eine virtuellen Verkehrssituation 3 enthält. Das Fahrzeug 1 muss auf seinem Weg vom Startpunkt zum vorgegebenen Zielpunkt eine Baustelle umfahren, welche ein Benutzer 2 zum Beeinflussen der Verkehrssituation erzeugt hat, durch simulierten Verkehr steuern, den Verkehr durch ein Fahrzeug 4 mit realem Fahrer meistern, etc. Daraus ergibt sich beispielsweise der strichliert eingezeichnete Fahrweg. Das Straßennetz mit den bereitgehaltenen Verkehrssituationen 2 ist vorzugsweise eine Plattform, in der Entwickler, z.B. eines Fahrzeugherstellers, Ihre Auto, vorzugsweise anonym, fahren lassen können. D.h., vorzugsweise sieht man welche Autos autonom fahren, aber nicht, von welchem Typ und/oder Hersteller. Vorzugsweise wird hierbei nicht nur die Funktion, sondern auch die Fahrdynamik simulativ abgebildet. Die Benutzer, welche

Verkehrsteilnehmer manuell steuern, können sich dann Austoben und versuchen, das

Fahrerassistenzsystem 7 des Fahrzeugs 1 aus dem Konzept zu bringen.

In einem fünften Arbeitsschritt 105 werden Szenarien erfasst, welche durch das Fahrverhalten des Fahrerassistenzsystem 7 in Bezug auf das von ihm gesteuerte Fahrzeug

1 in der Verkehrssituation 3 oder der Umgebung des Fahrzeugs 1 entstehen.

Hierbei können sowohl bereits bekannte Szenarien, welche schon früher aufgetreten sind oder als Schablone vordefiniert sind, abgeprüft werden, als auch noch nicht vor-

definierte Szenarien.

Beide Arten von Szenarien sind vorzugsweise durch vordefinierte Konstellationen simulierter Messgrößen, welche aus der virtuellen Verkehrssituation 3 bestimmt werden können, definiert. Diese vordefinierten Konstellationen bilden entweder die Schablonen für Szenarien, oder entsprechen elementaren Manövern, von welchen auf das Auftreten eines Szenarios geschlossen werden kann. Dies könnte beispielsweise eine starke Bremsverzögerung des Fahrzeugs 1 in den Fig. 3a und 3b sein, welche als Triggerbedingung für das Auftreten eines noch nicht vordefinierten Szenarios einge-

setzt wird.

In einem sechsten Arbeitsschritt 106 wird vorzugsweise eine Güte des entstandenen Szenarios in Abhängigkeit eines vordefinierten Kriteriums ermittelt, wobei die Güte vorzugsweise durch eine Gefährlichkeit eines des Szenarios charakterisiert ist. Vorzugsweise ist die Güte umso höher, je gefährlicher das entstandene Szenario ist. Eine Gefährlichkeit wird vorzugsweise durch sogenannte Time-to-X-Metriken bestimmt, wie sie beispielsweise in der Veröffentlichung „Metrik zur Bewertung der Kritikalität von Verkehrssituationen und -szenarien“; P. Junietz et al., 11. Workshop Fahrerassistenzsysteme und automatisiertes Fahren“, FAS 2017 beschrieben werden. Insbesondere können hierbei als Kriterien zum Einsatz kommen: Dauer bis zu einem Kollisionszeitpunkt (Time-to-Collision), Time-to-Kickdown, Time-to-Steer, Time-to-React, Distance-of-Closest-Encounter, Time-to-Closest-Encounter, Worst-Time-to-Collision. Weiter vorzugs-

weise wird die Gefährlichkeit durch eine Unfallwahrscheinlichkeit charakterisiert.

In einem siebten Arbeitsschritt 107 wird die ermittelte Güte vorzugsweise an den Benutzer 2 über eine der vorgenannten Schnittstellen ausgegeben. Dies kann nach je-

dem Entstehen eines neuen Szenarios oder nach dem Durchlaufen jedes neu

entstandenen Szenarios geschehen. Vorzugsweise kann dies aber auch erst nach dem Durchlaufen eine Mehrzahl von Szenarien geschehen.

Weiter vorzugsweise wird dem ersten Benutzer 2 in Abhängigkeit von der Güte des aufgetretenen Szenarios eine, insbesondere fiktive, Belohnung gutgeschrieben. Wei-

ter vorzugsweise gibt die fiktive Belohnung die Güte an.

In einem achten Arbeitsschritt 108 werden vorzugsweise Eingaben des ersten Benutzers über die erste Benutzerschnittstelle 12 oder die zweite Benutzerschnittstelle 13 erfasst. Diese weiteren Eingaben dienen zum Ändern der simulierten Verkehrssitua-

tion 3.

Vorzugsweise kann der erste Benutzer 2 hierbei Objekte in der Simulation der Verkehrssituation 3 verändern, ersetzten oder entfernen. Darüber hinaus kann er neue Objekte hinzufügen. Der erste Benutzer 2 kann hierdurch versuchen, die Verkehrssituation 3 in der Weise zu gestalten, dass diese möglichst komplex wird. Hierdurch kann er erreichen, Fehler des Fahrerassistenzsystems 7 beim Führen des Fahrzeugs 1 zu provozieren. So könnte der Benutzer 2 beispielsweise vorsehen, dass der Anhänger eines Lastkraftwagens als weiterem Verkehrsteilnehmer dieselbe Farbe wie der Himmel aufweist, um die Wahrnehmung durch einen optischen Sensor eines Fahrerassistenzsystems zu erschweren. Der Benutzer kann hierbei vorzugsweise auf eine Vielzahl von Möglichkeiten zur Veränderung der Verkehrssituation zurückgreifen. Einige Beispiele sind nachfolgend aufgeführt, welche einzeln oder zusammen zum Einsatz kommen: Texturen von Objekten ändern (z.B. Verkehrsschild-Print auf LKW); Baustellen aufbauen, z.B. mit Warnbaken mitten auf der Straße; einen Dinosaurier über die Straße laufen lassen (bspw. relevant in der Faschingszeit); bewusst Objekte so positionieren, dass sie sich gegenseitig überdecken; weiß gekleidete Person vor weißer Wand; verletzte Person auf der Straße; Martinshorn oder Hupe (es können auch akus-

tische Sensoren bei dem Fahrerassistenzsystem vorgesehen sein).

Vorzugsweise kommt hierbei eine Art Editor zum Einsatz, mit welcher der erste Benutzer 2 die Verkehrssituation 3 gestalten kann. Weiter vorzugsweise werden Operationen des ersten Benutzers 2 vorzugsweise aufgezeichnet und in einer Steuertabelle abgelegt. Auf diese Weise soll bestimmt werden können, durch welche Maßnahmen Verkehrssituationen 3 erschaffen werden können, welche zu besonders komplexen

Szenarien führen.

21736

In einem neunten Arbeitsschritt 109 wird die simulierte Verkehrssituation 3 vorzugsweise geändert. Dies geschieht entweder auf der Grundlage durch die erfassten Eingaben des ersten Benutzers 2. Vorzugsweise können hierbei aber auch zusätzlich 0der alternativ Algorithmen zum Ändern der simulierten Verkehrssituation 3 eingesetzt werden, insbesondere evolutionäre Algorithmen. Vorzugsweise werden beim Ändern lediglich existierende Parameter der Verkehrssituation 3 verändert. Beispielsweise die Farbe oder Geschwindigkeit existierender Objekte. Das grundlegende Design der Verkehrssituation 3 bleibt aber erhalten.

Mögliche Parameter, welche beeinflusst werden können sind: Geschwindigkeit, insbesondere eine initiale Geschwindigkeit, eines Verkehrsteilnehmers; eine Bewegungsrichtung, insbesondere eine Trajektorie, eines Verkehrsteilnehmers; Lichtverhältnisse; Witterung; Fahrbahnbeschaffenheit; Temperatur; Anzahl und Position statischer und/oder dynamischer Objekte; Zustand und Erscheinen statischer und/oder dynamischer Objekte; eine Geschwindigkeit und eine Bewegungsrichtung, insbesondere eine Trajektorie, der dynamischen Objekte; Zustand von Signalanlagen, insbesondere Lichtsignalanlagen; Verkehrszeichen; Anzahl der Fahrspuren; Beschleunigung oder Bremsverzögerung von Verkehrsteilnehmern oder Objekten; Verschmutzungs- und/oder Alterungserscheinungen der Fahrbahn; geographische Ausrichtung der Verkehrssituation. Insbesondere Farben, Texturen, Formen und Kleidung von Objekten und/oder der Sonnenstand und die Einfallsrichtung des Sonnenlichts in die Verkehrssitua-

tion 3 können verändert werden.

Auch wenn das Verfahren 100 zum Testen eines Fahrerassistenzsystems 7 im Vorhergehenden in Bezug auf ein zu testendendes Fahrerassistenzsystem 7 eines Fahrzeugs 1 und einen Benutzer 2 beschrieben wurde, welcher einen ersten Verkehrsteilnehmer 4 steuert, ist es jedoch auch möglich, dass Fahrerassistenzsysteme mehrerer Fahrzeuge mittels des Verfahrens 100 getestet werden und/oder dass mehrere Verkehrsteilnehmer durch Benutzer gesteuert werden. Beispielsweise könnte der Fußgänger 6 durch einen zweiten Benutzer gesteuert werden. D.h., dass mehrere Fahrzeuge in der simulierten Verkehrssituation durch Fahrerassistenzsysteme gesteuert werden können und/oder dass mehrere weitere Verkehrsteilnehmer durch weitere Be-

nutzter gesteuert werden können.

In Fig. 5 ist ein System 10 zum Erzeugen von Szenarien zum Testen eines Fahreras-

sistenzsystems eines Fahrzeugs dargestellt.

Dieses System 10 weist vorzugsweise Mittel 11 zum Simulieren einer virtuellen Verkehrssituation 3, welche eine Mehrzahl an virtuellen Verkehrsteilnehmern aufweist, auf. Um einen Verkehrsteilnehmer 4 durch einen ersten Benutzer 2 steuerbar zu machen, weist das System des Weiteren wenigstens eine erste Benutzerschnittstelle 12

und wenigstens eine zweite Benutzerschnittstelle 13 auf.

Die wenigstens eine erste Benutzerschnittstelle bzw. Benutzerschnittstellen 12 dienen zum Ausgeben eines virtuellen Umfelds wenigstens einen ersten Verkehrsteilnehmer 1 an den ersten Benutzer 2. Das virtuelle Umfeld des wenigstens einen ersten Verkehrsteilnehmers 4 ist hierbei auf der Grundlage der simulierten virtuellen Verkehrssituation 3 ermittelt. Im Wesentlichen handelt es sich dabei um eine Darstellung der virtuellen Verkehrssituation 3 in dem initialen Szenario aus der Sicht des ersten Verkehrsteilnehmers 4, welchen der erste Benutzer 2 steuert.

Wie in Fig. 5 dargestellt, handelt es sich bei diesen Benutzerschnittstellen 12 um optische Benutzerschnittstellen wie Bildschirme und Audio-Schnittstellen wie Lautsprecher und gegebenenfalls Vorrichtungen, mit welchen der Gleichgewichtssinn des je-

weiligen Benutzers 2 beeinflusst werden kann.

Die zweite Benutzerschnittstelle bzw. Benutzerschnittstellen 13 sind eingerichtet, um Eingaben des jeweiligen Benutzers 2 zu erfassen. Hierbei handelt es sich, wie in Fig. 4 gezeigt, vorzugsweise um verschiedene Bedienelemente. Diese können, wie bereits oben erläutert, in Abhängigkeit des jeweiligen von dem Benutzer 2 gesteuerten Verkehrsteilnehmers 1 abhängig sein. Ist der durch den ersten Benutzer 2 gesteuerte Verkehrsteilnehmer 1 ein Fahrzeug, so sind die Benutzerschnittstellen 12, 13 vorzugsweise im Bereich einer sogenannten Sitzkiste 19 angeordnet, welche zusammen mit

den Benutzerschnittstellen 12, 13 ein Simulator bildet, wie in Fig. 4 dargestellt.

Des Weiteren weist das System 10 vorzugsweise Mittel 14 zum Betreiben des Fahrerassistenzsystems 2 in einem virtuellen Umfeld des Fahrzeugs 1 auf der Grundlage der simulierten Verkehrssituation 3, auf. Das Fahrerassistenzsystem 2 fährt das Fahrzeug 1 durch diese Verkehrssituation 3 und zeigt hierbei ein gewisses Fahrverhalten. Weiterhin weist das System 10 vorzugsweise Mittel 15 zum Bestimmen Erfassen eines

Szenarios auf, welches durch das Fahrverhalten des Fahrerassistenzsystems 2 in dem virtuellen Umfeld des Fahrzeugs 1 entsteht. Weiter vorzugsweise weist das System 10 vorzugsweise Mittel 16 zum Ermitteln einer Güte des simulierten Szenarios des 3 entstandenen Szenarios in Abhängigkeit eines vordefinierten Kriteriums in Bezug auf die entstandene Fahrsituation, insbesondere einer Gefährlichkeit der entstandenen Fahrsituation des entstandenen Szenarios, auf. Die erste oder die zweite Benutzerschnittstelle 12,13, insbesondere ein Display, sind des Weiteren eingerichtet, um die Güte an den Benutzer auszugeben. Des Weiteren kann eine Datenschnittstelle vorgesehen sein, welche eingerichtet ist, um die Szenariendaten zur weiteren Verarbeitung auszugeben. Vorzugsweise sind die Mittel 11, 14, 15, 16, 17, 18 Teil einer Datenverarbei-

tungseinrichtung, welche vorzugsweise durch einen Computer gebildet wird.

Ein Mittel 14 zum Betreiben eines Fahrerassistenzsystems 7 ist nochmals in Fig. 6 im

Detail dargestellt.

Ein solches Mittel 14 weist vorzugsweise eine Einrichtung 20 auf, welche eingerichtet ist, um ein virtuelles Umfeld des Fahrzeugs 1 auf der Grundlage der Szenariendaten zu simulieren. Des Weiteren sind die Mittel 20 eingerichtet, um dieses Umfeld auch zu

rendern.

Eine Schnittstelle 21 ist eingerichtet, um das virtuelle Umfeld eines Fahrerassistenzsystems auszugeben bzw. zu emulieren. Eine solche Schnittstelle 21 kann, wenn das

Fahrerassistenzsystem 7 eine optische Kamera aufweist, ein Bildschirm sein.

In dem in Fig. 6 dargestellten Beispiel ist der Sensor des Fahrerassistenzsystems 7 ein Radarsensor, welcher ein Signal S aussendet. Dieses Signal S wird von Radaran-

tennen 21 erfasst, welche die Schnittstelle bilden.

Die Mittel 20 zum Simulieren berechnen auf der Grundlage des erfassten Signals und des simulierten Umfelds ein Antwortsignal S', welches wiederum an das Radar des Fahrerassistenzsystems 7 über Radarantennen ausgegeben wird. Auf diese Weise kann die Funktion des Fahrerassistenzsystems 7 getestet werden. Je nachdem, welche Komponenten eines Fahrerassistenzsystems 7 getestet werden sollen, kann das simulierte virtuelle Umfeld, wie in Fig. 6 gezeigt, durch Emulation von Signalen an den

Sensor des Fahrerassistenzsystems 7 getestet werden.

24 / 36

Alternativ kann aber auch ein Signal S‘ erzeugt werden, welches direkt in die Datenverarbeitungseinheit 7 des Fahrerassistenzsystems eingespeist wird oder auch ein Signal S', welches lediglich durch die Software des Fahrerassistenzsystems 7 verarbeitet wird.

Es wird darauf hingewiesen, dass es sich bei den Ausführungsbeispielen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendung und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung mindestens eines Ausführungsbeispiels gegeben, wobei diverse Änderungen, insbesondere im Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquiva-

lenten Merkmalskombinationen ergibt.

Claims (16)

Patentansprüche

1. Computerimplementiertes Verfahren (100) zum Testen eines Fahrerassistenzsystems (2) eines Fahrzeugs (1), folgende Arbeitsschritte aufweisend:

Simulieren (101) einer virtuellen Verkehrssituation (3), welche das Fahrzeug (1) und wenigstens einen weiteren Verkehrsteilnehmer (4, ba, 5b, 5c, 5d, 6) aufweist, wobei ein erster Verkehrsteilnehmer (4) von einem ersten Benutzer (2) steuerbar ist und wobei weitere Verkehrsteilnehmer (5a, 5b, 5c, 5d, 6), welche nicht von Benutzern steuerbar sind, automatisiert, insbesondere durch künstliche Intelligenz oder Logik-basiert, gesteuert werden;

Ausgeben (102), auf der Grundlage der virtuellen Verkehrssituation (3), eines virtuellen Umfelds des wenigstens einen ersten Verkehrsteilnehmers (4) an den ersten Benutzer (2) über eine erste, insbesondere wenigstens optische, Benutzerschnittstelle (12);

Erfassen (103) von Eingaben des ersten Benutzers (2) zum Steuern des wenigstens einen ersten Verkehrsteilnehmers (4) in dem virtuellen Umfeld des ersten Verkehrsteilnehmers (4) über eine zweite Benutzerschnittstelle (13), wobei beim Simulieren der virtuellen Verkehrssituation (3) die erfassten Eingaben des ersten Benutzers (2) und die daraus resultierende Wechselwirkung des wenigstens einen ersten Verkehrsteilnehmers (4) mit seinem virtuellen Umfeld berücksichtigt

werden; Betreiben (104) des Fahrerassistenzsystems (2) in einem virtuellen Umfeld des Fahrzeugs (1) auf der Grundlage der simulierten Verkehrssituation (3), wobei das

Fahrerassistenzsystem (2) ein Fahrverhalten zeigt;

Erfassen (105) eines Szenarios, welches durch das Fahrverhalten des Fahreras-

sistenzsystems (2) in dem virtuellen Umfeld des Fahrzeugs (1) entsteht;

Ermitteln (106) einer Güte des entstandenen Szenarios in Abhängigkeit eines vordefinierten Kriteriums, insbesondere einer Gefährlichkeit des entstandenen

Szenarios; und

Ausgeben (107) der Güte an den Benutzer über die erste oder eine zweite Benutzerschnittstelle, insbesondere ein Display.

2. Verfahren (100) nach Anspruch 1, des Weiteren den Arbeitsschritt aufweisend: Erfassen (108) von Eingaben des ersten Benutzers (2) über die erste Benutzerschnittstelle (12) oder die zweite Benutzerschnittstelle (13) zum Ändern der simulierten Verkehrssituation (3), vorzugsweise mittels eines Editors , wobei Operationen des ersten Benutzers (2) vorzugsweise aufgezeichnet und in einer Steu-

ertabelle abgelegt werden.

3. Verfahren (100) nach Anspruch 1, des Weiteren den Arbeitsschritt aufweisend: Ändern (109) der simulierten Verkehrssituation (3) auf der Grundlage der ermittelten Güte, insbesondere bis eine Abbruchbedingung erreicht ist.

4. Verfahren (100) nach einem der vorhergehenden Ansprüche 1 bis 3, wobei durch das Simulieren eine Geschwindigkeit, insbesondere eine initiale Geschwindigkeit, des Fahrzeugs (1) und/oder des wenigstens einen weiteren ersten Verkehrsteilnehmers (4) und/oder eine Trajektorie, insbesondere eine initiale Trajektorie, des Fahrzeugs (1) und/oder des wenigstens einen weiteren ersten Verkehrsteilnehmers (4) vorgegeben wird.

5. Verfahren (100) nach einem der vorhergehenden Ansprüche 2 bis 4, wobei beim Ändern der simulierten Verkehrssituation (3) ausschließlich Werte von existieren-

den Parametern der simulierten Verkehrssituation (3) verändert werden.

6. Verfahren (100) nach einem der vorhergehenden Ansprüche 1 bis 5, wobei Parameter des Szenarios (3), je nach Art des zu testenden Fahrerassistenzsystems (2), aus der folgenden Gruppe ausgewählt sind: Geschwindigkeit, insbesondere eine initiale Geschwindigkeit, eines Verkehrsteil-

nehmers; eine Bewegungsrichtung, insbesondere eine Trajektorie, eines

Verkehrsteilnehmers; Lichtverhältnisse; Witterung; Fahrbahnbeschaffenheit; Temperatur; Anzahl und Position statischer und/oder dynamischer Objekte; Zustand und Erscheinen statischer und/oder dynamischer Objekte; eine Geschwindigkeit und eine Bewegungsrichtung, insbesondere eine Trajektorie, der dynamischen Objekte; Zustand von Signalanlagen, insbesondere Lichtsignalanlagen; Verkehrszeichen; Anzahl der Fahrspuren; Beschleunigung oder Bremsverzögerung von Verkehrsteilnehmern oder Objekten; Verschmutzungs- und/oder Alterungserscheinungen der Fahrbahn, geographische Ausrichtung der Verkehrssi-

tuation.

7. Verfahren (100) nach einem der vorhergehenden Ansprüche 1 bis 6, wobei die Güte durch eine, insbesondere fiktive, Belohnung für den Benutzer charakterisiert ist.

8. Verfahren (100) nach einem der vorhergehenden Ansprüche 1 bis 7, wobei die Güte höher ist, je gefährlicher das jeweils entstandene Szenario (3) ist, insbesondere je kürzer eine berechnete Dauer bis zu einem Kollisionszeitpunkt ist.

9. Verfahren (100) nach einem der vorhergehenden Ansprüche 1 bis 8, wobei das Verändern des simulierten Szenarios (3) unter Verwendung evolutionärer Algo-

rithmen vorgenommen wird.

10. Verfahren (100) nach einem der vorhergehenden Ansprüche 1 bis 9, wobei auf der Grundlage der ermittelten Güte eine Nutzenfunktion approximiert wird, welche beschreibt, welchen Güte-Wert ein bestimmtes simuliertes Szenario (3) hat.

11. Verfahren (100) einem der vorhergehenden Ansprüche 1 bis 10, wobei das Fah-

rerassistenzsystem (2) simuliert wird.

12. Verfahren (100) nach einem der vorhergehenden Ansprüche 1 bis 11, wobei beim initialen Simulieren des Szenarios historische Daten aus früheren Testbetrieben eines Fahrerassistenzsystems (2), insbesondere des Fahrerassistenzsystems (2), berücksichtigt werden.

13. Verfahren (100) einem der vorhergehenden Ansprüche 1 bis 12, wobei beim Betreiben des Fahrerassistenzsystems (2) Daten in Bezug auf das Umfeld (4) des Fahrzeugs (1) in das Fahrerassistenzsystem (2) eingespeist werden und/oder das Fahrerassistenzsystem (2), insbesondere dessen Sensoren, auf der Grundlage des Umfelds (4) des Fahrzeugs (1) stimuliert werden.

14. Computerprogramm, das Anweisungen umfasst, welche, wenn sie von einem Computer ausgeführt werden, diesen dazu veranlassen, die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 13 auszuführen.

15. Computer-lesbares Medium, auf dem ein Computerprogramm nach Anspruch 14

gespeichert ist.

16. System (10) zum Erzeugen von Szenarien zum Testen eines Fahrerassistenz-

systems eines Fahrzeugs (1), aufweisend:

Mittel (11) zum Simulieren einer virtuellen Verkehrssituation (3), welche das Fahrzeug und wenigstens einen weiteren Verkehrsteilnehmer (1, 4, ba, 5b, 5c, 5d, 6) aufweist, wobei ein erster Verkehrsteilnehmer (4) von einem ersten Benutzer (2) steuerbar ist und wobei weitere Verkehrsteilnehmer (5a, 5b, 5c, 5d, 6), welche nicht von Benutzern steuerbar sind, automatisiert, insbesondere durch

künstliche Intelligenz oder Logik-basiert, gesteuert werden;

eine erste, insbesondere wenigstens optische, Benutzerschnittstelle (12) zum Ausgeben, auf der Grundlage der virtuellen Verkehrssituation (3), eines virtuellen Umfelds des wenigstens einen ersten Verkehrsteilnehmers (4) an den ersten Be-

nutzer (2); und

eine zweite Benutzerschnittstelle (13) zum Erfassen von Eingaben des ersten Benutzers (2) zum Steuern des wenigstens einen ersten Verkehrsteilnehmers (4) in dem virtuellen Umfeld des ersten Verkehrsteilnehmers (4), wobei beim Simulieren der virtuellen Verkehrssituation (3) die erfassten Eingaben des ersten Benutzers (2) und die daraus resultierende Wechselwirkung des wenigstens einen

ersten Verkehrsteilnehmers (1) mit seinem virtuellen Umfeld berücksichtigt werden;

Mittel (14) zum Betreiben des Fahrerassistenzsystems (2) in einem virtuellen Umfeld des Fahrzeugs (1) auf der Grundlage der simulierten Verkehrssituation (3), wodurch das Fahrerassistenzsystem (2) ein Fahrverhalten zeigt;

Mittel (15) zum Erfassen eines Szenarios, welches durch das Fahrverhalten des Fahrerassistenzsystems (2) in dem virtuellen Umfeld des Fahrzeugs (1) entsteht;

und Mittel (16) zum Ermitteln einer Güte des entstandenen Szenarios in Abhängigkeit eines vordefinierten Kriteriums, insbesondere einer Gefährlichkeit des entstan-

denen Szenarios;

wobei die erste oder die zweite Benutzerschnittstelle (12, 13), insbesondere ein Display, des Weiteren eingerichtet ist, die Güte an den Benutzer (2) auszugeben.