DE102019212602A1

DE102019212602A1 - Verfahren zum quantitativen Charakterisieren zumindest einer zeitlichen Sequenz eines Objektattribut-Fehlers eines Objektes

Info

Publication number: DE102019212602A1
Application number: DE102019212602.2A
Authority: DE
Inventors: Lars Wagner; Thomas Grosser; Patrick Weber; Achim Feyerabend
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-09-26
Filing date: 2019-08-22
Publication date: 2020-03-26
Also published as: US20200094849A1; CN110954111A

Abstract

Es wird ein Verfahren zum quantitativen Charakterisieren zumindest einer zeitlichen Sequenz eines Objektattribut-Fehlers eines Objektes, für zumindest ein Szenario einer Mehrzahl von Szenarien angegeben, wobei das Objekt von zumindest einem Sensor einer Mehrzahl von Sensoren erfasst wurde, mit den Schritten:Bereitstellen zumindest einer zeitlichen Sequenz von Sensordaten einer Mehrzahl von zeitlichen Sequenzen von Sensordaten des zumindest einen Sensors, für das zumindest eine Szenario;Bestimmen von zumindest einer zeitlichen Sequenz von zumindest einem Objektattribut des Objektes mittels der zumindest einen zeitlichen Sequenz von Sensordaten;Bereitstellen einer, der zeitlichen Sequenz der Objektattribute entsprechenden, Sequenz eines Referenz-Objektattributes des Objektes des Szenarios;Bestimmen einer Sequenz von Objektattribut-Differenz durch Vergleichen der Sequenz des Objektattributes mit der Sequenz des Referenz-Objektattributes des Objektes für das Szenario;Erstellen eines Fehlermodells, zur Beschreibung von zeitlichen Sequenzen von Objektattribut-Fehlern von Objekten für das Szenario, wobei das Objekt mit dem zumindest einen Sensor erfasst wurde, mittels der zeitlichen Sequenz der Objektattribut-Differenz, zur quantitativen Charakterisierung des Objektattribut-Fehlers.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum quantitativen Charakterisieren zumindest einer zeitlichen Sequenz eines Objektattribut-Fehlers eines Objektes, für zumindest ein Szenario einer Mehrzahl von Szenarien, wobei das Objekt von zumindest einem Sensor einer Mehrzahl von Sensoren erfasst wurde
Stand der Technik
Für eine Freigabe von hoch- oder zumindest teilautomatisierten Fahrzeugen, insbesondere mit Pilotenfunktionen des Automatisierungsgrades Level 3 oder höher (nach Norm SAE J3016) stellt ein Testen für einen Freigabeprozess für ein Steuerungssystem des zumindest teilautomatisierten Fahrzeugs eine besondere Herausforderung dar. Dies liegt daran, dass zum einen derartige Systeme äußerst komplex sind und zum anderen die Systeme im Feld sogenannten „open World“ oder „open Kontext“ Situationen ausgesetzt sind. Im Detail bedeutet dies, dass die exakte Zusammensetzung (Akteure, Fahrbahn, Manöver, etc.) der Fahrsituationen und deren Ausführung während des Entwicklungsprozess nur beschränkt abgesichert werden kann. Manche Situationen können nur bei hohen Anforderungen an die Leistung des Testsystems erfasst werden, was manchmal auch zu einer Beschränkung der Testabdeckung führt.
Offenbarung der Erfindung
Existierende Testmethoden für ein Steuerungssystem des zumindest teilautomatisierten Fahrzeugs sind nicht in der Lage alle Aspekte eines solchen Tests gleichzeitig zu berücksichtigen:

a) Dauertestfahrten des gesamten Steuerungssystems beispielsweise im Verkehrsraum, die am Ende der Entwicklung oder auch schon während des Entwicklungsprozesses des Systems durchgeführt werden, können aus praktischen und wirtschaftlichen Gründen nur Fahrdistanzen in der Größenordnung von 10⁴ km abdecken. Interessante und gegebenenfalls besonders kritische Situationen sind daher oft unterrepräsentiert.
b) Ein Testen auf Teststrecken kann zwar einige interessante Situationen nachbilden, sie haben aber, was die gefahrene Strecke angeht, die gleichen Probleme wie Dauerläufe, da das jeweilige Umgestalten des Szenarios sehr Zeitaufwendig und teuer ist. Außerdem sind einige Szenarien auf Teststrecken nicht umsetzbar.
c) Eine Auswertung von Versuchen mit einer Mehrzahl von Sensoren und dem Steuerungssystem auf Basis gelabelter Daten, also im Vergleich mit ground-truth Daten, leistet nur eine unvollständige Aussage der Reaktion des gesamten Systems nach der Optimierung der Algorithmen. Die Methode vernachlässigt den Aspekt der Rückkopplung, d.h. ein anderer Verlauf des Szenarios, aufgrund anderen System-Verhaltens als in der ursprünglichen Messung, ist nicht möglich.
d) Virtuelle Simulationsfahrten des gesamten automatisierten Systems, also inklusive einer simulierten Fahrzeugdynamik, als „Software in the Loop“(SiL) mit gekoppelter Weltsimulation, sind zwar beispielsweise, je nach Detailgrad, bis zu 10⁵ -10⁷ km skalierbar und können insbesondere interessante Situationen nachbilden, sind jedoch sehr eingeschränkt darin realistische Messdaten beispielsweise von Sensoren, die für die Repräsentation der Umgebung des Fahrzeuges eingerichtet sind, abzubilden. Die benötigten Chassis Systems Control Sensormodelle liegen oft nicht vor, bzw. können nur schwer validiert werden, und nur mit großem Aufwand und Performanceeinbußen in die Weltsimulation integriert werden.

Die vorliegende Erfindung offenbart ein Verfahren zum quantitativen Charakterisieren zumindest einer zeitlichen Sequenz eines Objektattribut-Fehlers eines Objektes, eine Vorrichtung, ein Computerprogramm, sowie ein maschinenlesbares Speichermedium gemäß den Merkmalen der unabhängigen Ansprüche, die die oben genannten Aufgaben zumindest zum Teil lösen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
Die Erfindung beruht auf der Erkenntnis, dass gemessene zeitliche Sequenzen von Objektattribut-Fehlern von Objekten, die mittels eines Sensors erfasst wurden, abhängig vom Sensortyp und entsprechend unterschiedlicher Szenarien, mithilfe von statistischen Fehlermodellen gut nachgebildet werden können.
Dadurch ergibt sich auch die Möglichkeit ideale zeitliche Sequenzen von Objektattributen von Objekten, mit so generierten Sequenzen von Fehlerwerten zu beaufschlagen, um realitätsnah Objektattribut-Fehler der relevanten Objekte nachbilden zu können.
Gemäß einem Aspekt wird ein Verfahren zum quantitativen Charakterisieren zumindest einer zeitlichen Sequenz eines Objektattribut-Fehlers eines Objektes, für zumindest ein Szenario einer Mehrzahl von Szenarien vorgeschlagen, wobei das Objekt von zumindest einem Sensor einer Mehrzahl von Sensoren erfasst wurde.
In einem Schritt wird zumindest eine zeitliche Sequenz von Sensordaten einer Mehrzahl von zeitlichen Sequenzen von Sensordaten des zumindest einen Sensors, für das zumindest eine Szenario bereitgestellt.
In einem weiteren Schritt wird zumindest eine zeitliche Sequenz von zumindest einem Objektattribut des Objektes mittels der zumindest einen zeitlichen Sequenz von Sensordaten bestimmt.
In einem weiteren Schritt wird eine, der zeitlichen Sequenz der Objektattribute entsprechende, Sequenz eines Referenz-Objektattributes des Objektes des Szenarios bereitgestellt.
In einem weiteren Schritt des Verfahrens wird eine Sequenz von Objektattribut-Differenz durch Vergleichen der Sequenz des Objektattributes mit der Sequenz des Referenz-Objektattributes des Objektes für das Szenario bestimmt.
In einem weiteren Schritt wird ein Fehlermodell mittels der zeitlichen Sequenz der Objektattribut-Differenz, zur Beschreibung von zeitlichen Sequenzen von Objektattribut-Fehlern von Objekten für das Szenario erstellt, wobei das Objekt mit dem zumindest einen Sensor erfasst wurden, zur quantitativen Charakterisierung des Objektattribut-Fehlers.
Mit diesem Verfahren können realistische Fehler, die aus real aufgenommenen Datensequenzen abgeleitet werden, bereitgestellt werden, um sie beispielsweise in einer Simulation für eine Validierung von Fahrzeugsteuerungen verwendet werden. Dazu werden Sequenzen dieser Fehler auf Objektattribute von synthetischen Objekten aufgeprägt, um den Einfluss der Fehler der Objektattribute in der Simulation überprüfen zu können.
Gemäß einem Aspekt wird vorgeschlagen, dass die Zeitbasis der zumindest einen zeitlichen Sequenz von zumindest einem Objektattribut des Objektes und die Zeitbasis der, der zeitlichen Sequenz der Objektattribute entsprechenden, zeitlichen Sequenz eines Referenz-Objektattributes vor der Bestimmung der Objektattribut-Differenz für die Bildung der Differenz einander angepasst werden.
Insbesondere können diese beiden Zeitbasen dadurch einander angepasst werden, dass sie einer gemeinsamen äquidistanten Zeitbasis angepasst werden.
Durch die Verwendung einer gemeinsamen Zeitbasis kann eine Vielzahl von unterschiedlichen Sensortypen und eine Vielzahl von Referenz-Objektattributen miteinander verglichen werden, um daraus einen Objektattribut-Fehlers abzuleiten.
Gemäß einem Aspekt wird vorgeschlagen, dass das Objekt zum quantitativen Charakterisieren zumindest einer zeitlichen Sequenz eines Objektattribut-Fehlers von einer Mehrzahl von Sensoren erfasst wird.
In einem Schritt wird zumindest eine zeitliche Sequenz einer Mehrzahl von zeitlichen Sequenzen von Sensordaten jedes Sensors der Mehrzahl von Sensoren, für das zumindest eine Szenario bereitgestellt.
In einem weiteren Schritt wird von zumindest einer zeitlichen Sequenz von zumindest einem Objektattribut des Objektes mittels der zumindest einen zeitlichen Datensequenz jedes Sensors der Mehrzahl von Sensoren bestimmt.
In einem weiteren Schritt wird die resultierenden Mehrzahl von zeitlichen Sequenzen der Objektattribute des Objektes mittels der einzelnen Objektattribute der Mehrzahl der Sensoren fusioniert.
In einem weiteren Schritt wird eine, der zeitlichen Sequenz der Objektattribute entsprechende, Sequenz eines Referenz-Objektattributes des Objektes des Szenarios bereitgestellt.
In einem weiteren Schritt wird eine Sequenz einer Objektattribut-Differenz durch Vergleichen der Sequenz der fusionierten Objektattribute mit der Sequenz der Referenz-Objektattribute des Objektes für das Szenario bestimmt.
In einem weiteren Schritt wird ein Fehlermodell mittels der Sequenz der fusionierten Objektattribut-Differenz, zur Beschreibung von zeitlichen Sequenzen der Objektattribut-Fehler von Objekten für das Szenario erstellt, wobei das Objekt von der Mehrzahl der Sensoren erfasst wurden, zur quantitativen Charakterisierung des Objektattribut-Fehlers.
Erstellen eines Fehlermodells mittels der zeitlichen Sequenz der Objektattribut-Differenz, zur Beschreibung von zeitlichen Sequenzen von Objektattribut-Fehlern von Objekten für das Szenario, wobei das Objekt mit dem zumindest einen Sensor erfasst wurde, zur quantitativen Charakterisierung des Objektattribut-Fehlers.
Somit wird der Objektattribut-Fehler oder auch das Sensorrauschen, bzw. der Sensorfehler auf Ebene der typischen Attribute der mit einem Einzelsensor erfassten Objekte, sowie mit einer Mehrzahl von Sensoren erfassten Objekt mittels der fusionierten Objekte ermittelt - also vor und nach der Sensordatenfusion. Die Objektattribut-Differenz wird also auch Objektattributen von fusionierten Sensordaten ermittelt. Das kann die Genauigkeit der Objektattribute von den Objekten verbessern.
Der Objektattribut-Fehler bzw. das Sensorrauschen wird auf der Ebene der typischen Objektattribute der Einzelsensor Objekte und auf der Ebene der fusionierten Objekte ermittelt, also vor und nach der Sensordatenfusion.
Im Folgenden werden die Verfahrensschritte noch mal mit anderen Worten zusammengefasst:

Es werden die Attributdifferenzen/Deltas der ground truth estimate (GTE) und des Vehicle under Test (VuT) auf eine gemeinsame Zeitbasis umgerechnet.

Für diese Zuordnung werden bereits vorhandene Assoziationsalgorithmen aus dem metrischen Berechnungsmodul verwendet. Und es können für die Zuordnungen verschiedene Abstandsmaße zwischen dynamischen Objekten verwendet werden. D.h. jedes dynamische GTE/VuT-Objekt kann jeweils höchstens einem dynamischen VuT/GTE-Objekt zugeordnet werden. Dabei ist das Gating und die Abstandsmessung parametrisiert.
Wenn mittels der Daten mehr VuT-Objekte als GTE-Objekte (z.B. Geister) gibt, werden einige VuT-Objekte nicht berücksichtigt. Schließlich können die Attribut-Deltas zwischen GTE und VuT dynamischen Objekten berechnet werden.
Bemerkung: Es ist zu beachten, dass der Assoziationsalgorithmus sowie Parameter dieses Algorithmus, wie z.B. ein Gating-Schwellwert, einen Einfluss auf die Fehlermodellierung hat.
Dies muss bei der Erzeugung des Rauschens in der Simulation berücksichtigt werden, da nicht unbedingt klar ist, welches Rauschen das „richtige“ Rauschen ist, d.h. welches Modell das tatsächliche reale Rauschen richtig wiedergibt.
In diesem Zusammenhang sollte auch berücksichtigt werden, dass das Rauschen, das wie beschrieben modelliert wird, nur die Genauigkeit der Objekte darstellt, nicht die Integrität (im Sinne von Genauigkeits- und Integritätsmetriken).
Das Berechnen des Deltas der spezifizierten Attribute erfolgt für jeden GTE-Zustand, der zugeordnet ist. Berechnung von Attributdifferenzen/Deltas zwischen GTE und VuT.
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die bereitgestellte zugehörige Sequenz von Referenz-Objektattributen des Objektes des Szenarios mittels manuellem Labeling-Verfahren und/oder Referenzsensorik und/oder Jäger-Hase-Verfahren und/oder algorithmische Verfahren zur Referenzdatengenerierung, d.h. eine holistische Generierung von Referenz- Labeln, die sowohl die Vergangenheit als auch die Zukunft der Daten berücksichtigt, und/oder hochgenaue Kartendaten generiert werden.
Mit den unterschiedlichen Verfahren Referenz-Objektattribute zu generieren kann jeweils ein geeignetes Verfahren ausgewählt werden, dass am besten zu den Umständen passt. Dabei ist insbesondere das Verfahren mit der Referenzsensorik hervorzuheben, da in diesem Fall sowohl Sequenzen von Objektattributen von Objekten mit der Fahrzeugsensorik bestimmt werden kann, als auch mit der zusätzlich an das Fahrzeug adaptierten Referenzsensorik Sequenzen von Referenz-Objektattribute von Objekten bestimmt werden können.
Gemäß einem Aspekt wird vorgeschlagen, dass zumindest ein Szenario der Mehrzahl der Szenarien in Szenario-typische Kategorien aufgeteilt wird und jeder Kategorie ein entsprechendes Fehlermodell zugeordnet wird.
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die Szenarien Subszenarien aufweisen und die Kategorien den Szenarien und Subszenarien so zugeordnet werden, dass die Kategorien assoziierbar geschlüsselt sind.
Somit kann man für jedes Szenario und entsprechende Subszenarien die entsprechend zutreffenden Kategorien aussuchen, um ein geeignetes Fehlermodell auswählen zu können. Beispiele solcher Kategorien wären ein vorausfahrendes Fahrzeug, ein Fahrzeug auf der Nachbarspur, Fußgänger, die sich der Fahrbahn nähern etc.
Somit wird über die unterschiedliche spezifische Szenario-typische Kategorie der entsprechende Objektattribut-Fehler bzw. das entsprechende Monte Carlo Rauschen ausgewählt, der dann auf die synthetischen Objektattribute aufgeprägt werden kann. Dabei können die Kategorien auch hierarchisch aufgebaut sein. Somit ist die jeweilige Kategorie frei filterbar und Kategorie und der zugehöriges Objektattribut- Fehler kann beispielsweise in einem Assoziativspeicher abgelegt sein. Mit den Szenarien sind insbesondere Verkehrsszenarien oder Sensor Einsatzszenarien gemeint.
Gemäß einem Aspekt wird vorgeschlagen, dass das Fehlermodell eingerichtet ist, zeitliche Sequenzen der Objektattribut-Fehler spezifisch für Szenarien einer Mehrzahl von Szenarien mit einem zeitlichen Amplitudenverhalten der Sequenz der Objektattribut-Differenz und/oder einem Korrelationsverhalten der Sequenz der Objektattribut-Differenz und/oder einem Zeitverhalten der Sequenz der Objektattribut-Differenz zu generieren.
Mit diesem Verfahren kann erreicht werden, dass synthetisch generierten Objektattribute szenariospezifische Objektattribut-Fehler aufgeprägt werden, die in Bezug auf ihre statistischen Kennzahlen einer gemessenen Objektattribut-Differenz entsprechen.
Gemäß einem Aspekt wird vorgeschlagen, dass das Fehlermodell die zeitliche Sequenz des Objektattribut-Fehlers für ein Szenario mit einem statistischen Verfahren generiert, bei dem mittels einer Dichtefunktion und einem Zufallsläufer auf der Dichtefunktion eine Sequenz von Objektattribut-Fehlern generiert wird; und mit einem Ausdünnen der zeitlichen Sequenz von Objektattribut-Fehlern die Autokorrelationslänge an die Sequenz der Objektattribut-Differenz adaptiert wird; und mittels eines Dichteschätzers und eine Vielzahl von zeitlichen Sequenzen von Objektattribut-Differenzen einer Mehrzahl unterschiedlicher Objektattribute des Szenarios die, für die Mehrzahl von Objektattribute gemeinsame, Dichtefunktion generiert wird.
Es ergibt sich somit eine situationsspezifische und realistische Beeinträchtigung der Performance der Sensoren, die durch den Objektattribut-Fehler bezüglich Amplituden-, Korrelations- und Zeitverhalten in Schlüsselszenarien realisiert werden kann.
Gemäß einem Aspekt wird vorgeschlagen, dass das Fehlermodell eingerichtet ist zeitliche Sequenzen einer Existenzwahrscheinlichkeit von zumindest einem Objekt der Umgebung zu generieren.
Die Statistik über das Rauschen und/oder die Fehler in den Attributen beinhaltet z.B. Positions- und Geschwindigkeitsfehler, aber auch Existenzwahrscheinlichkeiten von Objekten in Abhängigkeit verschiedener Sensoreigenschaften, Einflussfaktoren, wie z.B. Geschwindigkeit, Verkehrsszenario, usw. und Umwelteinflüssen, wie z.B. Sichtverhältnisse, Wetter, usw...
Es wird ein Verfahren gemäß Anspruch 7 oder 8, zur Validierung einer Fahrzeugsteuerung (175) in einer Simulation, mit zumindest einem Szenario einer Vielzahl von Szenarien in einer Simulationsumgebung vorgeschlagen, wobei die Simulationsumgebung zumindest ein Objekt aufweist und das Verfahren in einem Schritt zumindest eine zeitliche Sequenz von Sensordaten zumindest eines Sensors für eine Repräsentation des zumindest einen Objektes, entsprechend dem Szenario bereitstellt. In einem weiteren Schritt wird eine zeitliche Sequenz zumindest eines Objektattributes des zumindest einen Objektes mittels der zumindest einen zeitlichen Sequenzen der Sensordaten bestimmt. In einem weiteren Schritt wird ein Fehlermodell des zumindest einen Sensors, entsprechend einem Typ des zumindest einen Sensors und entsprechend dem Szenario bereitgestellt.
In einem weiteren Schritt wird eine zeitliche Sequenz eines Objektattribut-Fehlers mittels des Fehlermodells für das zumindest eine Objektattribut des zumindest einen Objektes generiert.
In einem weiteren Schritt wird die zeitliche Sequenz des Objektattribut-Fehlers auf die zeitliche Sequenz des zumindest einen Objektattributes des zumindest einen Objektes aufgeprägt.
In einem weiteren Schritt wird die zeitliche Sequenz des zumindest einen Objektattributes mit dem aufgeprägten Fehlerbeitrag für die Fahrzeugsteuerung, zur Validierung der Fahrzeugsteuerung in dem Szenario, bereitgestellt.
Dabei umfasst der Begriff Validierung einer Fahrzeugsteuerung auch eine Verifikation einer Fahrzeugsteuerung, so dass der Begriff Validierung in diesem Zusammenhang auch mit dem Begriff Verifikation ausgetauscht werden kann und umgekehrt.
Mit diesem Verfahren ist es möglich spezifische Szenarien in einer Simulation zu realisieren und mit der Einspeisung von realistischen Fehlern, die den Objektattributen aufgeprägt werden, und in Bezug auf ihre statistische Charakterisierung Objektattributen aus real aufgenommenen Sensordaten entsprechen.
In diesem Verfahren wird in der simulierten Welt ein Fahrzeug von einem realen Fahrzeug-Steuergerät gefahren und kann somit sehr spezifisch getestet und verifiziert werden.
Es wird ein Verfahren gemäß Anspruch 7 oder 8, zur Validierung einer Fahrzeugsteuerung in einem Fahrzeug, in einer Umgebung, die zumindest ein Objekt aufweist vorgeschlagen. Bei diesem Verfahren wird in einem Schritt zumindest eine zeitliche Sequenz von Sensordaten zumindest eines Referenz-Sensors zum Erfassen des zumindest einen Objektes der Umgebung bestimmt. In einem weiteren Schritt wird eine zeitliche Sequenz zumindest eines Objektattributes des zumindest einen Objektes mittels der zumindest einen zeitlichen Sequenz der Sensordaten bestimmt.
In einem weiteren Schritt wird das Szenario der Umgebung des Fahrzeugs mittels der zumindest einen zeitlichen Sequenz der Sensordaten identifiziert.
In einem weiteren Schritt wird ein Fehlermodell entsprechend einem Typ eines Test-Sensors und entsprechend dem identifizierten Szenario bereitgestellt.
In einem weiteren Schritt des Verfahrens wird eine zeitliche Sequenz eines Objektattribut-Fehlers mittels des Fehlermodells für das zumindest eine Objektattribut des zumindest einen Objektes generiert.
In einem weiteren Schritt wird der zeitlichen Sequenz des Objektattribut-Fehlers auf die zeitliche Sequenz des zumindest einen Objektattributes des zumindest einen Objektes aufgeprägt.
In einem weiteren Schritt wird die zeitliche Sequenz des zumindest einen Objektattributes mit dem aufgeprägten Fehlerbeitrag für die Fahrzeugsteuerung, zur Validierung der Fahrzeugsteuerung in dem Fahrzeug bereitgestellt.
Durch die Darstellung des Fahrverhaltens echter Fahrzeuge bzw. echter Fahrzeugfunktionen in der realen Welt kann möglicherweise eine höhere Aussagekraft generiert werden, als bei der reinen Simulation mit diesen Fehlermodellen. Hier funktioniert das Fahrverhalten auf Fahrzeugebene und nicht ausschließlich in der Simulationsumgebung. Wobei der Einsatz in der Simulation wahrscheinlich größere Stichproben erfassen kann und perfekte Umgebungsbedingungen schafft.
Ein Steuerungssystem eines Fahrzeugs, weist ein Rechensystem mit einem Speicher auf, und weiterhin eine Liste von Szenarien, die in dem Speicher gespeichert ist. Das Fahrzeug ist insbesondere ein Landfahrzeug. Die Szenarien sind beispielsweise eine vordefinierte Menge von Testszenarien, die z.B. auch für Regressionstests Verwendung finden.
Ferner weist das Steuerungssystem eine Vielzahl von Sensoren auf, wobei jeder der Sensoren dazu eingerichtet ist, einen Messwert an den Speicher zu senden. Sensoren sind z.B. Kameras, Radar-, Lidar- oder Ultraschallsensoren. Die Sensoren werden z.B. verwendet, um sogenannte dynamische Label, beispielsweise zur Bestimmung von Ground-Truth-Estimate, zu bestimmen. Dynamische Label beschreiben sowohl Attribute des eigenen Fahrzeugs als auch anderer Objekte, wie insbesondere anderer Fahrzeuge einer Umgebung. Solche Objektattribute sind insbesondere beispielsweise eine Position, eine Orientierung, eine Geschwindigkeit oder eine Beschleunigung eines Objektes.
Das Steuerungssystem weist außerdem ein erstes Programm auf, das dazu eingerichtet ist, für jedes der Szenarien und für jeden der Sensoren den Messwert, von den Sensoren, zuzuordnen und einen korrespondierenden Fehlerwert zu bestimmen. Der Fehlerwert bezeichnet die Abweichung von einem Referenzwert, der als korrekt angesehen wird („Ground Truth Estimate“).
Das erste Programm kann auf dem Rechensystem ausgeführt werden, oder auch auf einem Server. In einer Ausführungsform wird das erste Programm vor Echtzeit-Berechnungen durchgeführt.
Der Messwert kann ein einzelner Messwert sein oder eine Liste von Messwerten oder mit anderen Worten eine Sequenz von Messwerten bzw. eine Sequenz von Daten, die insbesondere eine aufeinanderfolgende zeitliche Sequenz bilden können. Der Fehlerwert ist jedem einzelnen Messwert zugeordnet. Der Fehlerwert kann ein einzelner Wert sein oder beispielsweise ein Wert mit einer statistischen Angabe, z.B. die Verteilungsfunktion (wie z.B. Gaußverteilung) und die Standardabweichung oder auch eine Liste mit gemessenen Fehlern oder mit anderen Worten eine zeitliche Sequenz von Fehlerwerten. Der Fehlerwert, bzw. insbesondere die Sequenz von Fehler werden, kann in einer Datenbank hinterlegt sein, z.B. auf einem Server oder einer Datenbank in dem Fahrzeug, und/oder kann kontinuierlich oder zeitweise bestimmt werden.
Das Steuerungssystem weist darüber hinaus ein zweites Programm auf, das eingerichtet ist, für jedes der Szenarien aus den Messwerten einer Vielzahl von Sensoren einen Fusionswert zu bestimmen. Insbesondere kann dieser Fusionswert mit Objektattributen bzw. Objekten, die mittels Daten der einzelnen Sensoren gebildet wurden, oder direkt mit den Messwerten der Vielzahl von Sensoren als fusioniertes Objekt gebildet werden.
Das zweite Programm kann auf dem Rechensystem ausgeführt werden. Das zweite Programm führt eine sogenannte Objektbildung durch. Dabei werden aus den Messwerten, von der Vielzahl von Sensoren und ggf. unter Verwendung weiterer Daten (z.B. aus einer Datenbank), Objekte gebildet. Diese gebildeten Objekte sind eine Entsprechung zu Objekten der realen Welt, z.B. Straßen, Gebäude, andere Fahrzeuge zur Repräsentation der Umgebung. Die Objektbildung wird gelegentlich auch als „Weltsimulation“ bezeichnet. Eine Liste der gebildeten Objekte und der fusionierten Objekte ist Teil des sogenannten Umfeldmodells bzw. der Umgebung. Weiterhin kann das Umfeldmodell ein Fahrspurmodell und/oder die Beschreibung von weiteren Umweltbedingungen, wie z.B. Wetter, Sichtverhältnisse, Straßenbeschaffenheit, umfassen.
Eine Situation bzw. Szene einer Weltsimulation ist eine synthetische, d.h. insbesondere eine simulierte, Umgebung, z.B. ein modelliertes Autobahnkreuz mit Straßen, Leitplanken, Brücken und anderen Verkehrsteilnehmern, deren Verhalten ebenfalls simuliert wird. Diese simulierte oder synthetische Umgebung kann als Ersatz für Sensordaten aus der realen Welt dienen. So geformte synthetischen Objekte der Weltsimulation können anstelle von oder zusätzlich zu erfassten realen Objekten in eine Sensordatenfusion oder in weitere Module eines automatisierten Fahrzeugs eingespeist werden. Die beispielsweise simulierten Agenten in der Weltsimulation - z.B. andere Verkehrsteilnehmer - können mit dem simulierten zumindest teilautomatisierten Fahrzeug interagieren.
Das Steuerungssystem weist weiterhin ein drittes Programm auf, das dazu eingerichtet ist, für jeden Fusionswert einen korrespondierenden Fusionsfehler zu bestimmen. Dabei ist ein solcher Fusionsfehler ein Fehler, der Objektattribute von Objekten betrifft, die durch eine Fusion von Sensordaten bestimmt wurden. Darüber hinaus kann das dritte Programm auch Fehler bestimmen, die Objektattribute betrifft deren Objekte nur mit den Daten eines Sensors gebildet wurden. Statistische Maßzahlen wie Mittelwerte oder Varianz der Fusionsfehler sind also eine Abbildung einer Agglomeration von Messwerten auf eine wesentlich geringere Anzahl von Werten, in einigen Ausführungsformen auf einen einzelnen Wert und werden aus den Messwerten bzw. Datensequenzen der Sensoren bzw. der Vielzahl von Sensoren abgeleitet. Die wesentlich geringere Anzahl von Werten kann beispielsweise mittels einer Streuwertfunktion (Hashfunktion) bestimmt werden. Die Streuwertfunktion kann injektiv sein.
Dadurch können Funktionswerte wesentlich schneller und einfacher bestimmt werden. Damit ist weiterhin eine sehr effiziente Anpassung von fehlerbehafteten Messwerten eines realen Systems an das Steuerungssystem von Fahrzeugen möglich. Weiterhin liegen mit den Szenarien - und dem schnellen algorithmischen Zugriff auf diese Szenarien - eine umfangreiche Basis für Tests vor, z.B. für Regressionstests.
In einer Ausführungsform weist das Steuerungssystem weiterhin ein viertes Programm auf, das dazu eingerichtet ist, für jedes der Szenarien einen korrigierten Fusionswert zu bestimmen. Das vierte Programm erkennt also ein bestimmtes Szenario und bestimmt daraus den korrigierten Fusionswert. Ein Szenario kann - aus der Sicht des vierten Programms - beispielsweise durch eine Menge von Messwerten von der Vielzahl von Sensoren definiert sein, oder zusätzlich durch eine Menge von Fehlerwerten von der Vielzahl von Sensoren. In einer Ausführungsform ist das Szenario durch die Ergebniswerte der Streuwertfunktion definiert, welche durch das dritte Programm bestimmt wurde.
Damit wird eine rechen- und speichereffiziente Möglichkeit zum Test von Fahrzeugkomponenten oder des ganzen Fahrzeugs zu Verfügung gestellt. Weiterhin kann die Steuerung des Fahrzeugs damit die realen Sensordaten sehr effizient verwenden.
In einer Ausführungsform ist das vierte Programm dazu eingerichtet, mittels eines Assoziativspeichers für jedes der Szenarien einen korrigierten Fusionswert bestimmen. Dadurch wird der Zugriff auf die Sensor- und Fehlerwerte schneller, was insbesondere bei Echtzeitanforderungen vorteilhaft ist. Auch kann die Erkennung der Szenarien dadurch beschleunigt werden.
Die Erfindung umfasst auch ein Verfahren zur Steuerung eines Fahrzeugs, mittels eines Steuerungssystems nach einem der vorhergehenden Ansprüche, mit den Schritten:

• Erstellen einer Liste von Szenarien und Abspeichern in einem Speicher.
• Bestimmen, für jedes der Szenarien, von Messwerten, mittels einer Vielzahl von Sensoren und von korrespondierenden Fehlerwerten, mittels eines ersten Programms.

< Szenario, Sensorwerte, Fehlerwerte> bestimmt werden. Auf dieser Basis kann gegebenenfalls eine Korrektur der Messwerte des Sensors vorgenommen werden, z.B. indem ein Offset zu den

• Fusionieren der Messwerte und Bestimmen einer Liste von Fusionswerten, mittels eines zweiten Programms, für jedes der Szenarien und für die Vielzahl von Sensoren.

Das Fusionieren der Messwerte führt zu einer sog. Objektbildung. Die Objekte sind eine Entsprechung zu Objekten der realen Welt, z.B. Straßen, Gebäude, andere Fahrzeuge. Die Objektbildung wird daher gelegentlich auch als „Weltsimulation“ bezeichnet. Dabei können Objekte und die dazugehörigen Objektattribute auch mittels Sequenzen von Daten einzelner Sensoren gebildet werden.

• Bestimmen, für jeden Fusionswert, mittels eines dritten Programms, einer Liste von korrespondierenden Fusionsfehlern.

Die Bestimmung der Fusionsfehler kann auch dazu verwendet werden, eine Ersetzungsliste zu erstellen, bei der die (fehlerhaften) originalen Messwerte der Sensoren durch korrigierte Messwerte ersetzt und diese dann weiterverwendet werden.

• Bestimmen eines korrigierten Fusionswerts für jedes der Szenarien mittels eines vierten Programms.

In einer Ausführungsform dient der korrigierte Fusionswert als Basis für die Steuerung von Aktuatoren des Fahrzeugs.
In einer Ausführungsform bestimmt das erste Programm für jedes der Szenarien die Fehlerwerte mittels Heuristiken. Die Heuristiken können z.B. aus Erfahrungswerten abgeleitet werden, aus Tabellen, oder durch manuelle Eingabe, z.B. durch geschulte Bearbeiter. Ferner können manuelle Labeling-Verfahren eingesetzt werden, bei denen menschliche Bearbeiter anhand von Bilddaten der Umgebung des Ego-Fahrzeugs und/oder Visualisierungen der nicht-bildbasierten Sensordaten die Referenz-Label der Umgebung erzeugen.
In einer Ausführungsform bestimmt das erste Programm für jedes der Szenarien die Fehlerwerte mittels Referenzsensoren. Derartige Referenzsensoren weisen eine höhere Messgenauigkeit auf als die Sensoren, welche die genannten Messwerte bestimmen. Diese Sensoren können entweder im bzw. am Fahrzeug verbaut oder außerhalb auf speziell ausgerüsteten Testgeländen oder Erprobungsstrecken angebracht sein.
In einer Ausführungsform bestimmt das erste Programm für jedes der Szenarien die Fehlerwerte mittels Daten, insbesondere mittels Referenzdaten von anderen Fahrzeugen, bestimmt. Dies kann beispielsweise mittels des sog. Jäger-Hase-Verfahrens realisiert sein. Bei diesem Verfahren bei sind sowohl das zu bewertende Fahrzeug (Jäger) als auch ein oder mehrere fremde Fahrzeuge (Hasen) mit einem hochgenauen, z.B. satellitengestützten, Positionserfassungssystem und weiterer Sensorik (GNSS/IMU), sowie einem Kommunikationsmodul ausgerüstet. Die Zielfahrzeuge übertragen hierbei kontinuierlich ihre Positions-, Bewegungs- und/oder Beschleunigungswerte zum zu bewertenden Fahrzeug, welche die eigenen und die fremden Werte aufzeichnet.
In einer Ausführungsform bestimmt das erste Programm die Fehlerwerte mittels algorithmischer Methoden, welche aus einer Vielzahl von Sensor- und Datenbankdaten die Referenzdaten berechnen.
In einer Ausführungsform bestimmt das erste Programm für jedes der Szenarien die Fehlerwerte mittels Kartendaten, insbesondere mittels hochgenauer Kartendaten. Bei bestimmten hochgenauen Kartendaten ist die statische Umwelt hinterlegt. Bei der Bestimmung der Fehlerwerte lokalisiert sich das zu bewertende Fahrzeug innerhalb dieser Karte.
In einer Ausführungsform verwendet das erste Programm eine Kombination der genannten Verfahren zur Bestimmung der Fehlerwerte.
In einer Ausführungsform weist das Steuerungssystem weiterhin ein fünftes Programm auf, dass dazu eingerichtet ist, für jedes der Szenarien eine Kategorie zu bestimmen. Damit kann einerseits die Effizienz des Zugriffs auf die Messwerte und Fehlerdaten weiter gesteigert werden. Andrerseits kann das Steuerungssystem robuster gestaltet werden, weil dadurch beispielsweise bestimmte Daten für bestimmte Szenarien als nicht plausibel aussortiert werden können und damit eine Reihe von Fehlentscheidungen verhindert werden kann.
Die Erfindung umfasst auch eine Verwendung der genannten Steuerungssysteme und Verfahren zur Steuerung von Fahrzeugen, insbesondere von hoch- und/oder teilautomatisierten Fahrzeugen.
Weiterhin umfasst die Erfindung eine Verwendung der Liste von Szenarien, um Regressionstests für eine Vielzahl von Sensoren, insbesondere von zumindest teilweise automatisiert fahrenden Fahrzeugen, durchzuführen.
Es wird eine Vorrichtung angegeben, die eingerichtet ist, eines der oben beschriebenen Verfahren, durchzuführen. Mit einer solchen Vorrichtung kann das entsprechende Verfahren leicht in unterschiedliche Systeme integriert werden.
Gemäß einem weiteren Aspekt wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.
Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist.
Ausführungsbeispiele
Ausführungsbeispiele der Erfindung werden mit Bezug auf die 1 bis 8 dargestellt und im Folgenden näher erläutert. Es zeigen:

1 eine Simulation einer Verkehrssituation aus Sicht eines Ego-Fahrzeuges;
2a ein Beispiel für ein erstes Fehlermodell mit einer x- und eine y-Position eines Objektes;
2b eine Existenzwahrscheinlichkeit für das erste Fehlermodell;
2c Autokorrelationswerte für das erste Fehlermodell;
3a ein Beispiel für ein zweites Fehlermodell mit einer x- und eine y-Position eines Objektes;
3b eine Existenzwahrscheinlichkeit für das zweite Fehlermodell;
3c Autokorrelationswerte für das zweite Fehlermodell;
4a eine relative Position in x Richtung bei einem Einscherer eines Fremdfahrzeugs;
4b eine relative Geschwindigkeit in x Richtung bei einem Einscherer eines Fremdfahrzeugs;
4c eine relative Beschleunigung in x Richtung bei einem Einscherer eines Fremdfahrzeugs;
5a eine relative Position in y Richtung bei einem Einscherer eines Fremdfahrzeugs;
5b eine relative Geschwindigkeit in y Richtung bei einem Einscherer eines Fremdfahrzeugs;
5c eine relative Beschleunigung in y Richtung bei einem Einscherer eines Fremdfahrzeugs;
6 einen Datenfluss des Verfahrens;
7 ein Beispiel einer Liste von Szenarien;
8 ein Beispiel für ein Verfahren zum quantitativen Charakterisieren zumindest einer zeitlichen Sequenz eines Objektattribut-Fehlers.

1 zeigt ein Beispiel für eine Fahrsituation in einer Simulation, wobei die Objekte der Umgebung-in diesem Fall Fahrzeuge-mit realitätsnahen Fehlerbeiträgen beaufschlagt werden. Das eigene Fahrzeug („Ego-Fahrzeug“) 110, dass auch in der Simulation mit der Originalfahrzeug-Software gesteuert wird, fährt auf einer mittleren Spur 150b von drei Spuren 150a, 150b, 150c. Die Simulation gibt diesen Fahrzeugen über die Sensordaten Objektattribute bezüglich der Position von fremden Fahrzeugen 120a, 130a, 140a vor. Der Fahrweg des eigenen Fahrzeugs 110 ist als „geradeaus“ bestimmt, z.B. von den Sensoren der Lenkung.
Die Objektattribute eines ersten fremden Fahrzeugs 120a ergeben aus den eingespielten Sensordaten für das eigene Fahrzeug 110 eine Position 120a als auf der rechten Spur 150c fahrend. Durch das Beaufschlagen der Objektattribute mit dem Fehlerbeitrag ergibt sich für die Simulation entsprechend einem realistischen Fehler für die Objektattribute beispielsweise die nicht schraffierte Fläche 120b.
Eine Vergangenheit („History“) der Daten kann zur weiteren Korrektur der Position des fremden Fahrzeugs 102a genutzt werden und weiterhin einer Schätzung des Fahrwegs des ersten fremden Fahrzeugs. In analoger Weise ergeben sich die Positionen der weiteren fremden Fahrzeuge 130a und 140a, sowie deren mit einem Fehlerbeitrag beaufschlagt Objektattribute bezüglich der Position 130b und 140b.
Die 2 und 3 vergleichen ein simuliertes Beispiel für je ein erstes und ein zweites gekoppeltes 3-dimensionales Fehlermodell eines Objektattribut-Fehlers sowohl in der x- als auch in der y-Position als auch bezüglich einer Existenzwahrscheinlichkeit eines Objektes.
x-Positionsfehler, y-Positionsfehler und die Existenzwahrscheinlichkeit wurden für das erste und das zweite Modell aus zwei ganz unterschiedlichen gekoppelten Fehlermodellen generiert. Das erste Modell niedriger AutoKorrelation entsprechend 1 Zeit-Schritt; das zweite Modell mit hoher AutoKorrelation entsprechend 14 Zeit-Schritten. Die Amplituden der 2 Modelle wurden auch aus unterschiedlichen Dichtefunktionen generiert, mit zwei unterschiedlich korrelierten Gauß Funktionen. Dabei sind aber beliebige Dichtefunktionen möglich.
Der verwendete Zufallsläufer ist ein Standard Metropolis-Hastings Algorithmus. Alternativ wären beliebige, auch hybride, Monte-Carlo Verfahren möglich, welche schwache Konvergenz zur Zielverteilung haben.
Die Anpassung der Autokorrelation wurde durch ausdünnen der Samples erreicht. Alternativ wären auch Anpassungen des Monte-Carlo Verfahren möglich.
Der Vergleich von 2a und 3a zeigen wie unterschiedlich diese Fehlermodelle sowohl bezüglich des Fehlers in x- und y- Richtung als auch im Vergleich der 2b und 3b den Unterschied in der Existenzwahrscheinlichkeit. Die jeweiligen Autokorrelationsfunktionen der Fehlersequenzen 2c und 3c zeigen ebenfalls große Unterschiede, die mit diesem Fehlermodell abbildbar sind. Dabei ist die Gauß-Verteilung hier nur Beispielhaft. Fehlermodelle können beliebigen Dichteverteilungen (Formen) aufweisen, insbesondere sind auch stark fragmentierte Gebilde denkbar.
Dabei ist das erste Fehlermodell der 2a so entworfen das eine Sequenz des Fehlers der x- bzw. der y-Position sehr starke Variationen der Amplitude zeigt und der Fehler der x- mit dem Fehler der y- Position negativ korreliert. Dagegen zeigt das Modell der 3a eine langsame Veränderung einer Fehler-Position und eine positive Korrelation. Der Vergleich der Existenzwahrscheinlichkeiten der beiden Modelle zeigt, dass bei dem ersten Modell von 2b die Existenz sehr unsicher ist und sich auch nicht stabilisiert. Nach einem Einschwingen ist bei dem zweiten Fehlermodell die Existenz wie in der 3b dargestellt sehr konstant bei praktisch eins.
Diese Unterschiede der beiden Modelle sind auch bei dem Vergleich der Autokorrelationsfunktionen 2c und 3c offensichtlich. Das erste Modell zeigt entsprechend 2c praktisch keine Korrelation innerhalb der Sequenz der Fehlerdaten, wohingegen das zweite Modell entsprechend 3c eine hohe Autokorrelation über den zehnten Zeitschritt hinaus aufweist.
In der 4 a bis c sind simulierte Objekt-Attribute in Bezug auf eine x-Richtung eines Fahrzeugs über einer Zeitachse gezeigt, wenn ein Fremdfahrzeug vor dem Egofahrzeug einschert.
In der 5 a bis c sind simulierte Objekt-Attribute in Bezug auf eine y-Richtung eines Fahrzeugs über der gleichen Zeitachse gezeigt, wenn ein Fremdfahrzeug vor dem Egofahrzeug einschert.
Dabei zeigen die jeweiligen Diagramme a) eine Position; die Diagramme b) eine Geschwindigkeit; und die Diagramme c) eine Beschleunigung in den jeweiligen Richtungen. Ein Vergleich der Diagramme der 4 mit den Diagrammen der 5 zeigt das insbesondere der Fehler bei der Bestimmung der Position in y-Richtung sehr viel größer ist als der Fehler der relativen Position in x-Richtung.
Dies ist für die relative Geschwindigkeit in x- bzw. y- Richtung nicht mehr ganz so stark ausgeprägt.
6 zeigt ein Beispiel für ein Simulationssystem 100 inklusive einem Steuerungssystem 100 für ein Fahrzeug 400 (nicht dargestellt).
Bevor eine Simulation mit dem Simulationssystem 100 durchgeführt wird, wird ein Fehlermodell für unterschiedliche Sensortypen in unterschiedlichen Szenarien erstellt. Dazu werden Sequenzen von Sensordaten 110 zusätzlich oder alternativ Sequenzen von Objektattributen 110 von Objekten einer Mehrzahl von Sensoren 201, 202, 203, die jeweils einen unterschiedlichen Sensortyp repräsentieren können, an ein Statistik-Modul 114 gesendet.
Die Bestimmung von Sequenzen von Objektattributen 110 von Objekten kann sowohl mit Sensordaten 110 eines einzelnen Sensors eines gewissen Sensortyps erfolgen, als auch mittels einer Fusion von Sequenzen von Sensordaten einer Mehrzahl von Sensoren, insbesondere auch unterschiedlichen Sensortyps, erfolgen.
Diese Sensordaten 110 oder Objektattribute 110 können, zusätzlich oder alternativ, während einer Fahrt eines Fahrzeuges, das die Mehrzahl von Sensoren 201, 202, 203 aufweist, generiert werden. Die Sensordaten 110 oder Objektattribute 110 werden in dem Statistik-Modul 114, beispielsweise mittels eines ersten Programms P1, mit Korrekturdaten 112 bzw. Ground-Truth Objektattribut-Daten 112 der Objekte, die mit der Mehrzahl der Sensoren 201, 202, 203, beispielsweise auf Basis einer Liste von Werten in einer Datenbank, verglichen. Das Statistik-Modul 114 erstellt Fehlermodelle für die Generierung von zeitlichen Sequenzen von Fehlerbeiträgen für die Objektattribut-Daten 112 der Objekte, die entweder aus Sequenzen von Sensordaten einzelner Sensoren für unterschiedliche Szenarien oder mittels einer Fusion von Sequenzen von Sensordaten einer Mehrzahl von Sensoren 201, 202, 203 für unterschiedliche Szenarien generiert wurden.
Diese Fehler-Modelle 120 können für eine Simulation mit einem Welt-Modell 170 verknüpft werden. Die Fehler-Modelle 120 der Vielzahl von Sensoren 201, 202, 203 werden entweder über das Sensor-Interface 130 an die Vielzahl von Sensoren 201, 202, 203 übermittelt und dienen zur Aufprägung von Sequenzen von Fehlerbeiträgen auf die Objektattribute von Objekten, die mit den Messwerte M201, M202, M203 der simulierten Sensordaten generiert wurden, abhängig vom aktuell simulierten Szenario.
Alternativ werden die Sequenzen der Fehlerbeiträge auf die Objektattribute der fusionierten Sensordaten nach der Fusion 140 der Sensordaten der Mehrzahl von Sensoren 201, 202, 203 aufgeprägt 155, abhängig vom aktuell simulierten Szenario.
Mittels der Sensordaten wird, mit einem zweiten Programm P2, ein Fusionswert 140 bestimmt, d.h. es werden die Objektattribute von Objekten bestimmt, die von der Mehrzahl der Sensoren erfasst wurden. Der Fusionswert 140 kann eine Liste von Werten sein, die für jedes der Szenarien S1, S2 aus den Messwerten M201, M202, M203 der Vielzahl von Sensoren 201, 202, 203 einen Fusionswert T1, T2, und - mittels eines drittes Programm P3 - einen Fehlerwert U1, U2 und einen korrigierten Wert Y1, Y2 bestimmen. In einer Ausführungsform wird zusätzlich die Kategorie K1, K2 bestimmt.
Der Fusionswert 140 wird mittels eines zweiten Programms P2 bestimmt. Der Fusionswert 140 wird dann in einem Fusionsinterface 155 mit den FehlerModellen 120 verknüpft, um damit die Weltsimulation durch szenarioabhängige Beaufschlagung von Sequenzen von Fehlerbeiträgen auf Fusionswerte, die mittels synthetischer Sensorwerten bestimmt wurden realistischer darzustellen.
Die Vielzahl von Szenarien S1, S2 kann in einer Simulation von dem Controller 190 gesteuert werden, bei realen Fahrzeugen wird dies durch den Fahrverlauf in einer realen Umgebung bestimmt. In dem Simulationssystem 100 können noch weitere Module 150 vorgesehen sein, von denen eines beispielsweise das Aktuator-Interface 160 ansteuert.
Das Aktuator-Interface 160 steuert in realen Fahrzeugen die Aktuatoren, in einer Simulation ein Fahrzeug-Modell 175. Das Fahrzeug-Modell 175 kann Teil eines Welt-Modells 170 sein. Das Welt-Modell 170 steuert das Sensor-Interface 130 und die Fehler-Modelle 120. In einer Simulation werden die Ausgaben an ein Ausgabe-Modul 180 gesendet, bei realen Fahrzeugen wird ein Teil der Ausgaben an Anzeigen in dem Fahrzeug gesendet.
7 zeigt ein Beispiel einer Liste von Szenarien. Die Liste von Szenarien ist in einem Speicher 310 eines Rechensystems 300 gespeichert. Aus Gründen der Darstellbarkeit ist der Fall von vier Szenarien S1 bis S4 mit zwei Sensoren 201 und 202 dargestellt. Für Szenario S1 wird von Sensor 201 der Messwert M201(S1) ermittelt und der Fehlerwert F201(S1) bestimmt; von Sensor 202 wird der Messwert M202(S1) und der Fehlerwert F202(S1) bestimmt. Für die Szenarien S2 bis S4 in entsprechender Weise. Ein zweites Programm P2 bestimmt aus dieser Vielzahl von Sensordaten für jedes Szenario einen Fusionswert, einen Fusionsfehler, einen korrigierten Wert und, in einer Ausführungsform, eine Kategorie. Für das Szenario S1 werden so die Werte T1, U1, Y1, K1 bestimmt.
8 zeigt ein Beispiel für ein Verfahren 800 zur Steuerung eines Fahrzeugs mittels eines Steuerungssystems 100. In Schritt 801 wird eine Liste von Szenarien S1, S2 (siehe 7) erstellt und in einem Speicher abgespeichert. In Schritt 802 werden, für jedes der Szenarien S1, S2, Messwerte M201, M202 bestimmt, mittels einer Vielzahl von Sensoren, und außerdem korrespondierende Fehlerwerte F201, F202, mittels eines ersten Programms P1. Auf dieser Basis kann gegebenenfalls eine Korrektur der Messwerte M201, M202 der Sensoren 201, 202 vorgenommen werden, z.B. indem ein Offset zu den Sensorwerten addiert wird oder die Sensorwerte mit einer anderen Abbildung verknüpft werden.
In Schritt 803 werden die Messwerte fusioniert und eine Liste von Fusionswerten bestimmt, mittels eines zweiten Programms P2, für jedes der Szenarien S1, S2 und für die Vielzahl von Sensoren 201, 202. Das Fusionieren der Messwerte führt zu einer sogenannten Objektbildung. Die Objekte sind eine Entsprechung zu Objekten der realen Welt, z.B. Straßen, Gebäude, andere Fahrzeuge.
In Schritt 804 wird, für jeden Fusionswert, mittels eines dritten Programms, eine Liste von korrespondierenden Fusionsfehlern U1, U2 bestimmt. Die Bestimmung der Fusionsfehler kann auch dazu verwendet werden, eine Ersetzungsliste zu erstellen, bei der die (fehlerhaften) originalen Messwerte der Sensoren durch korrigierte Messwerte ersetzt und diese dann weiterverwendet werden.
In Schritt 805 wird, für jedes der Szenarien, mittels eines vierten Programms, ein korrigierter Fusionswert bestimmt.

Claims

Verfahren (800) zum quantitativen Charakterisieren zumindest einer zeitlichen Sequenz eines Objektattribut-Fehlers eines Objektes, für zumindest ein Szenario (S1, S2) einer Mehrzahl von Szenarien (S1, S2), wobei das Objekt von zumindest einem Sensor (D1, D2) einer Mehrzahl von Sensoren (D1, D2) erfasst wurde, mit den Schritten: Bereitstellen zumindest einer zeitlichen Sequenz (801) von Sensordaten (M201) einer Mehrzahl von zeitlichen Sequenzen von Sensordaten des zumindest einen Sensors (D1, D2), für das zumindest eine Szenario (S1, S2); Bestimmen von zumindest einer zeitlichen Sequenz (802) von zumindest einem Objektattribut des Objektes mittels der zumindest einen zeitlichen Sequenz von Sensordaten (D1, D2); Bereitstellen einer, der zeitlichen Sequenz der Objektattribute entsprechenden, Sequenz eines Referenz-Objektattributes (803) des Objektes des Szenarios (S1, S2); Bestimmen einer Sequenz von Objektattribut-Differenz (804) durch Vergleichen der Sequenz des Objektattributes mit der Sequenz des Referenz-Objektattributes des Objektes für das Szenario; Erstellen eines Fehlermodells (805) mittels der zeitlichen Sequenz der Objektattribut-Differenz, zur Beschreibung von zeitlichen Sequenzen von Objektattribut-Fehlern von Objekten für das Szenario (S1, S2), wobei das Objekt mit dem zumindest einen Sensor erfasst wurde, zur quantitativen Charakterisierung des Objektattribut-Fehlers.
Verfahren (800) gemäß Anspruch 1, wobei eine Zeitbasis der zumindest einen zeitlichen Sequenz von zumindest einem Objektattribut des Objektes und eine Zeitbasis der, der zeitlichen Sequenz der Objektattribute entsprechende, zeitlichen Sequenz eines Referenz-Objektattributes vor der Bestimmung der Objektattribut-Differenz für die Bildung der Differenz einander angepasst werden.
Verfahren (800) gemäß Anspruch 1 oder 2, wobei das Objekt von einer Mehrzahl von Sensoren (D1, D2) erfasst wurde, mit den Schritten: Bereitstellen zumindest einer zeitlichen Sequenz einer Mehrzahl von zeitlichen Sequenzen von Sensordaten (D1, D2) jedes Sensors der Mehrzahl von Sensoren für das zumindest eine Szenario (S1, S2); Bestimmen von zumindest einer zeitlichen Sequenz von zumindest einem Objektattribut des Objektes mittels der zumindest einen zeitlichen Datensequenz jedes Sensors der Mehrzahl von Sensoren; Fusionieren der resultierenden Mehrzahl von zeitlichen Sequenzen der Objektattribute des Objektes mittels der einzelnen Objektattribute der Mehrzahl der Sensoren (D1, D2); Bereitstellen einer, der zeitlichen Sequenz der Objektattribute entsprechenden, Sequenz eines Referenz-Objektattributes des Objektes des Szenarios (S1, S2); Bestimmen einer Sequenz einer Objektattribut-Differenz durch Vergleichen der Sequenz der fusionierten Objektattribute mit der Sequenz der Referenz-Objektattribute des Objektes für das Szenario; Erstellen eines Fehlermodells mittels der Sequenz der fusionierten Objektattribut-Differenz, zur Beschreibung von zeitlichen Sequenzen der Objektattribut-Fehler von Objekten für das Szenario, wobei das Objekt von der Mehrzahl der Sensoren erfasst wurde, zur quantitativen Charakterisierung des Objektattribut-Fehlers.
Verfahren (800) gemäß einem der vorhergehenden Ansprüche, wobei die bereitgestellte zugehörige Sequenz von Referenz-Objektattributen des Objektes des Szenarios mittels manuellem Labeling-Verfahren und/oder Referenzsensorik und/oder Jäger-Hase-Verfahren und/oder algorithmische Verfahren zur Referenzdatengenerierung (holistischen Generierung von Referenz- Labeln) und/oder hochgenaue Kartendaten generiert werden.
Verfahren (800) gemäß einem der vorhergehenden Ansprüche, wobei zumindest ein Szenario der Mehrzahl der Szenarien in Szenario-typische Kategorien aufgeteilt wird und jeder Kategorie ein entsprechendes Fehlermodell zugeordnet wird.
Verfahren (800) gemäß Anspruch 4, wobei die Szenarien Subszenarien aufweisen und die Kategorien den Szenarien und Subszenarien so zugeordnet werden, dass die Kategorien assoziierbar geschlüsselt sind.
Verfahren (800) gemäß einem der vorhergehenden Ansprüche, wobei das Fehlermodell eingerichtet ist, zeitliche Sequenzen der Objektattribut-Fehler spezifisch für Szenarien einer Mehrzahl von Szenarien mit einem zeitlichen Amplitudenverhalten der Sequenz der Objektattribut-Differenz und/oder einem Korrelationsverhalten der Sequenz der Objektattribut-Differenz und/oder einem Zeitverhalten der Sequenz der Objektattribut-Differenz zu generieren.
Verfahren (800) gemäß einem der vorhergehenden Ansprüche, wobei das Fehlermodell die zeitliche Sequenz des Objektattribut-Fehlers für ein Szenario mit einem statistischen Verfahren generiert, bei dem mittels einer Dichtefunktion und einem Zufallsläufer auf der Dichtefunktion eine Sequenz von Objektattribut-Fehlern generiert wird und mit einem Ausdünnen der zeitlichen Sequenz von Objektattribut-Fehlern die Autokorrelationslänge an die Sequenz der Objektattribut-Differenz adaptiert wird; und mittels eines Dichteschätzers und einer Vielzahl von zeitlichen Sequenzen von Objektattribut-Differenzen einer Mehrzahl unterschiedlicher Objektattribute des Szenarios die, für die Mehrzahl von Objektattribute gemeinsame, Dichtefunktion generiert wird.
Verfahren (800) gemäß einem der vorhergehenden Ansprüche, wobei das Fehlermodell eingerichtet ist, zeitliche Sequenzen einer Existenzwahrscheinlichkeit von zumindest einem Objekt der Umgebung zu generieren.
Verfahren gemäß Anspruch 7 oder 8, zur Validierung einer Fahrzeugsteuerung (175) in einer Simulation, mit zumindest einem Szenario (S1, S2) einer Vielzahl von Szenarien (S1, S2) in einer Simulationsumgebung, die zumindest ein Objekt aufweist, mit den Schritten: Bereitstellen von zumindest einer zeitlichen Sequenz von Sensordaten zumindest eines Sensors (D1, D2) für eine Repräsentation des zumindest einen Objektes, entsprechend dem Szenario (S1, S2); Bestimmen einer zeitlichen Sequenz zumindest eines Objektattributes des zumindest einen Objektes mittels der zumindest einen zeitlichen Sequenz der Sensordaten; Bereitstellen eines Fehlermodells des zumindest einen Sensors (D1, D2), entsprechend einem Typ des zumindest einen Sensors und entsprechend dem Szenario (S1, S2); Generieren einer zeitlichen Sequenz eines Objektattribut-Fehlers mittels des Fehlermodells für das zumindest eine Objektattribut des zumindest einen Objektes; Aufprägen der zeitlichen Sequenz des Objektattribut-Fehlers auf die zeitliche Sequenz des zumindest einen Objektattributes des zumindest einen Objektes; Bereitstellen der zeitlichen Sequenz des zumindest einen Objektattributes mit dem aufgeprägten Fehlerbeitrag für die Fahrzeugsteuerung, zur Validierung der Fahrzeugsteuerung in dem Szenario (S1, S2).
Verfahren gemäß Anspruch 7 oder 8, zur Validierung einer Fahrzeugsteuerung (175) in einem Fahrzeug, in einer Umgebung, die zumindest ein Objekt aufweist, mit den Schritten: Bestimmen von zumindest einer zeitlichen Sequenz von Sensordaten (D1, D2) zumindest eines Referenz-Sensors zum Erfassen des zumindest einen Objektes der Umgebung; Bestimmen einer zeitlichen Sequenz zumindest eines Objektattributes des zumindest einen Objektes mittels der zumindest einen zeitlichen Sequenz der Sensordaten; Identifizieren des Szenarios (S1, S2) der Umgebung des Fahrzeugs mittels der zumindest einen zeitlichen Sequenz der Sensordaten; Bereitstellen eines Fehlermodells entsprechend einem Typ eines Test-Sensors und entsprechend dem identifizierten Szenario (S1, S2); Generieren einer zeitlichen Sequenz eines Objektattribut-Fehlers mittels des Fehlermodells für das zumindest eine Objektattribut des zumindest einen Objektes; Aufprägen der zeitlichen Sequenz des Objektattribut-Fehlers auf die zeitliche Sequenz des zumindest einen Objektattributes des zumindest einen Objektes; Bereitstellen der zeitlichen Sequenz des zumindest einen Objektattributes mit dem aufgeprägten Fehlerbeitrag für die Fahrzeugsteuerung, zur Validierung der Fahrzeugsteuerung in dem Fahrzeug.
Simulationssystem (600) für das Steuerungssystem (675) eines Fahrzeugs (110), aufweisend: ein Rechensystem mit einem Speicher (710), eine Liste von Szenarien (S1, S2), die in dem Speicher (710) gespeichert ist, eine Vielzahl von Sensoren (D1, D2), wobei jeder der Sensoren (D1, D2) dazu eingerichtet ist, einen Messwert (M201, M202) an den Speicher (710) zu senden, ein erstes Programm (P1), das dazu eingerichtet ist, für jedes der Szenarien (S1, S2) und für jeden der Sensoren (D1, D2) den entsprechenden Messwert (M201, M202) zuzuordnen und einen korrespondierenden Fehlerwert (F201, F202) zu bestimmen, ein zweites Programm (P2), das dazu eingerichtet ist, für jedes der Szenarien (S1, S2) aus den Messwerten (M201, M202) der Vielzahl von Sensoren (D1, D2) einen Fusionswert (T1, T2) zu bestimmen, und ein drittes Programm (P3), das dazu eingerichtet ist, für jeden Fusionswert (T1, T2) einen korrespondierenden Fusionsfehler (U1, U2) zu bestimmen.
Vorrichtung, die eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 11 auszuführen.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.