DE102019219894A1

DE102019219894A1 - Vorrichtung und Verfahren zur Erzeugung von verifizierten Trainingsdaten für ein selbstlernendes System

Info

Publication number: DE102019219894A1
Application number: DE102019219894.5A
Authority: DE
Inventors: Florian Maile
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-12-17
Filing date: 2019-12-17
Publication date: 2021-06-17

Abstract

Die Erfindung betrifft eine Vorrichtung zur Erzeugung von verifizierten Trainingsdaten für ein selbstlernendes System.Ferner betrifft die Erfindung ein Verfahren zur Erzeugung der verifizierten Trainingsdaten und eine Verwendung der erzeugten Trainingsdaten.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Erzeugung von verifizierten Trainingsdaten für ein selbstlernendes System. Ferner betrifft die Erfindung noch eine Verwendung der erzeugten Trainingsdaten.
Es ist bekannt, dass selbstlernende Systeme, wie beispielsweise künstliche neuronale Netze, nur dann eine gute Erfolgsquote haben, wenn die Trainingsdatenbasis, die man ihr zum Lernen zur Verfügung stellt, qualitativ hochwertig ist. Das heißt: je korrekter eine Datenbasis ist, desto besser kann das neuronale Netz trainiert werden. Bei einer schlechten Qualität der Daten treten fehlerhafte Ergebnisse auf. Voraussetzung für ein selbstlernendes System ist daher eine präzise, vollständige und qualitativ einwandfreie Datenbasis, d.h. eindeutig und korrekte Trainingsdaten.
Die DE 10 2019 113851 A1 offenbart eine Vorrichtung und ein Verfahren zum Erzeugen von Trainingsdaten für ein neuronales Netz, umfassend den Schritt: Verändern von vorhandenen Trainingsdaten für ein neuronales Netz zu veränderten Trainingsdaten für das neuronale Netz mittels eines Algorithmus.
Es ist eine Aufgabe der Erfindung, Mittel anzugeben, mit denen die Erzeugung eines qualitativ hochwertigen Trainingsdatensatzes mit verifizierten Trainingsdaten möglich ist. Ferner ist es eine Aufgabe der Erfindung eine Verwendung der qualitativ hochwertigen Trainingsdaten anzugeben.
Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 sowie ein Verfahren mit den Merkmalen des Anspruchs 14 gelöst. Ferner wird die Aufgabe gelöst durch eine Verwendung mit den Merkmalen nach Anspruch 12.
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen. Die Aufgabe wird gelöst durch eine Vorrichtung zur Erzeugung von verifizierten Trainingsdaten für ein selbstlernendes System umfassend
eine erste Dateneinheit, welche dazu ausgebildet ist, zum Bereitstellen einer ersten Sequenz von aufeinanderfolgenden Umfeldbildern eines Fahrzeugumfeldes entlang einer Fahrzeugtrajektorie eines Fahrzeugs als erste Sequenz von ersten Sensordaten und ferner umfassend einen Prozessor, welcher dazu ausgebildet ist, zum Detektieren und Extrahieren von Merkmalen mit einer bedingten Wahrscheinlichkeit in jeder oder einzelnen der ersten Sequenzen von ersten Sensordaten, und wobei der Prozessor ferner dazu ausgebildet ist, ab einem vorgegebenen Schwellenwert einzelne Merkmale in der ersten Sequenz von aufeinanderfolgenden ersten Sensordaten als erkannt zu werten,
eine zweite Dateneinheit, welche ausgebildet ist, zum Bereitstellen einer zu der ersten zeitsynchronen zweiten Sequenz von aufeinanderfolgenden Umfeldbildern des identischen oder nahezu identischen Fahrzeugumfeldes entlang der Fahrzeugtrajektorie des Fahrzeugs als zweite Sequenz von zweiten Sensordaten, wobei die zweiten Sensordaten auf einer zu den ersten Sensordaten unterschiedlichen Messmethode beruhen, und wobei der Prozessor ferner dazu ausgebildet ist, zum Detektieren und Extrahieren von Merkmalen mit einer bedingten Wahrscheinlichkeit in jeder oder einzelnen der zweiten Sequenzen von zweiten Sensordaten und wobei der Prozessor ferner dazu ausgebildet ist, ab einem vorgegebenen Schwellenwert einzelne Merkmale in der zweiten Sequenz der zweiten Sensordaten als erkannt zu werten,
und wobei der Prozessor ferner dazu ausgebildet ist, bei einem, in den ersten Sequenzen der ersten Sensordaten erkannten Merkmal, welches nicht in der zweiten Sequenz von zweiten Sensordaten erkannt worden ist, das erkannte Merkmal unter Verwendung einer Pose des Fahrzeugs entlang der Fahrzeugtrajektorie in die zweiten Sequenzen von zweiten Sensordaten zu transformieren und wobei bei einem, in den zweiten Sequenzen der zweiten Sensordaten erkannten Merkmal, welches nicht in den ersten Sequenzen von ersten Sensordaten erkannt worden ist, das erkannte Merkmal unter Verwendung der Pose des Fahrzeugs entlang der Fahrzeugtrajektorie in die erste Sequenz von ersten Sensordaten zu transformieren.
Dabei wird unter Pose des Fahrzeugs die Position und Orientierung sowie die Nick-, Roll- und Gierbestimmung (Pose-Estimation) bezogen auf ein sensorunabhängiges Fahrzeugkoordinatensystem des Fahrzeugs verstanden. Dieses Fahrzeugkoordinatensystem kann beispielsweise nach ISO 8855 definiert sein, und seinen Ursprung im auf die Fahrbahn projizierten Schwerpunkt (Center of Gravity) aufweisen. Ebenfalls kann mithilfe der Pose eine Belegungskarte erstellt werden, in der vorzugsweise die statischen Merkmale des Umfeldes mit dem Fahrzeug und der Fahrzeugtrajektorie erfasst werden, so dass eine auf eine Belegungskarte basierende Umfelderfassung realisiert wird.
Diese Pose wird für gewöhnlich geschätzt (Pose-estimation, Poseschätzung). Vorzugsweise wird zur Schätzung der Pose ein INS-System (Inertiale Messeinheit) verwendet, das mit einem kinematischen oder differentiellen Echtzeit-GPS-System erweitert ist. Dieses ermittelt aus GPS-Signalen und beispielsweise Beschleunigungs-und Drehratensensoren die Bewegung des Fahrzeugs. Die GPS- und Beschleunigungsdaten werden durch mathematische Algorithmen gefiltert und fusioniert, sodass die inertiale Messeinheit alle relevanten Größen zum Abbilden der Bewegung liefert.
Erfassungssysteme können die Sensorsysteme, wie beispielsweise Fahrzeugsensoren wie Lidarsensorsystem, Radarsensorsystem etc. sein. Ferner können die Sensordaten durch ein Globales Navigationssatellitensystem (GNSS) empfangen werden und in der Dateneinheit bereitgestellt werden. Auch kann das Erfassungssystem als eine Schnittstelle, welche die Sensordaten von den Sensorsystemen empfängt und diese bereitstellt, ausgebildet sein. Die Messwerte der unterschiedlichen Sensorsysteme werden immer in einem jeweiligen Sensorkoordinatensystem ausgegeben. Die erfindungsgemäße Vorrichtung ist nicht auf zwei Erfassungssysteme beschränkt.
Eine bedingte Wahrscheinlichkeit ist quasi ein Wahrscheinlichkeitsgrad. So kann beispielsweise unter einer bedingten Wahrscheinlichkeit verstanden werden, dass beispielsweise ein Merkmal erkannt worden ist, jedoch eine Unsicherheit vorliegt, ob das Merkmal tatsächlich vorhanden ist.
Unter Sequenzen sind in der Bilderverarbeitung auch Frames zu verstehen. So wird eine aufeinanderfolgende Anzahl von Frames, welche das Fahrzeugumfeld entlang der Fahrzeugtrajektorie abbilden, erzeugt und ausgewertet.
Erfindungsgemäß wird eine zeitliche Rückführung unter der Annahme durchgeführt, dass das Merkmal in allen vorliegenden Sequenzen von den Erfassungssystemen erkannt hätte werden müssen, wenn es im Sichtfeld des jeweiligen Erfassungssystems liegt.
Mittels der Erfindung ist es möglich, einen gesicherten Datensatz für beispielsweise ein künstliches neuronales Netz zu erstellen. Durch die Transformation der als sicher erkannten Merkmale in die ersten Sequenzen mit ersten Sensordaten und/oder zweiten Sequenzen mit zweiten Sensordaten werden verbesserte Trainingsdaten erzeugt, welche für ein selbstlernendes System herangezogen werden können. Diese rückwirkende Transformation kann als Backpropagation oder Rückkopplung bezeichnet werden. Somit erhöht sich die Richtigkeit der Trainingsdaten, da von mindestens zwei, auf unterschiedlicher Messmethode beruhenden Sensordaten die Stärken der einzelnen Messmethoden kombiniert werden, um die jeweils anderen Sensordaten mit wichtigen gesicherten Informationen zu versorgen. Die so verbesserten ersten Sequenzen mit ersten Sensordaten und zweiten Sequenzen mit zweiten Sensordaten werden dem selbstlernenden System als Trainingsdaten zur Verfügung gestellt.
Die Merkmale können beispielsweise regelbasiert detektiert und extrahiert werden. Durch die Erfindung enthält jeder der als Trainingsdaten zur Verfügung gestellten Sequenzen eine Pose, die entsprechenden Ableitungen (Velocity, Winkelraten), eine Liste von bereits erkannten Merkmalen und den entsprechenden Eingangssensordatensatz, wie beispielsweise Lidarsensordaten, Radarsensordaten und Kamerasensordaten.
Erfindungsgemäß werden für eine zeitliche Rückführung die erkannten Merkmale entsprechend ihrer Posen in die jeweiligen ersten und zweiten Sequenzen beginnend mit der jeweiligen Anfangssequenz transformiert.
Vorzugsweise ist der Prozessor ferner dazu ausgebildet, bei einem als erkannt gewerteten Merkmal, welches nicht in allen ersten Sequenzen der ersten Sensordaten erkannt worden ist, dieses als erkannt gewertete Merkmal unter Verwendung der Pose des Fahrzeugs vollständig in die erste Sequenz von ersten Sensordaten zu transformieren. Vorzugsweise ist der Prozessor ferner dazu ausgebildet, bei einem als erkannt gewerteten Merkmal welches nicht in allen zweiten Sequenzen der zweiten Sensordaten erkannt worden ist, dieses als erkannt gewertete Merkmal unter Verwendung der Pose des Fahrzeugs vollständig in die zweite Sequenz von zweiten Sensordaten zu transformieren. Dadurch kann durchgängig ein verbesserter Sensordatensatz erzielt werden.
In weiterer bevorzugter Ausgestaltung ist der Prozessor dazu ausgebildet, zumindest alle in den ersten und zweiten Sensordaten detektierten und extrahierten Merkmale unter Verwendung der Pose des Fahrzeugs zu fusionieren, so dass ein Erkennen oder ein Verwerfen von Merkmalen bewerkstelligbar ist und wobei der Prozessor dazu ausgebildet ist, bei Verifikation von Merkmalen in der Fusion, diese verifizierten Merkmale vollständig durchgängig in die erste Sequenz der ersten Sensordaten als auch in die zweite Sequenz der zweiten Sensordaten unter Verwendung der Pose des Fahrzeugs zu transformieren und bei Verwerfen von Merkmalen diese verworfenen Merkmale vollständig durchgängig aus der ersten Sequenz der ersten Sensordaten als auch aus der zweiten Sequenz der zweiten Sensordaten herauszufiltern. Eine solche Fusion kann beispielsweise in der Belegungskarte oder im sensorunabhängigen Fahrzeugkoordinatensystem erfolgen.
Zur besseren Validierung der vorhandenen Merkmale und zur Verwerfung von fälschlicherweise erkannten Merkmalen werden die bereits in den ersten und zweiten Sensordaten vorhandenen Merkmalshypothesen in einem gemeinsamen Koordinatensystem beispielsweise der Belegungskarte dargestellt (alignment). Die Merkmale werden auf Merkmalsebene durch beispielsweise den Kalman-Filter oder erweiterte Kalman Filter (EKF) oder unscented Kalman Filter fusioniert. Für die Anwendung des Kalman-Filters muss zunächst zu jedem Merkmal der korrespondierende Messwert assoziiert werden. Dies kann beispielsweise mithilfe des Nearest-Neighbour-Verfahrens bewerkstelligt werden, bei dem jeweils die Merkmale und Messungen mit dem geringsten Abstand assoziiert werden.
Nach der erfolgreichen Fusion wird die Plausibilität geprüft. Die Plausibilität der Merkmale ist wichtig, da die Trainingssensordaten für ein selbstlernendes System erzeugt und daher die Sensordatensätze so fehlerfrei wie möglich sein sollten. Der gewählte Filter schätzt die Plausibilität jedes Merkmals (Positions- und Geometrieinformationen) nach Existenzwahrscheinlichkeit, Erkennungswahrscheinlichkeit, Fehlalarmrate sowie Clutterrate (Falschalarmrate).
Um eine konsistente Verfolgung von einer einzelnen Sequenz zu einer nachfolgenden Sequenz -oder von Pose zu Pose- durchzuführen, müssen alle Merkmale durch die Fahrzeug-Bewegung, das heißt die Posendifferenz zwischen zwei Posen, mittels eines Bewegungsschätzungssystems, beispielsweise ein Intertiales Messsystem angepasst werden. Basierend auf den resultierenden Schätzungen kann daher als ein Schwellenwert ein Wert für die geschätzte Kovarianzen und die Existenzwahrscheinlichkeit, und/oder als Schwellenwert das Gewicht des Merkmals oder die Anzahl der Sequenzen (Frames), in denen ein Merkmal bereits verfolgt wird, verwendet werden, um unsichere oder falsche Merkmale herauszufiltern.
Für die Backpropagation müssen die in einer Belegungskarte gefundenen Merkmale, beginnend mit der ersten Sequenz, unter Verwendung der Pose des Fahrzeugs in die jeweiligen Sequenzen transformiert werden. Dies bedeutet, dass unter Verwendung der Pose des Fahrzeugs die detektierten und extrahierten Merkmale in die ersten Sensordaten und in die zweiten Sensordaten in jeden Frame, das heißt jeder Sequenz rückwirkend hinein transformiert oder -wenn bereits vorhanden- bestätigt werden.
Wird ein Merkmal nicht bestätigt, so wird es aus allen Sensordaten bzw. aus allen Sequenzen von Sensordaten gelöscht.
Aufgrund der Fusion mehrerer einzelner Sequenzen, erhöht sich die Wahrscheinlichkeit, die tatsächlich vorliegenden Merkmale zu detektieren, extrahieren und zu schätzen, von Sequenz zu Sequenz.
Es wird somit eine zeitliche Rückführung der erkannten Merkmale unter der Annahme durchgeführt, dass das Merkmal auch aus den vorherigen Sequenzen in allen Sensordaten/Sequenzen erkannt hätte werden müssen, wenn es im Sichtfeld des jeweiligen Erfassungssystems, beispielsweise eines Lidarsystems, Radarsystems oder Kamerasystems liegt.
Weiterhin vorzugsweise werden die als erkannt bewerteten Merkmale klassifiziert. Alternativ ist der Prozessor dazu ausgebildet, alle ersten und zweiten Sensordaten unter Verwendung der Pose des Fahrzeugs zu fusionieren, so dass ein verifiziertes Erkennen von Merkmalen ermöglicht ist, und wobei der Prozessor ferner dazu ausgebildet ist, diese verifizierten Merkmale vollständig durchgängig in die erste Sequenz der ersten Sensordaten als auch in die zweite Sequenz der zweiten Sensordaten unter Verwendung der Pose des Fahrzeugs zu transformieren.
Diese können -wie bereits oben beschrieben- in die Belegungskarte oder das Fahrzeugkoordinatensystem zur Merkmalserkennung transformiert werden.
Vorzugsweise sind die Merkmale als statische Merkmale ausgebildet. Diese sind vorzugsweise als Ground Truth Merkmale ausgebildet. Ground Truth können als am direkt am Boden aufgenommene Merkmale bezeichnet werden. Dies können beispielsweise Masten, wie Leitpfosten, Geländerstangen, Ampel-/Schildermasten, Bäume, Verkehrsschilder / Lichtmasten, Reflektorleitpfosten, etc. oder Linien, wie beispielsweise Kanten, Fahrspurlinien, Bordsteine, Rasenkanten, Strukturkanten, etc. sein.
Ferner können dies Ebenen, wie Tunnelflächen, Hausflächen, Mauern, Zäune oder spezielle Merkmale, wie retro-reflektierende Schilder, Fahrspurlinien oder Verkehrszeichen sein.
Weiterhin vorzugsweise ist eine dritte Dateneinheit vorgesehen, welche ausgebildet ist zum Bereitstellen einer dritten Sequenz von aufeinanderfolgenden Umfeldbildern eines Fahrzeugumfeldes entlang der Fahrzeugtrajektorie eines Fahrzeugs als dritte Sequenz von dritten Sensordaten, wobei die dritten Sensordaten auf einer zu den ersten und zweiten Sensordaten unterschiedlichen Messmethode beruhen und wobei der Prozessor dazu ausgebildet ist, zum Detektieren und Extrahieren von Merkmalen aus der dritten Sequenz von dritten Sensordaten, wobei der Prozessor ferner dazu ausgebildet ist, die detektierten Merkmale mit einer bedingten Wahrscheinlichkeit in jeder der dritten Sequenz von dritten Sensordaten zu erkennen und wobei der Prozessor ferner dazu ausgebildet ist, ab einem vorgegebenen Schwellenwert einzelne Merkmale in der dritten Sequenz von aufeinanderfolgenden dritten Umfeldbildern als erkannt zu werten. Durch die dritten Sensordaten und die aus den dritten Sensordaten extrahierten Merkmale und dem anschließenden Vergleich mit den Merkmalen aus den ersten und zweiten Sensordaten kann eine weitere Erhöhung der Qualität der Trainingsdaten erzielt werden.
Weiterhin vorzugsweise sind die ersten Sensordaten als Lidarsensordaten, die zweiten Sensordaten als Radarsensordaten und die dritten Sensordaten als Kamera (Bild)sensordaten ausgebildet. Die Erfassungssysteme sind bevorzugt Lidarsysteme / Radarsysteme und Kamerasysteme, welche vorzugsweise in einem autonom fahrenden Fahrzeug bereits vorhanden sind.
Vorzugsweise ist der Prozessor dazu ausgebildet, bei einem detektierten Merkmal in der ersten Sequenz der ersten Sensordaten und/oder in der zweiten Sequenz der zweiten Sensordaten ein manuelles Erkennen oder manuelles Verwerfen des detektierten Merkmals zu ermöglichen, und bei manuellem Erkennen dieses vollständig durchgängig in die erste Sequenz der ersten Sensordaten als auch in die zweite Sequenz der zweiten Sensordaten unter Verwendung der Pose des Fahrzeugs zu transformieren und bei manuellen Verwerfen vollständig durchgängig aus der ersten Sequenz der ersten Sensordaten als auch aus der zweiten Sequenz der zweiten Sensordaten herauszufiltern. Dadurch kann eine weitere Erhöhung der Sicherheit bei erkannten Merkmalen in den Trainingsdaten zur Verfügung gestellt werden.
Weiterhin vorzugsweise können die detektierten Merkmale in der ersten Sequenz der ersten Sensordaten mittels Tracking in den weiteren Sequenzen der ersten Sensordaten verfolgt werden und die detektierten Merkmale in der zweiten Sequenz der zweiten Sensordaten mittels Tracking in den weiteren Sequenzen der zweiten Sensordaten verfolgt werden.
Ferner kann eine Klassifizierung und Plausibilitätsprüfung der erkannten Merkmale durchgeführt werden; wahlweise nach oder vor einer Fusion. Dies dient der höheren Stabilität der Vorrichtung.
Ferner kann eine beliebige Kombination von Kamera-, Lidar- und Radarsensordaten als erste oder zweite Sensordaten ausgestaltet sein.
Ferner wird die Aufgabe gelöst durch eine Verwendung der, durch eine wie oben beschriebene Vorrichtung erzeugten Trainingsdaten zum Trainieren eines künstlichen neuronalen Netzes. Insbesondere kann das künstliche neuronale Netz ein tiefes neuronales Netz ein. Bei diesem wird meist auf unstrukturierten Daten eine Detektion oder Klassifikation gelernt. Um das Netz gut trainieren zu können, müssen ausreichend viele qualifizierte Trainingsdaten mit Wissen um die korrekte Detektion von Merkmalen, vorhanden sein. Die Qualität der Trainingsdaten ist entscheidend für den Erfolg des maschinellen Lernens.
Vorzugsweise wird das trainierte künstliche neuronale Netz zur Steuerung in einem autonom fahrenden Fahrzeug verwendet. Dabei weist das Fahrzeug vorzugsweise eine Autonomiestufe vier oder fünf auf, bei welchen kein Fahrer mehr benötigt wird.
Ferner wird die Aufgabe gelöst durch ein Verfahren zur Erzeugung von verifizierten Trainingsdaten für ein selbstlernendes System umfassend der Schritte:

- Bereitstellen einer ersten Sequenz von aufeinanderfolgenden Umfeldbildern eines Fahrzeugumfeldes entlang einer Fahrzeugtrajektorie eines Fahrzeugs als erste Sequenz von ersten Sensordaten und
- Detektieren und Extrahieren von Merkmalen mit einer bedingten Wahrscheinlichkeit in jeder oder einzelnen ersten Sequenzen von ersten Sensordaten, und werten einzelner Merkmale in der ersten Sequenz von ersten Sensordaten ab einem vorgegebenen Schwellenwert als erkannt,
- Bereitstellen einer zu der ersten zeitsynchronen zweiten Sequenz von aufeinanderfolgenden Umfeldbildern des identischen oder nahezu identischen Fahrzeugumfeldes entlang der Fahrzeugtrajektorie des Fahrzeugs als zweite Sequenz von zweiten Sensordaten, wobei die zweiten Sensordaten auf einer zu den ersten Sensordaten unterschiedlichen Messmethode beruhen,
- Detektieren und Extrahieren von Merkmalen mit einer bedingten Wahrscheinlichkeit in jeder oder einzelnen der zweiten Sequenz von zweiten Sensordaten und werten ab einem vorgegebenen Schwellenwert einzelne Merkmale in der zweiten Sequenz der zweiten Sensordaten als erkannt,
- Transformieren bei einem, in den ersten Sequenzen der ersten Sensordaten erkannten Merkmal, welches nicht in der zweiten Sequenz von zweiten Sensordaten erkannt worden ist, das erkannte Merkmal unter Verwendung einer Pose des Fahrzeugs in die zweite Sequenz von zweiten Sensordaten
- und transformieren bei einem, in den zweiten Sequenzen der zweiten Sensordaten, erkannten Merkmal, welches nicht in der ersten Sequenz von ersten Sensordaten erkannt worden ist, das erkannte Merkmal unter Verwendung der Pose des Fahrzeugs in die erste Sequenz von ersten Sensordaten.

Durch das erfindungsgemäße Verfahren erhöht sich die Richtigkeit der Trainingsdaten, da von mindestens zwei, auf unterschiedlicher Messmethode beruhenden Sensordaten die Stärken der einzelnen Messmethoden kombiniert werden, um die jeweils anderen Sensordaten mit wichtigen gesicherten Informationen zu versorgen. Die so verbesserten ersten Sequenzen mit ersten Sensordaten und zweiten Sequenzen mit zweiten Sensordaten werden dem selbstlernenden System als Trainingsdaten zur Verfügung gestellt.
Das Verfahren ist insbesondere dazu ausgebildet auf der erfindungsgemäßen Vorrichtung durchgeführt zu werden.
In vorzugsweiser Ausgestaltung wird bei einem als erkannt gewerteten Merkmal, welches nicht in allen ersten Sequenzen der ersten Sensordaten erkannt worden ist, dieses erkannte Merkmal unter Verwendung der Pose des Fahrzeugs vollständig in die erste Sequenz von ersten Sensordaten transformiert und bei einem als erkannt gewerteten Merkmal, welches nicht in allen zweiten Sequenzen der zweiten Sensordaten erkannt worden ist, dieses unter Verwendung der Pose des Fahrzeugs vollständig in die zweite Sequenz von zweiten Sensordaten transformiert.
Weiterhin vorzugsweise wird der Prozessor dazu ausgebildet, zumindest alle in den ersten und zweiten Sensordaten detektierten und extrahierten Merkmale unter Verwendung der Pose des Fahrzeugs zu fusionieren, so dass ein Erkennen oder ein Verwerfen von Merkmalen bewerkstelligbar ist und wobei der Prozessor dazu ausgebildet ist, bei Verifikation von Merkmalen in der Fusion, diese verifizierten Merkmale vollständig durchgängig in die erste Sequenz der ersten Sensordaten als auch in die zweite Sequenz der zweiten Sensordaten unter Verwendung der Pose des Fahrzeugs zu transformieren und bei Verwerfen von Merkmalen diese verworfenen Merkmale vollständig durchgängig aus der ersten Sequenz der ersten Sensordaten als auch aus der zweiten Sequenz der zweiten Sensordaten herauszufiltern.
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Variationen hiervon können vom Fachmann abgeleitet werden, ohne den Schutzumfang der Erfindung, wie er durch die nachfolgenden Patentansprüche definiert wird, zu verlassen.
Die Figuren zeigen schematisch:

1: eine erste Ausgestaltung einer erfindungsgemäßen Vorrichtung,
2: einen beispielhaften Detektionsalgorithmus für Lidarsensordaten,
3: eine zweite Ausgestaltung einer erfindungsgemäßen Vorrichtung,
4: eine Reichweitenerkennung verschiedener Sensorsysteme,
5: eine dritte Ausgestaltung einer erfindungsgemäßen Vorrichtung,
6: erkannte Ground Truth Merkmale eines Lidarsystems und eines Radarsystems,
7: die Fusion der in 6 erkannten Ground Truth Merkmale,
8: die zeitlich zurückgeführten in der Fusion von 7 erkannten Merkmale in die jeweiligen Sensorkoordinatensysteme.

1 zeigt eine erste Ausgestaltung einer erfindungsgemäßen Vorrichtung in einer ersten Ausgestaltung.
Diese weist eine erste Dateneinheit 2 auf. Die erste Dateneinheit 2 ist zur Bereitstellung von Lidarsensordaten ausgebildet. Vorzugsweise ist die erste Dateneinheit 2 eine Schnittstelle oder ein Lidarsensorsystem, welche Umfeldbilder als Lidarsequenzen von Lidarsensordaten aufnimmt, während ein Fahrzeug 6 (4) entlang einer Fahrzeugtrajektorie fährt.
Ferner ist ein Prozessor 5 vorgesehen, welcher Merkmale, vorzugsweise regelbasiert, aus den Lidarsequenzen der Lidarsensordaten detektiert und extrahiert. Vorzugsweise sind die Merkmale als statische Merkmale ausgebildet. Diese sind als Ground Truth Merkmale ausgebildet. Ground Truth Merkmale können als am direkt am Boden aufgenommene Merkmale bezeichnet werden. Dies können beispielsweise Masten, wie Leitpfosten, Geländerstangen, Ampel-/Schildermasten, Bäume, Verkehrsschilder / Lichtmasten, Reflektorleitpfosten, etc. oder Linien, wie beispielsweise Kanten, Fahrspurlinien, Bordsteine, Rasenkanten, Strukturkanten, etc. sein. Ferner können dies Ebenen, wie Tunnelflächen, Hausflächen, Mauern, Zäune oder spezielle Merkmale, wie retro-reflektierende Schilder, Fahrspurlinien oder Verkehrszeichen sein.
Messwerte von unterschiedlichen Sensorsystemen werden immer im jeweiligen Sensorkoordinatensystem ausgegeben. Die Ausgabe der Lidarsensordaten erfolgt hier in einem Lidarsensorkoordinatensystem.
Als Detektionsverfahren zur Detektion und Extraktion von Merkmalen kann beispielsweise eine Echtzeit-Methode in Form von zwei parallel laufenden Algorithmen verwendet werden.
Ein Beispiel eines solchen Detektionsalgorithmus für Lidarsensordaten ist in 2 beschrieben. Dieser beruht auf zwei unterschiedlichen Algorithmen. Der erste Algorithmus zur Erkennung einer Lidarodometrie dient der groben Verarbeitung, während ein Lidar-Mapping eine Feinbearbeitung durchführt. Die Zusammenarbeit der beiden Algorithmen ermöglicht eine genaue Bewegungsschätzung und Zuordnung in Echtzeit. Es werden Merkmalspunkte ausgewählt, die sich an scharfen Kanten und Planflächenflicken befinden, und nach den Krümmungswerten sortiert, anschließend mittels eines DBSCN-Verfahrens (Dichtebasiertes räumliches Clustering von Anwendungen mit Rauschen) geclustert und anschließend zueinander gefittet. Der DBSCAN ermöglicht das Clustern und extrahieren beliebiger Formen in Räumen jeder Dimension.
Alternativ kann ein auf DBSCAN basierender Segmentierungsalgorithmus mit einem automatischen Parameter-Schätzverfahren verwendet werden. Dabei basiert ein solches Schätzverfahren auf dem Durchschnitt der maximalen Entfernung von k nächsten Nachbarn, mit dem der Parameter aus intrinsischen Eigenschaften der Lidarsensordaten berechnet werden kann. Auch andere regelbasierte Algorithmen können verwendet werden. Solche sind hinreichend bekannt.
Zudem können bereits selbstlernende Systeme herangezogen werden, sofern diese ein zuverlässiges Erkennen der zu erkennenden Merkmale liefern.
Durch den Detektionsalgorithmus können Ground Truth Merkmale wie Linien beispielsweise in Form von Kanten, Fahrspurlinien, Bordsteine, Grasränder, Strukturkanten, Ebenen beispielsweise in Form von Mauern und spezielle Merkmale, wie retro-reflektierende Schilder erkannt werden.
Dabei wird jedem erkannten Merkmal eine Wahrscheinlichkeit, mit der es erkannt wurde, zugeordnet. Ab einen vorgegebenen Schwellenwert gilt das Merkmal als erkannt.
Ferner weist die Vorrichtung 1a eine zweite Dateneinheit 3 auf. Die zweite Dateneinheit 3 ist zur Bereitstellung von Radarsensordaten ausgebildet. Vorzugsweise ist die zweite Dateneinheit 3 eine Schnittstelle oder ein Radarsensorsystem, welche Umfeldbilder als Radarsequenzen anhand von Radarsensordaten aufnimmt, während ein Fahrzeug 6 (4) entlang der Fahrzeugtrajektorie fährt. Das Radarsensorsystem erzeugt Radarsequenzen mit Radarsensordaten die sogenannten Datenframes. Die Ausgabe der Radarsensordaten erfolgt hier in einem Radarsensorkoordinatensystem.
Ferner ist der Prozessor 5 dazu ausgebildet, Merkmale aus den Radarsequenzen d.h. aus den Radarsensordaten zu detektieren und extrahieren. Aus diesen können mittels einem entsprechenden Algorithmus die Merkmale detektiert und extrahiert werden. Dabei kann vor allem ein regelbasierter Algorithmus verwendet werden. Solche sind hinreichend bekannt.
Vorzugsweise sind die Merkmale als dieselben statischen Merkmale ausgebildet. Diese sind ebenfalls vorzugsweise als Ground Truth Merkmale ausgebildet. Ground Truth können als am direkt am Boden aufgenommene Merkmale bezeichnet werden. Dies können beispielsweise Masten, wie Leitpfosten, Geländerstangen, Ampel-/Schildermasten, Bäume, Verkehrsschilder / Lichtmasten, Reflektorleitpfosten, etc. oder Linien, wie beispielsweise Kanten, Fahrspurlinien, Bordsteine, Rasenkanten, Strukturkanten, etc. sein.
Ferner können dies Ebenen, wie Tunnelflächen, Hausflächen, Mauern, Zäune oder spezielle Merkmale, wie retro-reflektierende Schilder, Fahrspurlinien oder Verkehrszeichen sein.
Dabei wird jedem erkannten Merkmal eine Wahrscheinlichkeit, mit der es erkannt wurde, zugeordnet. Ab einen vorgegebenen Schwellenwert gilt das Merkmal als erkannt.
Ferner weist die Vorrichtung 1 a eine dritte Dateneinheit 4 auf. Die dritte Dateneinheit 4 ist zur Bereitstellung von Kamerasensordaten ausgebildet. Vorzugsweise ist die dritte Dateneinheit 4 eine Schnittstelle oder ein Bild-/Kamerasensorsystem, welche die Umfelddaten als Kamerasequenzen anhand von Kamerasensordaten aufnimmt, während ein Fahrzeug 6 (4) entlang einer Fahrzeugtrajektorie fährt. Das Kamerasensorsystem erzeugt Kamerasequenzen mit Kamerasensordaten, die sogenannte Datenframes. Die Ausgabe der Kamerasensordaten erfolgt hier in einem Kamerasensorkoordinatensystem.
Ferner ist der Prozessor 5 vorgesehen, welcher die Merkmale aus den Radarsequenzen d.h. aus den Radarsensordaten detektiert und extrahiert. Aus diesen Radarsensordaten werden die Merkmale mit einem entsprechenden Algorithmus detektiert und extrahiert. Dabei kann vor allem ein regelbasierter Algorithmus verwendet werden. Solche sind hinreichend bekannt.
Dabei wird jedem erkannten Merkmal eine Wahrscheinlichkeit, mit der es erkannt wurde, zugeordnet. Ab einen vorgegebenen Schwellenwert gilt das Merkmal als erkannt.
Bei einem sicher, das heißt als erkannt gewerteten, Merkmal, welches entweder in den Lidar-/Radar-/oder Kamerasensordaten erkannt worden ist, wird dieses unter Verwendung der Pose des Fahrzeugs 6 (4) in alle einzelnen Radarsequenzen/Lidarsequenzen und/oder Kamerasequenzen transformiert, sofern es in diesen nicht erkannt worden ist.
Dabei wird unter Pose des Fahrzeugs 6 (4) die Position und Orientierung (X, Y, Z, φ, θ , Ψ), und Bewegung vX, vY, vZ, und die Nick-, Roll- und Gierbestimmung (Pose-Estimation) bezogen auf ein sensorunabhängiges Fahrzeugkoordinatensystem des Fahrzeugs 6 (4) verstanden. Dabei kann das Fahrzeugkoordinatensystem beispielsweise nach ISO 8855 definiert sein, und seinen Ursprung im auf die Fahrbahn projizierten Schwerpunkt (Center of Gravity) aufweisen. Ebenfalls kann mithilfe der Pose eine Belegungskarte erstellt werden, in der die statischen Merkmale des Umfeldes erfasst werden, so dass eine auf Belegungskarten basierende Umfelderfassung realisiert wird.
Diese Pose wird für gewöhnlich geschätzt (Pose estimation, Poseschätzung) beispielsweise durch eine punkt- und/oder konturbasierte Kombination. Hierzu können beispielsweise ein Kalman-Filter verwendet werden, oder Varianten wie ein Erweiterter Kalman-Filter (EKF) oder auch ein Unscented Kalman-Filter (UKF). Diese Kalman-Filter-Varianten nähern das nichtlineare Problem durch ein lineares an.
Wird in den Lidarsensordaten/Radarsensordaten und/oder Kamerasensordaten mit bedingter Wahrscheinlichkeit ein identisches Merkmal erkannt, so kann beispielsweise abhängig von den jeweiligen einzelnen Wahrscheinlichkeiten bezogen auf ein Merkmal entschieden werden, ob das Merkmal als erkannt gilt oder verworfen wird. Beispielhaft wird hier ein Merkmal mit jeweils einer Wahrscheinlichkeit von 70% als Schwellenwert in den Lidarsensordaten und Radarsensordaten und Kamerasensordaten erkannt. Durch die hohe Erkennung durch die Lidarsensordaten und Radarsensordaten und Kamerasensordaten kann der Prozessor 5 das Merkmal als erkannt gelten lassen.
Wird beispielsweise ein Merkmal in den Lidarsensordaten/Radarsensordaten nur mit 40% und in den Kamerasensordaten gar nicht erkannt, so kann das Merkmal verworfen werden und die Lidarsensordaten/Radarsensordaten/ Kamerasensordaten entsprechend angepasst werden.
Auch können beispielsweise ein Mittelwert über alle Wahrscheinlichkeiten oder einzelne Sensorsysteme mehr gewichtet werden oder andere Auswertemöglichkeiten vorhanden sein.
Mittels der Erfindung ist es möglich jeweils einen qualitativ hochwertigen Lidardatensatz/Radardatensatz/Kameradatensatz für beispielsweise ein künstliches neuronales Netz 7 zu erstellen. Durch die Transformation der als sicher erkannten Merkmale in die Radarsequenzen / Lidarsequenzen / Kamerasequenzen und die Löschung von fälschlicherweise erkannten Merkmalen werden verbesserte Trainingsdatensätze erzeugt, welche für ein selbstlernendes System herangezogen werden können. Somit erhöht sich die Richtigkeit der Trainingsdaten, da von drei auf unterschiedlicher Messmethode beruhenden Sensordaten die Stärken der einzelnen Messmethoden kombiniert werden, um die jeweils anderen Sensordaten (Radarsensordaten/ Lidarsensordaten / Kamerasensordaten) mit wichtigen gesicherten Informationen zu versorgen. Die so verbesserten Radarsensordaten/ Lidarsensordaten / Kamerasensordaten werden dem selbstlernenden System als Trainingsdaten zur Verfügung gestellt.
3 zeigt eine weitere Ausgestaltung einer erfindungsgemäßen Vorrichtung 1b. Diese weist die erste Dateneinheit 2 auf. Die erste Dateneinheit 2 ist zur Bereitstellung von nacheinander aufgenommenen Lidarsequenzen als Lidarsensordaten ausgebildet, wobei die Lidarsequenzen einzelne Umfeldbilder zeigen. Ferner ist der Prozessor 5 dazu ausgebildet, Merkmale mittels eines regelbasierten Detektionsalgorithmus aus den Lidarsequenzen der Lidarsensordaten zu detektieren und zu extrahieren.
Vorzugsweise sind die Merkmale als statische Merkmale ausgebildet. Diese sind vorzugsweise als Ground Truth Merkmale ausgebildet.
Die Messwerte von unterschiedlichen Sensorsystemen werden immer im jeweiligen Sensorkoordinatensystem ausgegeben. Die Ausgabe der Lidarsensordaten erfolgt hier in einem Lidarsensorkoordinatensystem.
Dabei wird jedem erkannten Merkmal eine Wahrscheinlichkeit, mit der es erkannt wurde, zugeordnet. Ab einen vorgegebenen Schwellenwert wird das Merkmal als erkannt bewertet.
Ferner weist die Vorrichtung 1 b die zweite Dateneinheit 3 auf. Die zweite Dateneinheit 3 ist zur Bereitstellung von Radarsequenzen als Radarsensordaten ausgebildet, wobei die Radarsequenzen einzelne nacheinander aufgenommene Umfeldbilder zeigen. Ferner ist der Prozessor 5 dazu ausgebildet, Merkmale mittels eines regelbasierten Detektionsalgorithmus aus den Radarsequenzen bzw. Radarsensordaten zu detektieren und zu extrahieren.
Die Ausgabe der Radarsensordaten erfolgt hier in einem Radarsensorkoordinatensystem.
Vorzugsweise sind die Merkmale als statische Merkmale ausgebildet. Diese sind ebenfalls vorzugsweise als Ground Truth Merkmale ausgebildet.
Dabei wird jedem erkannten Merkmal eine Wahrscheinlichkeit, mit der es erkannt wurde, zugeordnet. Ab einen vorgegebenen Schwellenwert wird das Merkmal als erkannt bewertet.
Ferner weist die Vorrichtung 1b die dritte Dateneinheit 4 auf. Die dritte Dateneinheit 4 ist zur Bereitstellung von nacheinander aufgenommenen Bild-/Kamerasequenzen als Kamerasensordaten ausgebildet, wobei die Kamerasequenzen einzelne Umfeldbilder zeigen. Die Ausgabe der Kamerasensordaten erfolgt hier in einem Kamerasensorkoordinatensystem. Ferner ist der Prozessor 5 dazu ausgebildet, Merkmale mittels eines regelbasierten Detektionsalgorithmus aus den Kamerasequenzen bzw. den Kamerasensordaten zu detektieren und zu extrahieren.
Dabei wird jedem erkannten Merkmal eine Wahrscheinlichkeit, mit der es erkannt wurde, zugeordnet. Ab einen vorgegebenen Schwellenwert wird das Merkmal als erkannt bewertet.
Ferner wird die Pose des Fahrzeugs 6 (4) bestimmt. Unter Pose des Fahrzeugs 6 (4) wird die Position und Orientierung (X,Y,Z, φ, θ, Ψ), und Bewegung vX, vY, vZ und die Nick-, Roll- und Gierbestimmung (Pose-Estimation) bezogen auf ein sensorunabhängiges Fahrzeugkoordinatensystem des Fahrzeugs 6 (4) verstanden. Dieses Fahrzeugkoordinatensystem kann beispielsweise nach ISO 8855 definiert sein, und seinen Ursprung im auf die Fahrbahn projizierten Schwerpunkt (Center of Gravity) aufweisen.
Ebenfalls kann mithilfe der Pose eine Belegungskarte erstellt werden, in der die statischen Merkmale des Umfeldes erfasst werden, so dass eine auf Belegungskarten basierende Umfelderfassung realisiert wird.
Diese Pose wird für gewöhnlich geschätzt (Pose estimation, Poseschätzung). Es ist bekannt, dass beispielsweise Radarsysteme (LRR) eine Reichweitenerkennung von bis zu 150m aufweisen, während ein mehrstrahliges Lidarsystem eine Reichweitenerkennung von ca. 200m aufweist. Mono- und Stereokameras weisen hingegen eine Reichweitenerkennung bis zu 80 m auf. 4 zeigt diese Reichweitenerkennung schematisch im Detail. Die hier angegebenen Werte sind nur beispielhaft und können je nach verwendetem System variieren.
Somit nimmt ein mehrstrahliges Lidarsystem statische Merkmale in einem Lidarkoordinatensystem mit einer Reichweite von 200 m auf.
Das Radarsystem (LLR) nimmt die statischen Merkmale in einem Radarkoordinatensystem mit einer Reichweite von bis zu 150 m auf.
Das Kamerasystem nimmt die statischen Merkmale in einem Kamerakoordinatensystem mit einer Reichweite von bis zu 80m auf.
Das Fahrzeug 6 selber weist ein sensorunabhängiges Fahrzeugkoordinatensystem auf, welches beispielsweise nach ISO 8855 definiert ist. Mithilfe der Pose des Fahrzeugs 6 kann eine Belegungskarte erstellt werden, in der die statischen Merkmale des Umfeldes erfasst werden, so dass eine auf Belegungskarten basierende Umfelderfassung realisiert wird.
Die Merkmalserkennung wird anhand bestimmter Eigenschaften der Merkmale durchgeführt, wie vertikale Kanten, Räder oder Symmetrie.
Zur besseren Validierung der vorhandenen statischen Merkmale und zur Verwerfung von fälschlicherweise erkannten statischen Merkmalen werden die bereits im Radarkoordinatensystem/Lidarkoordinatensystem/Kamerakoordinatensystem vorhandenen Merkmalshypothesen in einem gemeinsamen Koordinatensystem beispielsweise der Belegungskarte für jede der Sequenzen dargestellt (alignment).
Die Merkmale werden auf Merkmalsebene durch beispielsweise den Kalman-Filter oder den erweiterten Kalman Filter (EKF) oder den unscented Kalman Filter fusioniert. Ferner können auch (andere) Bayes'sche Filter oder PHD-Filter (Probability Hypothesis Density) zum Einsatz kommen. Für die Anwendung des Kalman-Filters muss zunächst zu jedem Merkmal der korrespondierende Messwert assoziiert werden. Ein einfaches und weit verbreitetes Assoziationsverfahren ist das Nearest-Neighbour-Verfahren, bei dem jeweils die Merkmale und Messungen mit dem geringsten Abstand assoziiert werden. Als Assoziationsverfahren kann beispielsweise auch die Ungarische Methode, auch Kuhn-Munkres-Algorithmus genannt, zum Einsatz kommen oder ein Joint compatibility Test.
Nach der erfolgreichen Fusion wird die Plausibilität beispielsweise mittels einer Likelihood -Funktion geprüft. Die Plausibilität der Merkmale ist wichtig, da die Trainingssensordaten für ein selbstlernendes System erzeugt und daher die Sensordatensätze so fehlerfrei wie möglich sein sollten.
Der gewählte Filter schätzt die Zustände jedes Merkmals (Positions- und Geometrieinformationen) nach Existenzwahrscheinlichkeit, Erkennungswahrscheinlichkeit, Fehlalarmrate sowie die Clutterrate (Falschalarmrate). Um eine konsistente Verfolgung von einer einzelnen Sequenz zu einer nachfolgenden Sequenz (oder von Pose zu Pose) durchzuführen, müssen alle Merkmale durch die Fahrzeug-Bewegung, das heißt die Posendifferenz zwischen zwei Posen, mittels eines Bewegungsschätzungssystems beispielsweise ein Intertiales Messsystem angepasst werden.
Basierend auf den resultierenden Schätzungen kann daher als ein Schwellenwert ein Wert für die geschätzte Kovarianz und die Existenzwahrscheinlichkeit, das Gewicht des Merkmals oder die Anzahl der Sequenzen (Frames), in denen ein Merkmal bereits verfolgt wird, verwendet werden, um unsichere oder falsche Merkmale herauszufiltern.
Für die Backpropagation müssen die in einer Belegungskarte gefundenen Merkmale, ab der ersten das heißt Anfangssequenz, entsprechend ihrer Posen in die jeweiligen Sequenzen transformiert werden. Dies bedeutet, dass unter Verwendung der Pose des Fahrzeugs 6 (4) die detektierten Merkmale in den Lidardatensatz/Radardatensatz/Kameradatensatz in jeden Frame, das heißt Sequenz rückwirkend hinein transformiert oder -wenn bereits vorhanden- bestätigt werden.
Wird ein Merkmal nicht bestätigt, so wird es aus den entsprechenden Lidardatensatz/Radardatensatz/Kameradatensatz gelöscht. Es wird somit eine zeitliche Rückführung der erkannten Merkmale unter der Annahme durchgeführt, dass das jeweilige Merkmal auch aus den vorherigen Sequenzen in allen Sensordaten erkannt hätte werden müssen, wenn es im Sichtfeld der jeweiligen Sensoren, hier des Lidarsystems, Radarsystems oder Kamerasystems liegt.
Mittels der Erfindung ist es möglich jeweils einen hoch qualitativen Lidardatensatz/Radardatensatz/Kameradatensatz für beispielsweise ein künstliches neuronales Netz 7 zu erstellen. Durch die Transformation der als sicher erkannten Merkmale in die Radarsequenzen / Lidarsequenzen / Kamerasequenzen und die Löschung von fälschlicherweise erkannten Merkmalen werden verbesserte Trainingsdatensätze erzeugt, welche für ein selbstlernendes System herangezogen werden können. Somit erhöht sich die Richtigkeit der Trainingsdaten, da von drei auf unterschiedlicher Messmethode beruhenden Sensordaten die Stärken der einzelnen Messmethoden kombiniert werden, um die jeweils anderen Sensordaten (Radarsensordaten/ Lidarsensordaten / Kamerasensordaten) mit wichtigen gesicherten Informationen zu versorgen. Die so verbesserten Radarsensordaten/ Lidarsensordaten / Kamerasensordaten werden dem selbstlernenden System als Trainingsdaten zur Verfügung gestellt.
Jeder der zur Verfügung gestellten Sequenzen enthält somit die Pose, die entsprechenden Ableitungen (Velocity, Winkelraten), die erkannten Ground Truth Merkmale und den entsprechenden Eingangsdatensatz (Lidarsensordaten, Radarsensordaten, Kamerasensordaten).
Alternativ können alle erfassten Lidarsensordaten, Radarsensordaten und Kamerasensordaten in der Belegungskarte fusioniert werden und daraus die Merkmale detektiert und extrahiert werden.
5 zeigt eine dritte Ausgestaltung einer erfindungsgemäßen Vorrichtung 1c. Diese weist wie in 3 eine erste Dateneinheit 2 auf, welche zur Bereitstellung von nacheinander aufgenommenen Lidarsequenzen als Lidarsensordaten ausgebildet ist.
Ferner weist die Vorrichtung 1c die zweite Dateneinheit 3 auf, welche zur Bereitstellung von Radarsequenzen als Radarsensordaten ausgebildet ist. Ferner weist die Vorrichtung 1c die dritte Dateneinheit 4 auf, welche zur Bereitstellung von nacheinander aufgenommenen Bild-/Kamerasequenzen als Kamerasensordaten ausgebildet ist.
Ferner ist der Prozessor 5 dazu ausgebildet, Merkmale mittels eines regelbasierten Detektionsalgorithmus aus den Radarsequenzen / Lidarsequenzen /Kamerasequenzen zu detektieren und zu extrahieren.
Dabei wird jedem erkannten Merkmal eine Wahrscheinlichkeit, mit der es erkannt wurde, zugeordnet. Ab einen vorgegebenen Schwellenwert gilt das Merkmal als erkannt.
Ferner wird die Pose des Fahrzeugs 6 (4) bestimmt. Unter Pose des Fahrzeugs 6 (4) wird die Position und Orientierung (X,Y,Z, φ, θ, Ψ), und Bewegung vX, vY, vZ, und die Nick-, Roll- und Gierbestimmung (Pose-Estimation) bezogen auf ein sensorunabhängiges Fahrzeugkoordinatensystem des Fahrzeugs 6 (4) verstanden. Die Merkmalserkennung wird anhand bestimmter Eigenschaften der Merkmale durchgeführt, wie vertikale Kanten, Räder oder Symmetrie.
Zur besseren Validierung vorhandener statischer Merkmale und zur Verwerfung von fälschlicherweise erkannten statischen Merkmalen werden die bereits im Radarkoordinatensystem /Lidarkoordinatensystem/Kamerakoordinatensystem vorhandenen Merkmalshypothesen in einem gemeinsamen Koordinatensystem, beispielsweise in der Belegungskarte dargestellt (alignment). Die Merkmale werden auf Merkmalsebene durch beispielsweise den Kalman Filter oder den erweiterte Kalman Filter (EKF) oder den unscented Kalman Filter fusioniert.
Als ein Schwellenwert für ein zu erkennendes oder zu verwerfendes Merkmal kann die geschätzte Kovarianz und die Existenzwahrscheinlichkeit, oder das Gewicht des Merkmals oder die Anzahl der Sequenzen (Frames), die ein Merkmal bereits verfolgt wird, verwendet werden. Ferner kann zur zusätzlichen Leistungssteigerung, das heißt erhöhten Sicherheit bei erkannten Merkmalen und damit weiter verbesserten Trainingsdaten, eine manuelle, bzw. halbautomatische Auswahl stattfinden. Dies bedeutet, dass ein Benutzer die fusionierten Merkmale manuell korrigieren kann. Dabei kann beispielsweise eine Korrektur von Merkmalsattributen wie Position oder geometrische Eigenschaften sowie Klassifizierung möglich sein.
Für die Backpropagation müssen die Merkmale in einer Belegungskarte beginnend mit der ersten Sequenz entsprechend ihrer Posen (P0, P1, ...., P10) in die jeweiligen Sequenzen transformiert werden. Dies bedeutet, dass unter Verwendung der Pose des Fahrzeugs 6 (4) die detektierten Merkmale in den Lidardatensatz/Radardatensatz/Kameradatensatz in jeden Frame, das heißt Sequenz rückwirkend hinein transformiert oder -wenn bereits vorhanden- bestätigt werden.
Wird ein Merkmal nicht bestätigt, so wird es aus den entsprechenden Lidardatensatz/Radardatensatz/Kameradatensatz gelöscht. Es wird somit eine so genannte zeitliche Rückführung der erkannten Merkmale unter der Annahme durchgeführt, dass das jeweilige Merkmal auch aus den vorherigen Sequenzen in allen Sensordaten erkannt hätte werden müssen, wenn es im Sichtfeld der jeweiligen Sensoren, hier des Lidarsystems, Radarsystems oder Kamerasystems liegt.
Mittels der Erfindung ist es möglich jeweils einen qualitativ hochwertigen Lidardatensatz/Radardatensatz/Kameradatensatz für beispielsweise ein künstliches neuronales Netz 7 zu erstellen. Durch die Transformation der als sicher erkannten Merkmale in die Radarsequenzen / Lidarsequenzen / Kamerasequenzen und die Löschung von fälschlicherweise erkannten Merkmalen werden verbesserte Trainingsdatensätze erzeugt, welche für ein selbstlernendes System herangezogen werden kann. Somit erhöht sich die Richtigkeit der Trainingsdaten, da von drei auf unterschiedlicher Messmethode beruhenden Sensordaten die Stärken der einzelnen Messmethoden kombiniert werden, um die jeweils anderen Sensordaten (Radarsensordaten/ Lidarsensordaten / Kamerasensordaten) mit wichtigen gesicherten Informationen zu versorgen. Die so verbesserten Radarsensordaten/ Lidarsensordaten / Kamerasensordaten können dem selbstlernenden System als Trainingsdaten zur Verfügung gestellt werden.
6 zeigt die erkannten Ground Truth Merkmale eines Lidarsystems (Merkmale des Lidarsystems sind als Kreis dargestellt) und eines Radarsystems (Merkmale des Radarsystems sind als Stern dargestellt), die während der Aufnahme der Sequenzen P0 bis P10 erkannt worden sind. Diese Merkmale müssen einander zugeordnet, gefiltert und fusioniert als auch ihre Plausibilität validiert werden. Typischerweise erzeugt jede Erfassung des Umfelds als Sensordaten sowie deren Verarbeitung ein oder mehrere Fehlalarme und Fehlmeldungen. Daher können diese Sensordaten nicht als Trainingsdaten für ein selbstlernendes System verwendet werden.
Als Filtermethoden kann beispielsweise ein Bayes'scher Verfahren verwendet werden, beispielsweise ein Kalman-Filter, ein erweiterter Kalman-Filter oder ein unscented Kalman-Filter sowie ein Wahrscheinlichkeitsdichtefilter (PHD-Filter). Der Filter basiert auf einem Assoziationsverfahren wie dem Maximum Likelihood Association (Nearest-neighbor) Verfahren oder einer Hungarian Method (Munkres Algorithm) oder einem Joint compatibility Test.
Der Filter schätzt die Zustände jedes Merkmals, wie Positions- und Geometrieinformationen, nach Existenzwahrscheinlichkeit, Erkennungswahrscheinlichkeit, Fehlalarmrate sowie Clutterrate. Die dafür benötigte Pose des Fahrzeugs 6 (4) kann durch eine Inertiale Messeinheit ermittelt werden.
7 zeigt die Fusion (Symbol Viereck) der in 6 erkannten Merkmale in der Belegungskarte (schematisch). Diese Merkmale werden nun einer Backpropagation (zeitliche Rückführung) unterzogen. Die in der lokalen Belegungskarte erkannten Merkmale werden unter Verwendung der Pose des Fahrzeugs 6 (4) in die jeweiligen Frames, d.h. Radarsequenzen, Lidarsequenzen transformiert.
8 zeigt die zeitlich zurückgeführten in der Fusion von 7 erkannten Merkmale in die jeweiligen Sensorkoordinatensysteme. Jede Sequenz enthält eine Pose, die entsprechenden Ableitungen, wie Velocity, Winkelraten, die erkannten Ground Truth Merkmale und den entsprechenden Eingangsdatensatz (Lidarsensordaten oder Radarsensordaten). Um einen vollständigen Trainingsdatensatz zu erstellen, wird in den Aufnahmen des Umfeldes, das heißt in den einzelnen Sequenzen, eine zeitliche Rückführung der Merkmale unter der Annahme durchgeführt, dass das/die Merkmal/e auch in den vorherigen Sequenzen erkannt werden müssen, wenn diese im Sichtfeld der jeweiligen Sensorsysteme, wie Lidarsystem, Radarsystem oder Kamerasystem, liegen.
Bezugszeichenliste

1a, 1b, 1c: Vorrichtung
2: erste Dateneinheit
3: zweite Dateneinheit
4: dritte Dateneinheit
5: Prozessor
6: Fahrzeug
7: künstliches neuronales Netz

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102019113851 A1 [0003]

Claims

Vorrichtung (1a,1b,1c) zur Erzeugung von verifizierten Trainingsdaten für ein selbstlernendes System umfassend eine erste Dateneinheit (2), welche dazu ausgebildet ist, zum Bereitstellen einer ersten Sequenz von aufeinanderfolgenden Umfeldbildern eines Fahrzeugumfeldes entlang einer Fahrzeugtrajektorie eines Fahrzeugs (6) als erste Sequenz von ersten Sensordaten und ferner umfassend einen Prozessor (5), welcher dazu ausgebildet ist, zum Detektieren und Extrahieren von Merkmalen mit einer bedingten Wahrscheinlichkeit in jeder oder einzelnen der ersten Sequenzen von ersten Sensordaten und wobei der Prozessor (5) ferner dazu ausgebildet ist, ab einem vorgegebenen Schwellenwert einzelne Merkmale in der ersten Sequenz von aufeinanderfolgenden ersten Sensordaten als erkannt zu werten, eine zweite Dateneinheit (3), welche dazu ausgebildet ist, zum Bereitstellen einer zu der ersten zeitsynchronen zweiten Sequenz von aufeinanderfolgenden Umfeldbildern des identischen oder nahezu identischen Fahrzeugumfeldes entlang der Fahrzeugtrajektorie des Fahrzeugs (6) als zweite Sequenz von zweiten Sensordaten, und wobei die zweiten Sensordaten auf einer zu den ersten Sensordaten unterschiedlichen Messmethode beruhen, und wobei der Prozessor (5) ferner dazu ausgebildet ist, zum Detektieren und Extrahieren von Merkmalen mit einer bedingten Wahrscheinlichkeit in jeder oder einzelnen der zweiten Sequenzen von zweiten Sensordaten und wobei der Prozessor (5) ferner dazu ausgebildet ist, ab einem vorgegebenen Schwellenwert einzelne Merkmale in der zweiten Sequenz der zweiten Sensordaten als erkannt zu werten, und wobei der Prozessor (5) ferner dazu ausgebildet ist, bei einem, in den ersten Sequenzen der ersten Sensordaten erkannten Merkmal, welches nicht in der zweiten Sequenz von zweiten Sensordaten erkannt worden ist, das erkannte Merkmal unter Verwendung einer Pose des Fahrzeugs (6) entlang der Fahrzeugtrajektorie in die zweiten Sequenzen von zweiten Sensordaten zu transformieren und wobei bei einem, in den zweiten Sequenz der zweiten Sensordaten, erkannten Merkmal, welches nicht in den ersten Sequenzen von ersten Sensordaten erkannt worden ist, das erkannte Merkmal unter Verwendung der Pose des Fahrzeugs (6) entlang der Fahrzeugtrajektorie in die erste Sequenz von ersten Sensordaten zu transformieren.
Vorrichtung (1a,1b,1c) nach Anspruch 1, dadurch gekennzeichnet, dass der Prozessor (5) ferner dazu ausgebildet ist, bei einem als erkannt gewerteten Merkmal welches nicht in allen ersten Sequenzen der ersten Sensordaten erkannt worden ist, dieses als erkannt gewertete Merkmal unter Verwendung der Pose des Fahrzeugs (6) vollständig in die erste Sequenz von ersten Sensordaten zu transformieren.
Vorrichtung (1a, 1b, 1c) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Prozessor (5) ferner dazu ausgebildet ist, bei einem als erkannt gewerteten Merkmal, welches nicht in allen zweiten Sequenzen der zweiten Sensordaten erkannt worden ist, dieses als erkannt gewertete Merkmal unter Verwendung der Pose des Fahrzeugs (6) vollständig in die zweite Sequenz von zweiten Sensordaten zu transformieren.
Vorrichtung (1a, 1b, 1c) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Prozessor (5) dazu ausgebildet ist, zumindest alle in den ersten und zweiten Sensordaten detektierten und extrahierten Merkmale unter Verwendung der Pose des Fahrzeugs (6) zu fusionieren, so dass ein Erkennen oder ein Verwerfen von Merkmalen bewerkstelligbar ist und wobei der Prozessor (5) dazu ausgebildet ist, bei Verifikation von Merkmalen in der Fusion, diese verifizierten Merkmale vollständig durchgängig in die erste Sequenz der ersten Sensordaten als auch in die zweite Sequenz der zweiten Sensordaten unter Verwendung der Pose des Fahrzeugs (6) zu transformieren und bei Verwerfen von Merkmalen diese verworfenen Merkmale vollständig durchgängig aus der ersten Sequenz der ersten Sensordaten als auch aus der zweiten Sequenz der zweiten Sensordaten herauszufiltern.
Vorrichtung (1a,1b,1c) nach einem der vorhergehenden Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Prozessor (5) dazu ausgebildet ist, alle ersten und zweiten Sensordaten unter Verwendung der Pose des Fahrzeugs (6) zu fusionieren, so dass ein verifiziertes Erkennen von Merkmalen ermöglicht ist, und wobei der Prozessor (5) ferner dazu ausgebildet ist, diese verifizierten Merkmale vollständig durchgängig in die erste Sequenz der ersten Sensordaten als auch in die zweite Sequenz der zweiten Sensordaten unter Verwendung der Pose des Fahrzeugs (6) zu transformieren.
Vorrichtung (1a, 1b, 1c) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Merkmale als statische Merkmale ausgebildet sind.
Vorrichtung (1a, 1b, 1c) nach Anspruch 6, dadurch gekennzeichnet, dass die statischen Merkmale als Ground Truth Merkmale ausgebildet sind.
Vorrichtung (1a,1b,1c) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine dritte Dateneinheit vorgesehen ist, welche ausgebildet ist zum Bereitstellen einer dritten Sequenz von aufeinanderfolgenden Umfeldbildern eines Fahrzeugumfeldes entlang der Fahrzeugtrajektorie eines Fahrzeugs (6) als dritte Sequenz von dritten Sensordaten, wobei die dritten Sensordaten auf einer zu den ersten und zweiten Sensordaten unterschiedlichen Messmethode beruhen und wobei der Prozessor (5) dazu ausgebildet ist, zum Detektieren und Extrahieren von Merkmalen aus der dritten Sequenz von dritten Sensordaten, wobei der Prozessor (5) ferner dazu ausgebildet ist, die detektierten Merkmale mit einer bedingten Wahrscheinlichkeit in jeder der dritten Sequenz von dritten Sensordaten zu erkennen und wobei der Prozessor (5) ferner dazu ausgebildet ist ab einem vorgegebenen Schwellenwert einzelne Merkmale in der dritten Sequenz von aufeinanderfolgenden dritten Umfeldbildern als erkannt zu werten.
Vorrichtung (1a, 1b, 1c) nach Anspruch 8, dadurch gekennzeichnet, dass die ersten Sensordaten als Lidarsensordaten, die zweiten Sensordaten als Radarsensordaten und die dritten Sensordaten als Kamera (Bild)sensordaten ausgebildet sind.
Vorrichtung (1a,1b,1c) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Prozessor (5) dazu ausgebildet ist, bei einem detektierten Merkmale in der ersten Sequenz der ersten Sensordaten und/oder in der zweiten Sequenz der zweiten Sensordaten ein manuelles Erkennen oder manuelles Verwerfen des detektierten Merkmals zu ermöglichen, und bei manuellem Erkennen dieses vollständig durchgängig in die erste Sequenz der ersten Sensordaten als auch in die zweite Sequenz der zweiten Sensordaten unter Verwendung der Pose des Fahrzeugs (6) zu transformieren und bei manuellen Verwerfen vollständig durchgängig aus der ersten Sequenz der ersten Sensordaten als auch aus der zweiten Sequenz der zweiten Sensordaten herauszufiltern.
Vorrichtung (1a,1b,1c) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Prozessor (5) dazu ausgebildet ist, detektierte Merkmale in der ersten Sequenz der ersten Sensordaten mittels Tracking in den weiteren Sequenzen der ersten Sensordaten zu verfolgen und detektierte Merkmale in der zweiten Sequenz der zweiten Sensordaten mittels Tracking in den weiteren Sequenzen der zweiten Sensordaten zu verfolgen.
Verwendung der, durch eine Vorrichtung (1a,1b,1c) nach einem der vorhergehenden Ansprüche, erzeugten Trainingsdaten zum Trainieren eines künstlichen neuronalen Netzes.
Verwendung des trainierten künstlichen neuronalen Netzes nach Anspruch 12 zur Steuerung in einem autonom fahrenden Fahrzeug (6).
Verfahren zur Erzeugung von verifizierten Trainingsdaten für ein selbstlernendes System mit den Schritten: - Bereitstellen einer ersten Sequenz von aufeinanderfolgenden Umfeldbildern eines Fahrzeugumfeldes entlang einer Fahrzeugtrajektorie eines Fahrzeugs (6) als erste Sequenz von ersten Sensordaten und - Detektieren und Extrahieren von Merkmalen mit einer bedingten Wahrscheinlichkeit in jeder oder einzelnen ersten Sequenzen von ersten Sensordaten, und werten einzelner Merkmale in der ersten Sequenz von ersten Sensordaten ab einem vorgegebenen Schwellenwert als erkannt, - Bereitstellen einer zu der ersten zeitsynchronen zweiten Sequenz von aufeinanderfolgenden Umfeldbildern des identischen oder nahezu identischen Fahrzeugumfeldes entlang der Fahrzeugtrajektorie des Fahrzeugs (6) als zweite Sequenz von zweiten Sensordaten, wobei die zweiten Sensordaten auf einer zu den ersten Sensordaten unterschiedlichen Messmethode beruhen, - Detektieren und Extrahieren von Merkmalen mit einer bedingten Wahrscheinlichkeit in jeder oder einzelnen der zweiten Sequenz von zweiten Sensordaten und werten einzelner Merkmale in der zweiten Sequenz von zweiten Sensordaten ab einem vorgegebenen Schwellenwert als erkannt, - Transformieren bei einem, in den ersten Sequenzen der ersten Sensordaten erkannten Merkmal, welches nicht in der zweiten Sequenz von zweiten Sensordaten erkannt worden ist, das erkannte Merkmal unter Verwendung einer Pose des Fahrzeugs (6) in die zweite Sequenz von zweiten Sensordaten - und transformieren bei einem, in den zweiten Sequenzen der zweiten Sensordaten, erkannten Merkmal, welches nicht in der ersten Sequenz von ersten Sensordaten erkannt worden ist, das erkannte Merkmal unter Verwendung der Pose des Fahrzeugs (6) in die erste Sequenz von ersten Sensordaten.
Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass bei einem als erkannt gewerteten Merkmal, welches nicht in allen ersten Sequenzen der ersten Sensordaten erkannt worden ist, dieses als erkannt gewertete Merkmal unter Verwendung der Pose des Fahrzeugs (6) vollständig in die erste Sequenz von ersten Sensordaten transformiert wird, und wobei bei einem als erkannt gewerteten Merkmal, welches nicht in allen zweiten Sequenzen der zweiten Sensordaten erkannt worden ist, dieses unter Verwendung der Pose des Fahrzeugs (6) vollständig in die zweite Sequenz von zweiten Sensordaten transformiert wird.