-
Die vorliegende Erfindung betrifft ein Verfahren zum Auswerten von Sensordaten mittels Kameradaten, eine Vorrichtung zum Auswerten von Sensordaten mittels Kameradaten und ein Fahrerassistenzsystem für ein Fahrzeug. Die Erfindung betrifft insbesondere das automatische Labeln von mittels Sensordaten erfassten Objekten unter Verwendung von Kameradaten.
-
Stand der Technik
-
Während der Entwicklung von radarbasierten Fahrerassistenzsystemen werden Testfahrten bzw. Dauerläufe durchgeführt, wobei ein Radarsensor einen Umfeldbereich des Fahrzeugs erfasst. Das Fahrerassistenzsystem wertet die mittels des Radarsensors erfassten Radardaten aus und soll bestimmte Fahrfunktionen des Fahrzeugs automatisch steuern, etwa eine Notbremsung durchführen. Während der Dauerläufe sind derartige Funktionen häufig noch deaktiviert, jedoch wird dokumentiert, welche Aktion auf Basis der erfassten Radardaten durchgeführt worden wäre.
-
Zur späteren tatsächlichen Implementierung muss die Qualität bzw. Performance des Fahrerassistenzsystems genau bestimmt werden. Insbesondere muss ermittelt werden, ob das Fahrerassistenzsystem die Fahrsituationen anhand der Radardaten korrekt eingeschätzt hat und entsprechend die richtigen Maßnahmen eingeleitet hätte.
-
Üblicherweise wird hierzu manuell eine Auswertung der Radardaten durchgeführt. Dazu werden die anhand der Radardaten erfassten Objekte entsprechend gelabelt. Darunter ist zu verstehen, dass anhand eines Abstandsverlaufs, Geschwindigkeitsverlaufs oder Radarquerschnitts auf den Objekttyp des erfassten Objekts rückgeschlossen wird. Beispielsweise kann anhand des Radarquerschnitts unterschieden werden, ob es sich bei dem Objekt um ein Kraftfahrzeug, ein Motorrad oder einen Fußgänger handelt. Weiter kann anhand des Abstandsverlaufs bzw. Geschwindigkeitsverlaufs eine Bewegung des Objekts relativ zum eigenen Fahrzeug ermittelt werden.
-
Das Labeln von Radardaten erfordert jedoch häufig tieferes Wissen und ist selbst für entsprechend ausgebildete Personen extrem zeitaufwendig. So erfordert das Labeln einer Szene von etwa 30 Sekunden mit etwa drei relevanten Objekten typischerweise etwa fünf Minuten Arbeitszeit. Das vollständige Labeln eines Dauerlaufs von etwa 10.000 Stunden würde somit etwa 25.000 Stunden erfordern. Typischerweise werden zu einem bestimmten Zeitpunkt auch deutlich mehr als drei Objekte erfasst. Der tatsächliche Aufwand wird somit noch deutlich höher ausfallen.
-
Es besteht somit Bedarf an einer schnelleren und effizienteren Auswertung der erfassten Radardaten.
-
Offenbarung der Erfindung
-
Die Erfindung stellt ein Verfahren zum Auswerten von Sensordaten mittels Kameradaten mit den Merkmalen des Patentanspruchs 1, eine Vorrichtung zum Auswerten von Sensordaten mittels Kameradaten mit den Merkmalen des Patentanspruchs 9 und ein Fahrerassistenzsystem für ein Fahrzeug mit den Merkmalen des Patentanspruchs 10 bereit.
-
Gemäß einem ersten Aspekt betrifft die Erfindung demnach ein Verfahren zum Auswerten von Sensordaten mittels Kameradaten, wobei ein Umfeldbereich eines Fahrzeugs gleichzeitig mittels einer Sensoreinrichtung, welche Sensordaten generiert, und einer Kameraeinrichtung, welche Kameradaten generiert, erfasst wird. Die Sensoreinrichtung umfasst mindestens einen Radarsensor und/oder Lidarsensor und/oder Ultraschallsensor. Erste Objekte im Umfeldbereich des Fahrzeugs werden anhand der generierten Sensordaten automatisch erkannt. Weiter werden zweite Objekte eines vorgegebenen Objekttyps im Umfeldbereich des Fahrzeugs anhand der generierten Kameradaten automatisch erkannt. Ein jeweiliger Erfassungszeitraum der erkannten zweiten Objekte und jeweilige Objektmerkmale der erkannten zweiten Objekte werden anhand der generierten Kameradaten ermittelt. Für jedes der erkannten zweiten Objekte wird ein dem jeweiligen zweiten Objekt entsprechendes erstes Objekt durch Analysieren der Sensordaten unter Verwendung der ermittelten Objektmerkmale und des Erfassungszeitraums des zweiten Objekts identifiziert. Jedem identifizierten ersten Objekt wird der Objekttyp des entsprechenden zweiten Objekts zugeordnet.
-
Gemäß einem zweiten Aspekt betrifft die Erfindung eine Vorrichtung zum Auswerten von Sensordaten mittels Kameradaten. Die Vorrichtung weist eine Schnittstelle auf, welche dazu ausgebildet ist, Sensordaten und Kameradaten zu empfangen, welche beim Erfassen eines Umfeldbereichs eines Fahrzeugs erzeugt werden. Die Sensordaten umfassen mindestens eines von Radardaten, Lidardaten und Ultraschalldaten. Die Vorrichtung weist weiter eine Recheneinrichtung auf, welche anhand der generierten Sensordaten automatisch erste Objekte im Umfeldbereich des Fahrzeugs erkennt. Die Recheneinrichtung erkennt anhand der generierten Kameradaten automatisch zweite Objekte eines vorgegebenen Objekttyps im Umfeldbereich des Fahrzeugs. Anhand der generierten Kameradaten ermittelt die Recheneinrichtung einen jeweiligen Erfassungszeitraum der erkannten zweiten Objekte und ermittelt jeweilige Objektmerkmale der erkannten zweiten Objekte. Für jedes der erkannten zweiten Objekte identifiziert die Recheneinrichtung ein dem jeweiligen zweiten Objekt entsprechendes erstes Objekt, durch Analysieren der Sensordaten unter Verwendung der ermittelten Objektmerkmale und des Erfassungszeitraums des zweiten Objekts. Die Recheneinrichtung ordnet jedem identifizierten ersten Objekt den Objekttyp des entsprechenden zweiten Objekts zu.
-
Gemäß einem dritten Aspekt betrifft die Erfindung ein Fahrerassistenzsystem für ein Fahrzeug, mit einer Sensoreinrichtung zum Generieren von Sensordaten, einer Kameraeinrichtung zum Generieren von Kameradaten und einer Vorrichtung zum Auswerten der Sensordaten mittels der Kameradaten, welche dazu ausgebildet ist, die generierten Sensordaten und die generierten Kameradaten zu empfangen. Die Sensoreinrichtung und die Kameraeinrichtung sind dazu ausgebildet, gleichzeitig einen Umfeldbereich des Fahrzeugs zu erfassen.
-
Bevorzugte Ausführungsformen sind Gegenstand der jeweiligen Unteransprüche.
-
Vorteile der Erfindung
-
Die Erfindung ermöglicht es, die während eines Testlauf bzw. Dauerlaufs erfassten Sensordaten vollständig automatisch zu labeln. Die manuelle Auswertung der Sensordaten kann dadurch entfallen, was eine große Kostenersparnis bedeutet. Darüber hinaus kann das Verfahren sehr flexibel angepasst werden. Falls etwa neue Objekttypen relevant werden, kann problemlos ein erneutes Labeln durchgeführt werden.
-
Die Bezeichnungen „erste Objekte“ bzw. „zweite Objekte“ dienen lediglich der Unterscheidung der mittels Kameradaten und der mittels Sensordaten erfassten Objekte. Objekte sind hierbei räumlich lokalisierte Elemente, welche Radarwellen reflektieren, bzw. mittels Lidar, Infrarot und Kamera erfasst werden, etwa Fahrzeuge oder Fußgänger. Ein erstes Objekt „entspricht“ einem zweiten Objekt, falls die tatsächlichen physikalischen Objekte identisch sind.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens erfolgt weiter eine automatische Beurteilung von Fahrsituationen anhand der Sensordaten bzw. unter Verwendung der anhand der generierten Sensordaten erkannten ersten Objekte. Beispielsweise können anhand der automatisch erkannten ersten Objekte Fahrfunktionen des Fahrzeugs gesteuert werden. Etwa kann das Fahrzeug beschleunigt, abgebremst oder gelenkt werden. Insbesondere kann eine Notbremsung des Fahrzeugs initiiert werden. Gemäß weiteren Ausführungsformen wird lediglich bestimmt, welche Fahrfunktion des Fahrzeugs auf welche Weise gesteuert werden soll, ohne die Steuerung tatsächlich durchzuführen. Die Qualität bzw. Performance derartiger Maßnahmen bzw. Steuerungen kann in Abhängigkeit der den ersten Objekten zugeordneten Objekttypen bewertet werden.
-
Weiter kann auch ein Objekttyp der ersten Objekte zusätzlich ausschließlich anhand der Sensordaten bestimmt werden, wobei der ermittelte Objekttyp von einem Fahrerassistenzsystem zum Steuern der Fahrfunktionen herangezogen wird. Dieser derart bestimmte Objekttyp wird mit dem unter Verwendung der Kameradaten ermittelten Objekttyp verglichen. Die Übereinstimmung oder Abweichung der Objekttypen kann zur Bewertung der Performance des Fahrerassistenzsystems herangezogen werden. Leitet beispielsweise das Fahrerassistenzsystem eine Notbremsung ein oder würde eine derartige Notbremsung einleiten, da anhand der Sensordaten ein kreuzender Fußgänger erkannt wird, so kann anhand des unter Berücksichtigung der Kameradaten ermittelten Objekttyps überprüft werden, ob es sich tatsächlich um einen Fußgänger handelt, der Objekttyp also korrekt identifiziert wurde.
-
Besonders bevorzugt handelt es sich bei der Kameraeinrichtung um eine unkalibrierte Kameraeinrichtung. Hierunter ist zu verstehen, dass die genaue Orientierung der Kameraeinrichtung zum Fahrzeugumfeld nicht bekannt ist und entsprechend auch nicht in die Erkennung und Auswertung der Objekte eingeht. Insbesondere kann eine bestimmte Pixelanzahl in einem erfassten Kamerabild nicht direkt in die entsprechende Größe des abgebildeten Bereichs umgerechnet werden, was eine Kalibrierung erforderlich machen würde. So ist die Kameraeinrichtung mit der Sensoreinrichtung zeitlich synchronisiert, darüber hinausgehende Kalibrierungen sind jedoch nicht vorgesehen. Insbesondere kann es sich bei der Kameraeinrichtung um eine am oder im Fahrzeug angeordnete Webcam handeln, welche beispielsweise an der vorderen Windschutzscheibe des Fahrzeugs angeordnet ist. Derartige einfache Webcams sind häufig bei Dauerläufen bereits standardmäßig zu Dokumentationszwecken installiert. Die erfindungsgemäße Auswertung erfordert dadurch keinen zusätzlichen Hardwareaufwand sondern verwertet lediglich die bereits vorhandenen Daten.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens werden den erkannten ersten Objekten anhand der Sensordaten Abstandsverläufe und/oder Radarquerschnitte und/oder Geschwindigkeitsverläufe zugeordnet. Das Identifizieren der den jeweiligen zweiten Objekten entsprechenden ersten Objekte wird unter Berücksichtigung der Abstandsverläufe und/oder Radarquerschnitte und/oder Geschwindigkeitsverläufe durchgeführt. Beispielsweise kann anhand der Kameradaten durch Bildanalyse erkannt werden, dass sich ein zweites Objekt während eines gewissen Zeitraums von dem Fahrzeug wegbewegt und anschließend auf das Objekt zubewegt. Derartige Information kann durch Analyse der relativen Größe des zweiten Objekts in den Kameradaten gewonnen werden, ohne genaue Informationen über den Abstand des zweiten Objekts zu benötigen. Zur Identifikation werden die Abstandsverläufe der ersten Objekte analysiert und diejenigen ersten Objekte ausgewählt, welche dasselbe Bewegungsmuster im selben Zeitraum aufweisen. Üblicherweise trifft ein derartiger Bewegungsverlauf lediglich auf ein einziges Objekt zu, sodass das erste Objekt bereits eindeutig identifiziert und dem zweiten Objekts zugeordnet werden kann.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens erfolgt das Identifizieren der ersten Objekte, welche jeweiligen zweiten Objekten entsprechen, weiter unter Berücksichtigung einer Geschwindigkeit, einer Beschleunigung, einer Bewegungsrichtung und/oder eines Lenkwinkels des Fahrzeugs. Anhand dieser Informationen kann die Eigenbewegung des Fahrzeugs eliminiert werden.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens können die Objekttypen PKWs, LKWs, Motorräder, Fahrräder und/oder Fußgänger umfassen. Weitere mögliche Objekttypen sind Hindernisse, etwa Leitplanken, Gebäude, Schranken, Sträucher oder Bäume.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens erfolgt das Ermitteln der jeweiligen Objektmerkmale der erkannten zweiten Objekte ausschließlich durch Analyse der Kameradaten. Darunter ist zu verstehen, dass keine zusätzlichen Metainformationen berücksichtigt werden. Insbesondere muss die Ausrichtung der Kameraeinrichtung zum Fahrzeugumfeld nicht bekannt sein.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens umfassen die Objektmerkmale eine Position, eine Positionsänderung, eine Größenänderung, einen relativen Abstand und/oder einen Bewegungszustand der zweiten Objekte. Anhand dieser Objektmerkmale ist es möglich, einen allgemeinen Bewegungsverlauf der zweiten Objekte zu ermitteln. Zusammen mit der Kenntnis des Erfassungszeitraums können dadurch die Kandidaten für mögliche entsprechende erste Objekte bereits stark eingeschränkt werden, sodass üblicherweise lediglich ein einziges erstes Objekt verbleibt, welches dem zweiten Objekt zugeordnet wird bzw. mit diesem identisch ist.
-
Figurenliste
-
Es zeigen:
- 1 ein schematisches Blockdiagramm einer Vorrichtung zum Auswerten von Sensordaten gemäß einer Ausführungsform der Erfindung;
- 2 beispielhafte Abstandsverläufe für verschiedene anhand der Sensordaten identifizierte erste Objekte;
- 3 ein schematisches Blockdiagramm eines Fahrerassistenzsystems gemäß einer Ausführungsform der Erfindung; und
- 4 ein Flussdiagramm eines Verfahrens zum Auswerten von Sensordaten gemäß einer Ausführungsform der Erfindung.
-
In allen Figuren sind gleiche bzw. funktionsgleiche Elemente und Vorrichtungen mit denselben Bezugszeichen versehen. Die Nummerierung von Verfahrensschritten dient der Übersichtlichkeit und soll im Allgemeinen keine bestimmte zeitliche Reihenfolge implizieren. Insbesondere können auch mehrere Verfahrensschritte gleichzeitig durchgeführt werden.
-
Beschreibung der Ausführungsbeispiele
-
1 zeigt ein Blockdiagramm einer Vorrichtung 1 zum Auswerten von Sensordaten mittels Kameradaten. Die Vorrichtung 1 umfasst hierzu eine Schnittstelle 2, welche über eine kabellose Verbindung oder eine Kabelverbindung, etwa über einen CAN-Bus, eines Fahrzeugs mit einer Sensoreinrichtung 5 des Fahrzeugs und einer Kameraeinrichtung 6 des Fahrzeugs verbunden ist. Die Vorrichtung 1 ist vorzugsweise Teil eines Fahrerassistenzsystems des Fahrzeugs und kann in das Fahrzeug integriert sein. Gemäß weiteren Ausführungsform kann die Vorrichtung 1 jedoch auch außerhalb des Fahrzeugs angeordnet sein und beispielsweise die Kameradaten und Sensordaten von einer Vielzahl von Fahrzeugen auswerten.
-
Die Sensoreinrichtung 5 umfasst vorzugsweise mindestens einen Radarsensor, welcher insbesondere in einem Frontbereich des Fahrzeugs angeordnet sein kann und Radardaten generiert. Während die Erfindung im Folgenden anhand von Radardaten genauer beschrieben wird, ist die Erfindung auch auf Lidarsensoren oder Ultraschallsensoren anwendbar.
-
Die Kameraeinrichtung 6 ist derart in oder an dem Fahrzeug angeordnet, dass ein von der Kameraeinrichtung 6 erfasster Umfeldbereich des Fahrzeugs sich zumindest teilweise mit dem von der Sensoreinrichtung 5 erfassten Umfeldbereich überlappt. Sowohl die Sensoreinrichtung 5 als auch die Kameraeinrichtung 6 erfassen simultan den Umfeldbereich des Fahrzeugs und übermitteln entsprechende Sensordaten bzw. Kameradaten an die Schnittstelle 2. Die Kameraeinrichtung 6 kann eine einzelne Kamera oder auch eine Vielzahl von Kameras umfassen. Sowohl die Position der Sensoreinrichtung 5 als auch die Position der Kameraeinrichtung 6 können variieren. Insbesondere können die Sensoreinrichtung 5 und Kameraeinrichtung 6 in einer Frontposition, einer Heckposition oder einer seitlichen Position des Fahrzeugs angeordnet sein.
-
Die Sensordaten und Kameradaten werden von einer Recheneinrichtung 3 der Vorrichtung 1 analysiert. Die Recheneinrichtung 3 umfasst mindestens einen Mikroprozessor zur automatischen Auswertung der Sensordaten und Kameradaten.
-
Die Recheneinrichtung 3 wertet hierzu zuerst die Radardaten aus und erkennt erste Objekte bzw. Radarobjekte im Umfeldbereich des Fahrzeugs. Genauer erkennt die Recheneinrichtung 3 Signalverläufe in den Radardaten, welche einzelnen ersten Objekte zuzuordnen sind. Jede dieser Signalverläufe können durch einen zeitlichen Verlauf des Abstands, der Geschwindigkeit und des Radarquerschnitts (radar cross section, RCS) des jeweiligen ersten Objekts gekennzeichnet sein. Weiter kann anhand der Radardaten ein Objekttyp ermittelt werden, etwa ob es sich bei dem ersten Objekt um einen Pkw, ein Motorrad, einen Radfahrer oder einen Fußgänger handelt. Der Objekttyp kann beispielsweise durch Analyse des Radarquerschnitts bestimmt werden, da sich die unterschiedlichen Objekttypen durch ihre jeweilige charakteristische Rückstreuung unterscheiden.
-
Die Recheneinrichtung 3 ist weiter dazu ausgebildet, die Kameradaten auszuwerten. Die Recheneinrichtung 3 kann mittels Bildklassifikatoren zweite Objekte in den Kameradaten ermitteln. Beispielsweise können mittels klassischer Bilderkennungsverfahren oder etwa unter Verwendung eines neuronalen Netzes zweite Objekte eines bestimmten Objekttyps, etwa vom Objekttyp „Pkw“, „Radfahrer“ oder „Fußgänger“, erkannt werden. Die Objekttypen können vorzugsweise mit den zur Klassifizierung der anhand der Radardaten erfassten ersten Objekte verwendeten Objekttypen identisch sein.
-
Die Recheneinrichtung 3 bestimmt weiter den jeweiligen Erfassungszeitraum der erkannten zweiten Objekte. Hierzu bestimmt die Recheneinrichtung 3 dasjenige Bild der Kameradaten, in welchem das entsprechende zweite Objekt zuerst identifiziert wird, und untersucht, in wie vielen konsekutiven Bildern dasselbe zweite Objekt erkannt wird.
-
Die Recheneinrichtung 3 untersucht nun gezielt die Kameradaten während des ermittelten Erfassungszeitraums, um Objektmerkmale des erkannten zweiten Objekts anhand der generierten Kameradaten zu ermitteln. Die Recheneinrichtung 3 kann beispielsweise die genaue Position des zweiten Objekts im jeweiligen Kamerabild erkennen. Weiter kann die Recheneinrichtung 3 eine Positionsänderung des zweiten Objekts nachverfolgen. Durch Untersuchen der Veränderung der Größe des zweiten Objekts im jeweiligen Kamerabild kann eine grobe Abschätzung der relativen Abstandsänderung des zweiten Objekts vom eigenen Fahrzeug ermittelt werden. Die Objektmerkmale können weiter den relativen Abstand verschiedener zweiter Objekte umfassen oder auch den Bewegungszustand der zweiten Objekte, d. h., ob sich die Größe des zweiten Objekts im Kamerabild und dadurch der Abstand des zweiten Objekts relativ zum eigenen Fahrzeug verändert.
-
Die Recheneinrichtung 3 versucht nun, jedem erkannten zweiten Objekt ein entsprechendes bzw. identisches erstes Objekt zuzuordnen. Hierzu kann die Recheneinrichtung 3 zuerst untersuchen, ob für ein gegebenes zweites Objekt ein erstes Objekt existiert, welches im Wesentlichen innerhalb desselben Erfassungszeitraums erkannt wurde. Existiert lediglich ein einziges derartiges erstes Objekt, so identifiziert die Recheneinrichtung 3 dieses erste Objekt mit dem zweiten Objekt. Falls mehrere erste Objekte innerhalb desselben Erfassungszeitraums wie das zweite Objekt erkannt wurden, kann die Recheneinrichtung 3 weiter die ermittelten Objektmerkmale der zweiten Objekte heranziehen, um das entsprechende erste Objekt eindeutig zu identifizieren. Falls beispielsweise erkannt wurde, dass sich das zweite Objekt vom eigenen Fahrzeug wegbewegt, so selektiert die Recheneinrichtung 3 diejenigen ersten Objekte innerhalb des gegebenen Erfassungszeitraums, welche sich aufgrund ihres anhand der Radardaten erkannten Bewegungsmusters ebenfalls von dem eigenen Fahrzeug wegbewegen.
-
In 2 sind beispielhafte zeitliche Verläufe des Abstands d der ersten Objekte vom eigenen Fahrzeug in Meter als Funktion der Zyklen bzw. der Zeit aufgetragen. 100 Zyklen entsprechen hierbei in etwa 20 Sekunden. Die meisten ersten Objekte bewegen sich auf das Fahrzeug zu, wobei es sich im Allgemeinen um Standziele handeln wird. Einige Standziele 71, 72, 73 können beispielsweise anhand der unterschiedlichen Erfassungszeiträume unterschieden werden. Weiter können erste Objekte 74, 75, welche sich von dem Fahrzeug wegbewegen, anhand ihres Bewegungsprofils von den Standzielen unterschieden werden. Bei den ersten Objekten kann es sich auch um entgegenkommende Fahrzeuge 76, 77 handeln, welche ebenfalls von Standzielen unterschieden werden können. In den meisten Fällen wird es der Recheneinrichtung 3 dadurch möglich sein, das erste Objekt eindeutig zu identifizieren.
-
Die Recheneinrichtung 3 ordnet jedem identifizierten ersten Objekt den Objekttyp des entsprechenden zweiten Objekts zu. Der derart zugeordnete Objekttyp des ersten Objekts kann mit dem anhand der Radardaten ermittelten Objekttyp verglichen werden. Durch eine statistische Auswertung über eine Vielzahl von ersten Objekten kann die Qualität der Erkennung der Objekttypen anhand der Radardaten beurteilt werden. Eine entsprechende Güte wird umso größer gewählt, je höher die Übereinstimmung der Objekttypen ist. Die Recheneinrichtung 3 kann dadurch die Performance einer Analyse von Radardaten beurteilen. Insbesondere kann die Qualität einer Objekt-Typ-Klassifikation oder eines Trackings von Objekten mittels einer entsprechenden Radarsoftware beurteilt werden. Die Radarsoftware kann dadurch genauer bewertet werden.
-
3 zeigt ein Blockdiagramm eines Fahrerassistenzsystems 4 eines Fahrzeugs. Das Fahrerassistenzsystem 4 weist mindestens eine Sensoreinrichtung 5 auf, welche mindestens einen Radarsensor, Lidarsensor oder Infrarotsensor umfasst. Weiter weist das Fahrerassistenzsystem 4 eine Kameraeinrichtung 6 auf, welche einen Erfassungsbereich aufweist, welcher sich mit dem Erfassungsbereich der Sensoreinrichtung 5 zumindest teilweise überlappt. Die Sensoreinrichtung 5 und die Kameraeinrichtung 6 erfassen simultan entsprechende Sensordaten bzw. Kameradaten und übertragen diese an eine Schnittstelle einer Vorrichtung 1, welche gemäß einer der oben beschriebenen Ausführungsformen ausgestaltet ist. Die Vorrichtung 1 analysiert die Sensordaten und Kameradaten und ordnet ersten Objekten Objekttypen entsprechender zweiter Objekte zu, wie oben beschrieben.
-
In 4 ist ein Flussdiagramm eines Verfahrens zum Auswerten von Radardaten illustriert. In parallel ablaufenden Verfahrensschritten S1 und S3 wird ein Umfeldbereich eines Fahrzeugs mittels einer Sensoreinrichtung 5 und mittels einer Kameraeinrichtung 6 erfasst.
-
Die generierten Sensordaten werden in einem Verfahrensschritt S2 ausgewertet und erste Objekte werden im Umfeldbereich des Fahrzeugs erkannt. Den ersten Objekten können zusätzlich anhand der Radardaten Objekttypen zugeordnet werden.
-
Die Kameradaten werden in einem Verfahrensschritt S4 ausgewertet und zweite Objekte werden im Umfeldbereich des Fahrzeugs erkannt. Insbesondere können mithilfe von Bildanalyseverfahren zweite Objekte eines vorgegebenen Objekttyps, etwa Fahrzeuge oder Fußgänger, erkannt werden. In einem Verfahrensschritt S5 wird ein jeweiliger Erfassungszeitraum der erkannten zweiten Objekte ermittelt. Weiter werden Objektmerkmale der erkannten zweiten Objekte anhand der generierten Kameradaten bestimmt.
-
In einem Verfahrensschritt S6 wird für jedes der erkannten zweiten Objekte untersucht, ob ein entsprechendes erstes Objekt existiert. Hierzu werden die Radardaten unter Verwendung der Objektmerkmale und des Erfassungszeitraums des zweiten Objekts analysiert. So kann etwa bestimmt werden, ob in dem Erfassungszeitraum des zweiten Objekts ein erstes Objekt ermittelt wurde. Weiter kann ermittelt werden, ob die ermittelten Objektmerkmale mit entsprechenden Objektmerkmalen des ersten Objekts übereinstimmen, welche anhand der Radardaten ermittelt werden. So kann es sich bei den Objektmerkmalen um eine relative Bewegung der zweiten bzw. ersten Objekte handeln.
-
Jedem identifizierten ersten Objekt wird in einem Verfahrensschritt S7 der Objekttyp des entsprechenden zweiten Objekts zugeordnet.
-
In einem optionalen weiteren Verfahrensschritt S8 kann eine Analysefunktion in Abhängigkeit der identifizierten Objekttypen klassifiziert werden. Bei der Analysefunktion kann es sich beispielsweise um ein Trackingverfahren oder eine Objekttyp-Klassifizierung handeln, welche die Radardaten auswertet. Zur Bewertung der Analysefunktion wird die Übereinstimmung der anhand der Kameradaten ermittelten Objekttypen mit den anhand der Radardaten ermittelten Objekttypen herangezogen.
