-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren.
-
Aktuelle und zukünftige Kraftfahrzeuge sind meist mit einer Vielzahl von Fahrzeugsystemen, beispielsweise Fahrerassistenzsystemen und/oder Sicherheitssystemen, ausgestattet, die Sensordaten einer Vielzahl von ein Umfeld erfassenden Sensoren des Kraftfahrzeugs auswerten. Derartige Fahrerassistenzsysteme realisieren Funktionen, die den Fahrer in verschiedenen Fahrsituationen unterstützen. Beispielhaft genannt seien hierzu Ausweich- und Parkassistenten, abstandsadaptive Regler für eine Längsführung des Kraftfahrzeugs (ACC - Adaptive Cruise Control), Querführungssysteme wie beispielsweise Spurhaltesysteme oder Spurverlassungswarner und zukünftig auch eine vollautomatische Quer- und Längsführung. Jedes dieser Fahrerassistenzsysteme und sonstigen Fahrzeugsysteme ist für eine korrekte Funktionsweise auf exakte Sensordaten im Rahmen der physikalisch bedingten Untersicherheiten angewiesen.
-
Um die geforderte Genauigkeit seitens der Sensoren zu gewährleisten, ist es bekannt, die Sensoren bezüglich der Verbauposition im Kraftfahrzeug und ihrer Erfassungsbereiche exakt zu kalibrieren. Das bedeutet, dass extrinsische Kalibrierungsparameter erfasst werden, die die Verbauposition und mithin auch den Erfassungsbereich beschreiben, wobei die Verbauposition auch eine Orientierung des jeweiligen Sensors umfasst. Diese Kalibrierung geschieht im Allgemeinen für jeden Sensor während der Produktion des Kraftfahrzeugs.
-
Problematisch ist hierbei jedoch, dass im Verlauf der Lebensdauer des Kraftfahrzeugs aufgrund unterschiedlicher Einflüsse eine Dekalibrierung der Umfeldsensoren im Hinblick auf die extrinsischen Kalibrierungsparameter, die von den Auswerteeinheiten der Umfeldsensoren selbst und/oder den Auswerteeinheiten der Fahrzeugsysteme genutzt werden, auftreten kann. Zu diesen Einflüssen zählen unter anderem geometrische Änderungen einer Sensorausrichtung, beispielsweise aufgrund von Setzverhalten oder Unfällen, oder Umwelteinflüsse wie Steinschlag, Betauung oder Verschmutzung. Hierdurch kann es zu einem Verlust einer geforderten Genauigkeit kommen, wodurch jegliche Funktion eines Fahrzeugsystems, insbesondere jegliche Fahrerassistenzfunktion, eine Degradation der Funktionalität erfährt.
-
Insbesondere im Falle einer auf Grundlage der erfassten Sensordaten durchgeführten Objekterkennung im Umfeld des Kraftfahrzeugs können Sensordaten eines dekalibrierten Umfeldsensors zu einer Deplausibilisierung von Objekten führen, die von mehreren Umfeldsensoren im Umfeld erfasst werden. Auch im Falle einer Fusion von Sensordaten mehrerer Umfeldsensoren hat eine Dekalibrierung bereits eines einzigen Umfeldsensors einen negativen Einfluss auf eine Güte der fusionierten Sensordaten.
-
Aus der
DE 10 2014 014 295 A1 ist ein Verfahren zur Überwachung einer Kalibrierung mehrerer an einer durch extrinsische Kalibrierungsparameter beschriebenen Verbauposition im Kraftfahrzeug verbauter Sensoren bezüglich extrinsischer Kalibrierungsparameter bekannt. Die Sensoren erfassen Sensordaten aus der Umgebung eines Kraftfahrzeugs. Zur Ermittlung einer Dekalibrierung wenigstens eines Sensors werden Sensordaten unterschiedlicher Umgebungssensoren, die dasselbe Merkmal der Umgebung in derselben Eigenschaft beschreiben, durch wenigstens ein die Sensordaten vergleichendes Dekalibrierungskriterium ausgewertet.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren zu verbessern.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 6 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Insbesondere wird ein Verfahren zum Überprüfen einer Kalibrierung von Umfeldsensoren zur Verfügung gestellt, wobei die Umfeldsensoren zumindest teilweise ein gleiches Umfeld erfassen und jeweils zueinander zeitsynchronisierte Sensordaten bereitstellen, wobei periodische Merkmale zumindest für mindestens einen ausgezeichneten Bereich in den zu dem gleichen Umfeld gehörenden Sensordaten der Umfeldsensoren erkannt werden, wobei jeweils eine Transformation der mit dem mindestens einen ausgezeichneten Bereich korrespondierenden Sensordaten zumindest für den mindestens einen ausgezeichneten Bereich in einen Frequenzraum durchgeführt wird, wobei jeweils eine Frequenz und/oder eine Phasenlage der periodischen Merkmale in den jeweils in den Frequenzraum transformierten Sensordaten bestimmt wird, wobei eine Dekalibrierung der Umfeldsensoren auf Grundlage eines Vergleichs der jeweils bestimmten Frequenzen und/oder der jeweils bestimmten Phasenlagen festgestellt wird, und wobei ein Überprüfungsergebnis bereitgestellt wird.
-
Ferner wird insbesondere eine Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren geschaffen, wobei die Umfeldsensoren zumindest teilweise ein gleiches Umfeld erfassen und jeweils zueinander zeitsynchronisierte Sensordaten bereitstellen, umfassend eine Steuereinrichtung, wobei die Steuereinrichtung derart ausgebildet ist, Sensordaten der Umfeldsensoren zu erhalten, periodische Merkmale zumindest für mindestens einen ausgezeichneten Bereich in den zu dem gleichen Umfeld gehörenden Sensordaten der Umfeldsensoren zu erkennen, jeweils eine Transformation der mit dem mindestens einen ausgezeichneten Bereich korrespondierenden Sensordaten zumindest für den mindestens einen ausgezeichneten Bereich in einen Frequenzraum durchzuführen, jeweils eine Frequenz und/oder eine Phasenlage der periodischen Merkmale in den jeweils in den Frequenzraum transformierten Sensordaten zu bestimmen, und eine Dekalibrierung der Umfeldsensoren auf Grundlage eines Vergleichs der jeweils bestimmten Frequenzen und/oder der jeweils bestimmten Phasenlagen festzustellen, und ein Überprüfungsergebnis bereitzustellen.
-
Das Verfahren und die Vorrichtung ermöglichen es, eine Kalibrierung der Umfeldsensoren verbessert zu überprüfen. Dies erfolgt, indem zumindest in mindestens einem ausgezeichneten Bereich örtlich periodische Merkmale im Umfeld erkannt werden. Örtlich periodische Merkmale können beispielsweise Pfosten von Leitplanken, gestrichelte Markierungen in der Mitte einer Fahrbahn oder ein Zebrastreifen sein. Zum Erkennen der örtlich periodischen Merkmale werden insbesondere Sensordaten ausgewertet. Die periodischen Merkmale werden hierbei in den Teilen des Umfelds gesucht und erkannt, die von allen zu überprüfenden Umfeldsensoren erfasst werden. Die jeweils zu dem mindestens einen ausgezeichneten Bereich des Umfelds bzw. zu den erkannten periodischen Merkmalen gehörenden Sensordaten werden anschließend in einen Frequenzraum transformiert, insbesondere mittels einer Fouriertransformation bzw. Fast-Fourier-Transformation (FFT). Hierbei erfolgt insbesondere eine Transformation von einem Ortsraum in einen Frequenzraum. Alternativ kann auch eine Transformation von einem Zeitraum in einen Frequenzraum durchgeführt werden. In diesem Fall werden die ortsabhängigen Sensordaten vorher auf eine Zeitbasis transformiert bzw. abgebildet. Ausgehend von den (Fourier-)transformierten Sensordaten wird jeweils (zu jedem der Umfeldsensoren) eine Frequenz und/oder eine Phasenlage der periodischen Merkmale bestimmt. Eine Dekalibrierung der Umfeldsensoren wird dann auf Grundlage eines Vergleichs der jeweils bestimmten Frequenzen und/oder der jeweils bestimmten Phasenlagen festgestellt. Der Erfindung liegt hierbei die Erkenntnis zugrunde, dass Umfeldsensoren bei einer Dekalibrierung örtlich periodische Merkmale im Umfeld mit einer unterschiedlichen (örtlichen) Frequenz und/oder Phasenlage erfassen, beispielsweise weil eine Ausrichtung der Umfeldsensoren nach der Dekalibrierung zueinander unterschiedlich ist. Diesen Unterschied macht sich die Erfindung zunutze, indem eine Dekalibrierung auf Grundlage eines Vergleichs der jeweils bestimmten Frequenzen und/oder der bestimmten Phasenlagen festgestellt wird. Wurde beispielsweise ein Zebrastreifen von einer Kamera und von einem LIDAR-Sensor erfasst, die beide zueinander dekalibriert sind, beispielsweise eine unterschiedliche Ausrichtung aufweisen, dann erfasst die Kamera die periodischen Merkmale des Zebrastreifens aufgrund der unterschiedlichen Ausrichtung bzw. eines unterschiedlichen Ausrichtungswinkels mit einer anderen Periode als der LIDAR-Sensor. Aufgrund der unterschiedlichen Perioden des erfassten Zebrastreifens ist eine Frequenz und/oder eine Phasenlage in den erfassten Sensordaten unterschiedlich. Eine Dekalibrierung kann daher über einen Vergleich der bestimmten Frequenzen und/oder Phasenlagen festgestellt werden.
-
Umfeldsensoren können beispielsweise die folgenden Sensoren sein: eine Kamera, ein Laserscanner bzw. Light Detection and Ranging-(LIDAR)-Sensor, ein Radarsensor und/oder einen Ultraschallsensor. Sensordaten bilden das erfasste Umfeld insbesondere zwei- oder dreidimensional ab, beispielsweise in Form von zwei- oder dreidimensionalen Kamerabildern oder in Form von dreidimensionalen Punktwolken. Eine im Rahmen des Verfahrens verwendete Messgröße in den Sensordaten ist bzw. wird insbesondere sensorabhängig gewählt. Handelt es sich bei einem Umfeldsensor um eine Kamera, so kann eine Messgröße, die zum Erkennen des periodischen Merkmals in den Sensordaten verwendet wird, beispielsweise ein Farbwert oder ein Helligkeitswert in erfassten Kamerabildern sein. Bei einem LIDAR-Sensor wird als Messgröße beispielsweise ein Tiefenwert oder eine Reflektanz verwendet.
-
Die Sensordaten liegen in Bezug auf einen Ort insbesondere in zwei- oder dreidimensionaler Form vor. Die Sensordaten der Umfeldsensoren sind insbesondere zeitlich synchronisiert, sodass dafür gesorgt ist, dass das Vergleichen der Frequenzen und/oder Phasenlagen auf Grundlage von zeitgleich erfassten periodischen Merkmalen erfolgt. Im Rahmen der zeitlichen Synchronisation kann vorgesehen sein, dass Sensordaten interpoliert werden, um beispielsweise eine Zeitbasis aneinander anzugleichen. Anders ausgedrückt sollen die Sensordaten insbesondere den gleichen Ausschnitt des Umfelds umfassen.
-
Das Erkennen der periodischen Merkmale kann beispielsweise mittels Verfahren des Maschinenlernens und der Computer Vision erfolgen. Es kann auch vorgesehen sein, dass beispielsweise eine Datenbank bereitgehalten wird, in der geeignete periodische Merkmale hinterlegt sind. Beispielsweise können in einer Umfeldkarte geeignete periodische Merkmale hinterlegt sein und bei Bedarf positionsabhängig abgefragt und ausgewählt werden.
-
Ein ausgezeichneter Bereich ist insbesondere ein Bereich bzw. ein Teil des von den Umfeldsensoren erfassten Umfelds, in dem periodische Merkmale zu finden sind. Mit dem ausgezeichneten Bereich korrespondiert jeweils ein Teil bzw. eine Auswahl der erfassten Sensordaten jedes der Umfeldsensoren.
-
Periodische Merkmale sind insbesondere Eigenschaften von einem oder mehreren Objekten, die dazu führen, dass ein Merkmal oder mehrere Merkmale des Objektes oder der Objekte sich in regelmäßigen Abständen wiederholt. Beispiele für periodische Merkmale sind insbesondere Pfosten einer Leitplanke, Fahrbahnmarkierungen, Zaunpfähle, Streifen eines Zebrastreifens, Parkplatzmarkierungen, Pflastersteine, eine Decken- oder Wandbeleuchtung in Tunneln usw.
-
Die Dekalibrierung wird insbesondere in Bezug auf extrinsische Kalibrierungsparameter festgestellt. Als extrinsische Kalibrierungsparameter werden insbesondere eine Position und eine Ausrichtung eines Umfeldsensors relativ zu einem Bezugsobjekt bezeichnet. Dieses Bezugsobjekt kann insbesondere ein Kraftfahrzeug sein. Die extrinsischen Kalibrierungsparameter beziehen sich hierbei für alle Umfeldsensoren auf das gleiche Koord i natensystem.
-
Beim Feststellen der Dekalibrierung wird insbesondere eine Dekalibrierung der Umfeldsensoren zueinander festgestellt. Ein absolute Dekalibrierung kann hingegen nicht bestimmt werden, das heißt wenn alle der mehreren Umfeldsensoren in gleicher Weise dekalibriert sind in Bezug auf die extrinsischen Kalibrierungsparameter, so kann dies mittels des Verfahrens nicht festgestellt werden. Jedoch ist erfahrungsgemäß eher davon auszugehen, dass bei mehreren Umfeldsensoren der Fall auftritt, dass einer oder nur wenige der Umfeldsensoren dekalibriert ist bzw. dekalibriert sind.
-
Es kann vorgesehen sein, dass die Umfeldsensoren gemeinsam mit einer Geschwindigkeit bewegt werden. Die gemeinsame Geschwindigkeit definiert einen Geschwindigkeitsvektor. Die Geschwindigkeit, mit der die Umfeldsensoren gemeinsam bewegt werden, ist insbesondere eine Geschwindigkeit eines Kraftfahrzeugs, auf oder an dem die Umfeldsensoren angeordnet sind.
-
Das Verfahren wird insbesondere mittels einer Steuereinrichtung ausgeführt. Die Steuereinrichtung kann als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Insbesondere umfasst die Steuereinrichtung eine Speichereinrichtung oder kann auf eine Speichereinrichtung zugreifen. In der Speichereinrichtung kann die Recheneinrichtung zum Ausführen des Verfahrens Rechenoperationen ausführen.
-
Die Transformation erfolgt insbesondere aus einem Ortsraum in einen Frequenzraum, das heißt im Frequenzraum werden in dem mindestens einen ausgezeichneten Bereich auftretende Ortsfrequenzen abgebildet.
-
Der mindestens eine ausgezeichnete Bereich ist insbesondere rechteckig und erstreckt sich entlang eines bzw. parallel zu einem mit der gemeinsamen Geschwindigkeit der Umfeldsensoren korrespondierenden Geschwindigkeitsvektors. Sind die Umfeldsensoren an oder in einem Kraftfahrzeug angeordnet, so bedeutet dies, dass eine Ausrichtung des ausgezeichneten Bereichs in Form eines Detektionsstreifens idealerweise entlang einer Fahrtrichtung bzw. eines Geschwindigkeitsvektors des Kraftfahrzeugs liegt.
-
Es kann vorgesehen sein, dass eine Frequenzfilterung zumindest der mit den periodischen Merkmalen korrespondierenden Sensordaten bzw. der mit dem mindestens einen ausgezeichneten Bereich korrespondierenden Sensordaten vorgenommen wird, bevor das Vergleichen durchgeführt wird. Beispielsweise kann eine Bandpassfilterung um eine für die periodischen Merkmale erwartete Frequenz erfolgen. Hierdurch können andere Frequenzen, die ebenfalls in den Sensordaten auftreten, herausgefiltert werden. Dies vereinfacht und verbessert den nachfolgenden Vergleich der Frequenzen und/oder der Phasenlagen.
-
In einer Ausführungsform ist vorgesehen, dass eine Dekalibrierung festgestellt wird, wenn eine Frequenzdifferenz zwischen den bestimmten Frequenzen einen vorgegebenen Frequenzschwellenwert überschreitet und/oder wenn eine Phasendifferenz zwischen den bestimmten Phasenlagen einen vorgegebenen Phasenschwellenwert überschreitet. Das Feststellen der Dekalibrierung kann hierdurch auf besonders einfache Weise erfolgen. Beispielsweise kann vorgesehen sein, dass eine Dekalibrierung festgestellt wird, wenn mindestens eine der für die Umfeldsensoren bestimmten Differenzen den Frequenzschwellenwert bzw. den Phasenschwellenwert überschreitet. Es kann hierbei auch vorgesehen sein, dass ein Frequenzschwellenwert bzw. ein Phasenschwellenwert in Abhängigkeit des jeweiligen Umfeldsensors gewählt bzw. vorgegeben wird. Hierdurch können sensorspezifische Eigenschaften berücksichtigt werden.
-
In einer Ausführungsform ist vorgesehen, dass die Sensordaten der Umfeldsensoren in einen Bildraum auf einen mit einer Geschwindigkeit korrespondierenden Geschwindigkeitsvektor projiziert werden, wobei die Transformation in den Frequenzraum auf Grundlage der projizierten Sensordaten erfolgt. Hierdurch kann insbesondere eine hohe Genauigkeit beim Feststellen einer Dekalibrierung erzielt werden. Beispielsweise kann ein erfasstes Kamerabild einer als Umfeldsensor arbeitenden Kamera als Grundlage für einer (perspektivische) Projektion dienen. Mit bekannten Abbildungseigenschaften der Kamera kann ein mit der Geschwindigkeit korrespondierender Geschwindigkeitsvektor perspektivisch in den Bildraum des Kamerabildes projiziert werden. Dies erfolgt insbesondere in dem ausgezeichneten Bereich. Die mit den periodischen Merkmalen korrespondierenden Sensordaten werden dann auf den derart projizierten Geschwindigkeitsvektor projiziert. Da dies für alle Sensordaten erfolgt und der anschließende Vergleich auf Grundlage der auf den Geschwindigkeitsvektor projizierten Sensordaten erfolgt, kann der Vergleich nach der Transformation in den Frequenzraum auf besonders einfache Weise erfolgen.
-
In einer Ausführungsform ist vorgesehen, dass das Verfahren gestartet wird, wenn in den Sensordaten zumindest eines der Umfeldsensoren periodische Merkmale zumindest in dem mindestens einen ausgezeichneten Bereich erkannt werden oder erkannt wurden. Hierdurch kann eine Rechenleistung der Steuereinrichtung eingespart bzw. zeitweise reduziert werden, da diese nur benötigt wird, wenn das Verfahren auch ausführbar ist, das heißt wenn geeignete periodische Merkmale (z.B. eine Leitplanke mit periodischen Pfosten, Zebrastreifen, periodische Fahrbahnmarkierungen) im Umfeld bzw. in den erfassten Sensordaten vorhanden sind.
-
In einer Ausführungsform ist vorgesehen, dass zumindest einer der Umfeldsensoren eine Kamera ist, wobei die Kamera als Sensordaten Kamerabilder bereitstellt, und wobei eine semantische Segmentierung der Kamerabilder erfolgt, wobei der mindestens eine ausgezeichnete Bereich auf Grundlage der semantischen Segmentierung erkannt und festgelegt wird. Hierdurch können bekannte Verfahren des Maschinenlernens und/oder der Computer Vision in vorteilhafter Weise eingesetzt werden.
-
Es kann vorgesehen sein, dass der mindestens eine ausgezeichnete Bereich alternativ oder zusätzlich auf Grundlage einer in einer Speichereinrichtung hinterlegten Umfeldkarte ermittelt und festgelegt wird. In der hinterlegten Umfeldkarte können beispielsweise periodische Merkmale hinterlegt sein, die ausgehend von beispielsweise einer aktuellen Position der Umfeldsensoren identifiziert und aus der Umfeldkarte abgerufen werden.
-
Weitere Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
-
Ferner wird auch ein Kraftfahrzeug geschaffen, umfassend Umfeldsensoren und mindestens eine Vorrichtung nach einer beliebigen der beschriebenen Ausführungsformen.
-
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
- 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren;
- 2a eine schematische Darstellung zur Verdeutlichung einer Ausführungsform des Verfahrens an einem Beispiel für zwei Umfeldsensoren;
- 2b eine schematische Darstellung von erfassten Sensordaten der zwei Umfeldsensoren;
- 2c eine schematische Darstellung der transformierten Sensordaten (Frequenzspektrum);
- 2d eine schematische Darstellung der transformierten Sensordaten (Phasenspektrum);
- 3 ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens.
-
In 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum Überprüfen einer Kalibrierung von Umfeldsensoren 2-x gezeigt. Die Vorrichtung 1 und die Umfeldsensoren 2-x sind in einem Kraftfahrzeug 50 angeordnet, das sich mit einer Geschwindigkeit entlang eines Geschwindigkeitsvektors Vk in eine Fahrtrichtung 51 bewegt. Die Umfeldsensoren 2-x erfassen beispielsweise ein vor dem Kraftfahrzeug 50 liegendes Umfeld, wobei alle Umfeldsensoren zumindest teilweise das gleiche Umfeld erfassen. Die Umfeldsensoren 2-x stellen zeitlich synchronisierte Sensordaten 3-x bereit.
-
Die Vorrichtung 1 umfasst eine Steuereinrichtung 4 und eine Speichereinrichtung 5, wobei die Steuereinrichtung 4 auf die Speichereinrichtung 5 zugreifen kann und zum Ausführen des Verfahrens Rechenoperationen in der Speichereinrichtung 5 ausführen kann.
-
Die Steuereinrichtung 4 empfängt die Sensordaten 3-x der Umfeldsensoren 2-x. Zumindest für mindestens einen ausgezeichneten Bereich in den zu dem gleichen Umfeld gehörenden Sensordaten 3-x der Umfeldsensoren 2-x erkennt die Steuereinrichtung 4 periodische Merkmale, beispielsweise periodische Anordnungen von Pfosten einer Leitplanke oder von Streifen eines Zebrastreifens (vgl. 2a).
-
An mit dem mindestens einen ausgezeichneten Bereich korrespondierenden Sensordaten 3-x führt die Steuereinrichtung 4 zumindest für den mindestens einen ausgezeichneten Bereich eine Transformation in den Frequenzraum durch, insbesondere indem an den jeweils mit dem mindestens einen ausgezeichneten Bereich korrespondierenden Sensordaten 3-x eine Fouriertransformation bzw. Fast-Fourier-Transformation durchgeführt wird, sodass anschließend transformierte Sensordaten 30-x vorliegen.
-
Nach erfolgter Transformation bestimmt die Steuereinrichtung 4 jeweils eine Frequenz und/oder eine Phasenlage der periodischen Merkmale in den jeweils in den Frequenzraum transformierten Sensordaten 30-x.
-
Die Steuereinrichtung 4 stellt eine Dekalibrierung der Umfeldsensoren 2-x auf Grundlage eines Vergleichs der jeweils bestimmten Frequenzen und/oder der jeweils bestimmten Phasenlagen fest.
-
Insbesondere ist vorgesehen, dass eine Dekalibrierung festgestellt wird, wenn eine Frequenzdifferenz zwischen den bestimmten Frequenzen einen vorgegebenen Frequenzschwellenwert überschreitet und/oder wenn eine Phasendifferenz zwischen den bestimmten Phasenlagen einen vorgegebenen Phasenschwellenwert überschreitet.
-
Die Steuereinrichtung 4 stellt anschließend ein Überprüfungsergebnis 6 bereit, beispielsweise als Überprüfungsergebnissignal 7, das insbesondere in Form eines digitalen Datenpakets bereitgestellt wird.
-
Es kann vorgesehen sein, dass die Steuereinrichtung 4 die Sensordaten 3-x der Umfeldsensoren 2-x in einen Bildraum auf einen mit der Geschwindigkeit korrespondierenden Geschwindigkeitsvektor projiziert, wobei die Transformation in den Frequenzraum auf Grundlage der projizierten Sensordaten erfolgt.
-
Es kann ferner vorgesehen sein, dass das Verfahren gestartet wird, wenn in den Sensordaten 3-x zumindest eines der Umfeldsensoren 2-x periodische Merkmale zumindest in dem mindestens einen ausgezeichneten Bereich erkannt werden oder erkannt wurden.
-
Weiter kann vorgesehen sein, dass zumindest einer der Umfeldsensoren 2-x eine Kamera ist, wobei die Kamera als Sensordaten 3-x Kamerabilder bereitstellt, und wobei eine semantische Segmentierung der Kamerabilder erfolgt, wobei der mindestens eine ausgezeichnete Bereich auf Grundlage der semantischen Segmentierung erkannt und festgelegt wird.
-
In 2a ist eine schematische Darstellung zur Verdeutlichung einer Ausführungsform des Verfahrens für zwei Umfeldsensoren gezeigt. Die zwei Umfeldsensoren sind beispielsweise eine Kamera und ein LIDAR-Sensor. Bei der Kamera werden ortsaufgelöste Helligkeitswerte und/oder Farbwerte als Sensordaten bereitgestellt, bei dem LI DAR-Sensor werden ortsaufgelöste Reflektanzwerte bereitgestellt.
-
In der 2a gezeigt ist ein Umfeld 20, in dem periodische Merkmale 21 vorhanden sind, beispielsweise Pfosten 22 einer Leitplanke auf der linken Seite und Streifen 23 eines Zebrastreifens auf der rechten Seite. Ferner sind zwei ausgezeichnete Bereiche 24 schematisch gezeigt. Der linke ausgezeichnete Bereich 24 umfasst die Pfosten 22 der Leitplanke, der rechte ausgezeichnete Bereich 24 umfasst die rechten Außenbereiche der Streifen 23 des Zebrastreifens. Insbesondere mit den ausgezeichnete Bereichen 24 korrespondierende Sensordaten 3-1, 3-2 werden im Weiteren betrachtet.
-
In einem kalibrierten Zustand sind die Umfeldsensoren in Richtung eines Geschwindigkeitsvektors Vk ausgerichtet. Aufgrund einer Dekalibrierung eines der beiden Umfeldsensoren, welche durch einen gegenüber dem Geschwindigkeitsvektor Vk anders orientierten Erfassungsvektor Vm verdeutlicht wird, erfasst der dekalibrierte Umfeldsensor jedoch das Umfeld aus bzw. in einer anderen Richtung. Insbesondere werden die periodischen Merkmale 21 hierdurch von den beiden Umfeldsensoren örtlich bzw. räumlich jeweils mit einer unterschiedlichen Periode erfasst. Die jeweils von den beiden Sensoren für den rechten ausgezeichneten Bereich 24 erfassten Sensordaten 3-1, 3-2 sind als Amplituden 25 in Abhängigkeit einer Ortskoordinate x in der 2b gezeigt. Im kalibrierten Zustand müssten die Rechtrecksignale übereinander liegen. Aufgrund der Dekalibrierung eines der beiden Umfeldsensoren sind die Sensordaten 3-1 des einen Umfeldsensors jedoch gegenüber den Sensordaten 3-2 des anderen Umfeldsensors in Bezug auf die Ortskoordinate x verschoben.
-
Die Sensordaten 3-1, 3-2 der beiden Umfeldsensoren werden einer Fouriertransformation unterzogen, insbesondere einer diskreten Fast-Fourier-Transformation. Ein Ergebnis der Transformation von dem Ortsraum in den Frequenzraum ist in den 2c und 2d dargestellt. In der 2c ist ein Frequenzspektrum, das heißt eine Leistung 26 (oder ein Amplitude) der fouriertransformierten Sensordaten 30-1, 30-2 in Abhängigkeit einer der Frequenz f dargestellt. In der 2d ist eine Leistung 26 (oder ein Amplitude) der fouriertransformierten Sensordaten 30-1, 30-2 in Abhängigkeit einer der Phase φ dargestellt.
-
In der 2c erkennt man deutlich anhand der transformierten Sensordaten 30-1, 30-1, dass die Sensordaten 3-1, 3-2 eine unterschiedliche Frequenz f aufweisen, das heißt in Bezug auf eine Frequenz f um eine Frequenzdifferenz Δf auseinanderliegen, obwohl die verursachenden periodischen Merkmale 21, nämlich die Streifen 23 des Zebrastreifens in dem rechten ausgezeichneten Bereich 24, die gleichen sind.
-
In der 2d erkennt man ebenfalls deutlich anhand der transformierten Sensordaten 30-1, 30-1, dass die Sensordaten 3-1, 3-2 eine unterschiedliche Phasenlage aufweisen, das heißt in Bezug auf eine Phase φ um eine Phasendifferenz Δφ auseinanderliegen, obwohl die verursachenden periodischen Merkmale 21, nämlich die Streifen 23 des Zebrastreifens in dem rechten ausgezeichneten Bereich 24, die gleichen sind.
-
Die Frequenzdifferenz Δf und/oder die Phasendifferenz Δφ werden mit einem Frequenzschwellenwert 31 bzw. einem Phasenschwellenwert 32 verglichen. Werden der Frequenzschwellenwert 31 und/oder der Phasenschwellenwert 32 überschritten, so wird eine Dekalibrierung der beiden Umfeldsensoren festgestellt und ein entsprechendes Überprüfungsergebnis bereitgestellt.
-
Sind weitere Umfeldsensoren vorhanden, so werden die zum rechten ausgezeichneten Bereich 24 zugehörigen Sensordaten entsprechend miteinander verglichen, insbesondere jeweils paarweise. Insbesondere kann eine Dekalibrierung festgestellt werden, wenn Sensordaten 3-1, 3-2 mindestens eines der Umfeldsensoren den Frequenzschwellenwert 31 bzw. den Phasenschwellenwert 32 überschreiten.
-
In 3 ist ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens gezeigt. Das Verfahren wird beispielsweise für mehrere Umfeldsensoren eines Kraftfahrzeugs in dem Kraftfahrzeug ausgeführt. Das Verfahren wird beispielsweise mittels eines Verfahrensschrittes 100 gestartet, wenn eine Startbedingung erfüllt ist. Eine solche Startbedingung kann beispielsweise das Vorhandensein bzw. Erkennen von geeigneten periodischen Merkmalen (z.B. Streifen eines Zebrastreifens etc.) in erfassten Sensordaten sein, beispielsweise in mittels einer Kamera erfassten Kamerabildern. Alternativ kann das Verfahren auch kontinuierlich durchgeführt werden, beispielsweise für einen fest vorgegebenen ausgezeichneten Bereich; dann wird das Verfahren beispielsweise bei einem Start eines Kraftfahrzeugs gestartet.
-
In einem Verfahrensschritt 101 werden Sensordaten der Umfeldsensoren erfasst. Sind die erfassten Sensordaten zeitlich nicht synchronisiert oder weisen diese unterschiedliche Zeitbasen auf, so erfolgt eine zeitliche Synchronisation in einem Verfahrensschritt 102. Die zeitliche Synchronisation kann eine Interpolation der Sensordaten umfassen.
-
In einem Verfahrensschritt 103 wird ein Geschwindigkeitsvektor des Kraftfahrzeugs über eine perspektivische Abbildung unter Berücksichtigung von jeweiligen Abbildungsbedingungen der Umfeldsensoren in die jeweiligen Koordinatensysteme der Umfeldsensoren transformiert (bei einer Kamera als Umfeldsensor beispielsweise in ein Bildkoordinatensystem der Kamera).
-
In einem Verfahrensschritt 104 werden mit den ausgezeichneten Bereichen, in denen periodische Merkmale zu finden sind, korrespondierende Sensordaten der Umfeldsensoren extrahiert. Die erfolgt insbesondere, indem die Sensordaten, die sich in einer Projektion auf dem jeweils in die Koordinatensysteme der Umfeldsensoren projizierten Geschwindigkeitsvektoren befinden, extrahiert werden.
-
Die extrahierten Sensordaten werden in einem Verfahrensschritt 105 in einen Frequenzraum transformiert. Dies erfolgt insbesondere aus einem Ortsraum heraus. Es kann jedoch auch vorgesehen sein, dass die extrahierten Sensordaten vorher auf eine Zeitbasis transformiert bzw. abgebildet werden, sodass eine Transformation von einem Zeitbereich in einem Frequenzraum erfolgt. Die Transformation erfolgt mittels einer Fouriertransformation, insbesondere mittels einer diskreten Fast-Fourier-Transformation.
-
In einem Verfahrensschritt 106 wird überprüft, ob im Frequenzraum eine Frequenz in den transformierten Sensordaten zuverlässig detektiert werden kann. Dies kann ebenso für die Phasenlage erfolgen. Kann eine Frequenz und/oder eine Phasenlage nicht zuverlässig bestimmt werden, wird wieder zu dem Verfahrensschritt 101 zurückgesprungen.
-
In einem Verfahrensschritt 107 kann vorgesehen sein, dass eine Frequenzfilterung durchgeführt wird, beispielsweise eine Bandpassfilterung, um unerwünschte Frequenzen herauszufiltern und eine Signalverarbeitung eines von den periodischen Merkmalen erzeugten Signals zu erleichtern.
-
Kann eine Frequenz und/oder eine Phasenlage jeweils zuverlässig bestimmt werden, so erfolgt in einem Verfahrensschritt 108 ein Vergleich zwischen den Frequenzen und/oder Phasenlagen der Sensordaten der Umfeldsensoren. Insbesondere werden jeweils paarweise für die Umfeldsensoren Frequenzdifferenzen und/oder Phasendifferenzen bestimmt, die jeweils mit einem Frequenzschwellenwert bzw. einen Phasenschwellenwert verglichen werden. Überschreitet eine Differenz den zugehörigen Schwellenwert, so wird eine Dekalibrierung festgestellt.
-
In einem Verfahrensschritt 109 wird ein Überprüfungsergebnis bereitgestellt und ausgegeben, beispielsweise als Überprüfungsergebnissignal, insbesondere in Form eines digitalen Datenpakets.
-
Bezugszeichenliste
-
- 1
- Vorrichtung
- 2-x
- Umfeldsensor
- 3-x
- Sensordaten
- 4
- Steuereinrichtung
- 5
- Speichereinrichtung
- 6
- Überprüfungsergebnis
- 7
- Überprüfungsergebnissignal
- 20
- Umfeld
- 21
- periodische Merkmale
- 22
- Pfosten
- 23
- Streifen
- 24
- ausgezeichneter Bereich
- 30-x
- transformierte Sensordaten
- 31
- Frequenzschwellenwert
- 32
- Phasenschwellenwert
- 50
- Kraftfahrzeug
- 51
- Fahrtrichtung
- 100-109
- Verfahrensschritte
- Vk
- Geschwindigkeitsvektor
- Vm
- Erfassungsvektor
- f
- Frequenz
- Δf
- Frequenzdifferenz
- φ
- Phase(nlage)
- Δφ
- Phasendifferenz
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014014295 A1 [0006]
