-
Die vorliegende Erfindung betrifft die Überwachung von Sensoren an Fahrzeugen, deren Messsignale von Fahrassistenzsystemen und Systemen für das zumindest teilweise automatisierte Fahren genutzt werden.
-
Stand der Technik
-
Analog zu einem menschlichen Fahrer sind Fahrassistenzsysteme und Systeme für das zumindest teilweise automatisierte Fahren darauf angewiesen, relevante Informationen aus dem Fahrzeugumfeld korrekt zu erfassen, um die der jeweiligen Situation angemessene Reaktion auszulösen. So wird beispielsweise der Abstand zu einem vorausfahrenden Fahrzeug mit einem Radarsensor gemessen, um die Geschwindigkeit des eigenen Fahrzeuges so anzupassen, dass es mit konstantem Abstand hinter einem vorausfahrenden Fahrzeug herfährt. Auch automatische Notbremssysteme können auf Grund von Radardaten bevorstehende Kollisionen erkennen und eine Notbremsung auslösen. Die
DE 10 2018 222 195 A1 offenbart ein beispielhaftes Verfahren, das sich maschinelles Lernen zu Nutze macht, um Objekte in einem von mindestens einem Radarsensor überwachten Bereich zu orten und/oder zu klassifizieren.
-
Offenbarung der Erfindung
-
Im Rahmen der Erfindung wurde ein Verfahren zur Überwachung der Funktionsfähigkeit eines Sensors, der an einem Fahrzeug montiert ist und zur Beobachtung des Fahrzeugumfelds vorgesehen ist, entwickelt.
-
Das Verfahren macht sich eine Kamera zu Nutze, die zur Aufnahme von Bildern des Fahrzeugumfelds ausgebildet ist und in deren Sichtfeld sich auch der Sensor, und/oder einen in Fahrtrichtung des Fahrzeugs vor dem Sensor liegender Bereich, befindet. Von dieser Kamera wird ein Bildausschnitt eines Kamerabildes bezogen, der den Sensor, und/oder den vor dem Sensor liegenden Bereich, zeigt.
-
Aus diesem Bildausschnitt wird ausgewertet, ob der Sensor beschädigt oder verschmutzt ist, und/oder ob sich Schmutz oder andere Objekte auf den Sensor zubewegen. Unter Heranziehung des Ergebnisses dieser Auswertung wird ermittelt, inwieweit der Sensor funktionsfähig ist.
-
Es wurde erkannt, dass viele Fahrzeuge bereits über Kamerasysteme verfügen, die eigentlich zur Beobachtung des Fahrzeugumfelds gedacht sind, sich jedoch zusätzlich zur Überwachung des Sensors nutzen lassen. Ein Beispiel hierfür sind insbesondere Nahbereichskameras (Near Range Camera, NRC), Weitwinkelkameras oder Fischaugenkameras, die in Parkunterstützungssysteme eingebunden sind. Gerade solche Kameras erfassen das Fahrzeugumfeld besonders weitwinklig, damit der Fahrer, und/oder eine automatisierte Einparkhilfe, am gesamten Außenumfang des Fahrzeugs auf eine mögliche Annäherung an ein fremdes Objekt reagieren und ein Anstoßen vermeiden kann. Quasi als Abfallprodukt gerät hierbei auch der Sensor, und/oder ein vor dem Sensor liegender Bereich, mit ins Bild.
-
Die Überwachung des Sensors erfordert jedoch eine deutlich höhere Bildwiederholfrequenz als die Parkunterstützung. Während eines Einparkvorgangs fährt das Fahrzeug typischerweise maximal mit Schrittgeschwindigkeit. Zum vorsichtigen Herantasten an ein Hindernis kann eine Bildwiederholfrequenz von ein oder zwei Aktualisierungen pro Sekunde (frames per second, fps) bereits ausreichen. Wenn hingegen etwa bei 120 km/h Niederschlag oder Schmutz verfolgt werden soll, der sich auf den Sensor zubewegt, ist eine um ein Vielfaches höhere Bildwiederholfrequenz nötig. Bei 15 fps bewegt sich der Niederschlag oder Schmutz zwischen zwei aufeinanderfolgenden Aktualisierungen noch um 2,2 m, bei 30 fps nur noch um 1,1 m. Das Kamerasystem ist jedoch typischerweise nicht mit einer ausreichenden Netzwerkbandbreite an ein fahrzeuginternes Netzwerk angebunden, um in voller Auflösung mit einer so hohen Bildwiederholfrequenz Bilder zu liefern. So belegt ein Videodatenstrom in Full-HD-Auflösung (1.920 x 1.080 Pixel) mit 10 Bit Farbtiefe bereits bei 1 fps eine Bandbreite von 61,5 Mbit/s. Bei 30 fps würde dementsprechend sogar eine Ethernet-Verbindung mit 1 Gbit/s nur etwas mehr als die Hälfte des Bedarfs decken.
-
Indem nun aber lediglich ein Bildausschnitt bezogen wird, der den Sensor, und/oder den vor dem Sensor liegenden Bereich, zeigt, wird der Bandbreitenbedarf drastisch reduziert. Da die Kamera so ausgerichtet ist, dass sie primär das Fahrzeugumfeld und so wenig wie möglich vom eigenen Fahrzeug erfasst, ist der für die Überwachung des Sensors relevante Anteil im Vergleich zum Gesamtbild sehr klein. Hat dieser Bereich beispielsweise eine Größe von 120x120 Pixeln, ist bei 30 fps nur noch eine Bandbreite von 12 Mbit/s notwendig. Eine solche Bandbreite ist in einem fahrzeuginternen Ethernet-Netzwerk mit hoher Wahrscheinlichkeit noch als Freikapazität verfügbar. Somit ermöglicht es gerade die Berücksichtigung nur eines kleinen Bildausschnitts, die Kamera einer Zweitnutzung für die Überwachung des Sensors zuzuführen.
-
Besonders vorteilhaft umfasst der Bildausschnitt höchstens 5 %, bevorzugt höchstens 1 % und ganz besonders bevorzugt höchstens 0,5 %, des Sichtfeldes der Kamera. Ausschnitte dieser Größe reduzieren den Bandbreitenbedarf im Vergleich zum Vollbild deutlich, sind jedoch immer noch detailreich genug, um hinreichend Aufschluss über den Zustand des Sensors zu geben. Wenn die Kamera besonders hoch auflösend ist und/oder besonders weitwinklig ist, kann der Bildausschnitt auch beispielsweise höchstens 0,1 % oder 0,001 % des Sichtfeldes der Kamera umfassen.
-
Besonders vorteilhaft wird eine Anforderung lediglich des Bildausschnitts an die Kamera gesendet und der Bildausschnitt von der Kamera empfangen. Wenn die Kamera es hardwaremäßig ermöglicht, an Stelle des kompletten Bildsensors (etwa CMOS oder CCD) nur jeweils den interessierenden Teilbereich auszulesen, kann im Gegenzug beispielsweise eine höhere Bildwiederholfrequenz gewählt werden, ohne die nachgeschaltete Verarbeitung damit zu überlasten. Somit wird bei der Ausrüstung eines Fahrzeugs mit einer Kamera vorteilhaft eine Kamera gewählt, die genau diese hardwaremäßige Funktionalität aufweist, auch wenn dies für den ursprünglich angedachten Verwendungszweck der Kamera nicht erforderlich ist: Ein geringer Mehrpreis für die Kamera führt dazu, dass die Kamera eine zweite Aufgabe, nämlich die Überwachung des Sensors, deutlich besser ausführen kann. Somit rentiert sich der Mehrpreis.
-
Alternativ können von der Kamera ausgegebene Bilder vor der Übertragung über ein fahrzeuginternes Netzwerk zu der Verarbeitungseinheit, die die Auswertung übernimmt, auf den Bildausschnitt reduziert werden. Dies kann beispielsweise durch ein Zusatzmodul in der Betriebssoftware der Kamera oder auch durch ein der Kamera nachgeschaltetes weiteres Modul geschehen. Damit kommt die Übertragung über das fahrzeuginterne Netzwerk immer noch mit einem deutlich geringeren Bandbreitenbedarf aus. Der Aufwand für das Reduzieren des Bandbreitenbedarfs ist klein im Vergleich zum Aufwand, das fahrzeuginterne Netzwerk für den höheren Bandbreitenbedarf zu ertüchtigen.
-
Wie zuvor erläutert, wird vorteilhaft der Bildausschnitt mit einer Bildwiederholrate von der Kamera bezogen, die höher ist als die für die Überwachung des Fahrzeugumfelds mit dieser Kamera vorgesehene Bildwiederholrate. Je höher die Bildwiederholrate ist, desto genauer lassen sich insbesondere Schmutz oder andere Objekte verfolgen, die sich auf den Sensor zubewegen.
-
In einer weiteren vorteilhaften Ausgestaltung wird in Antwort darauf, dass sich im zeitlichen Zusammenhang mit der Bewegung von Schmutz oder anderen Objekten auf den Sensor zu das Messsignal des Sensors in einer Weise verändert, die mit einer Verschlechterung der Funktionsfähigkeit des Sensors in Einklang steht, festgestellt, dass die Funktionsfähigkeit des Sensors beeinträchtigt ist. Wenn beispielsweise ein Objekt auf einen Radarsensor zufliegt und in unmittelbarem zeitlichem Zusammenhang hiermit die vom Radarsensor registrierte Intensität abnimmt, kann darauf geschlossen werden, dass der Strahlengang des Radarsensors teilweise verlegt worden ist und der Radarsensor nur noch eingeschränkt funktionsfähig ist.
-
Besonders vorteilhaft wird ein Radar-, Ultraschall-, oder Lidar-Sensor als Sensor gewählt. Derartige Sensoren senden eine elektromagnetische Abfragestrahlung in das Fahrzeugumfeld und registrieren die von Objekten reflektierte Strahlung. Wenn keine Strahlung zurückkommt, dann ist eine mögliche Ursache, dass sich im Umfeld kein reflektierendes Objekt befindet. Es ist jedoch auch möglich, dass die ausgesendete Strahlung, und/oder die reflektierte Strahlung, beispielsweise durch eine Verschmutzung auf dem Sensor absorbiert wird. Wenn also beispielsweise plötzlich keine Strahlung mehr registriert wird, könnte hieraus der falsche Schluss gezogen werden, dass das vorausfahrende Fahrzeug aus dem Umfeld des eigenen Fahrzeugs herausbeschleunigt hat, und das eigene Fahrzeug könnte zu einer Beschleunigung veranlasst werden, um wieder aufzuschließen.
-
In einer weiteren besonders vorteilhaften Ausgestaltung wird mit mindestens einem neuronalen Netzwerk aus dem Bildausschnitt ausgewertet, ob der Sensor beschädigt oder verschmutzt ist, und/oder ob sich Schmutz oder andere Objekte auf den Sensor zubewegen. Das neuronale Netzwerk hat eine große Kraft zur Verallgemeinerung und kann somit ausgehend von einer endlichen Anzahl an Trainingssituationen auch eine Vielzahl ungesehener Situationen zutreffend bewerten. Der Aufwand an Speicher und an Rechenkapazität für die Verarbeitung mit dem neuronalen Netzwerk wird wesentlich durch die Dimensionalität, also durch die Pixelanzahl, des bewerteten Bildes getrieben. Der kleine Bildausschnitt, der nur den relevanten Bereich zeigt, erfordert hier einen wesentlich geringeren Aufwand als die Verarbeitung des Vollbildes. Weiterhin wird durch die Verwendung des Bildausschnitts das Training des neuronalen Netzwerks auch genau auf die Bewertung fokussiert, inwieweit der Sensor beschädigt oder verschmutzt ist. Würde hingegen zum Training jeweils das Vollbild verwendet, würde das neuronale Netzwerk möglicherweise vorwiegend etwas anderes lernen als eine Beurteilung speziell eines sehr kleinen Bildausschnitts.
-
Wenn sich herausstellt, dass die Funktionsfähigkeit des Sensors beeinträchtigt ist, können verschiedene abgestufte Gegenmaßnahmen ergriffen werden.
-
Beispielsweise kann eine Heizung und/oder eine Reinigungsvorrichtung für den Sensor aktiviert werden. Wenn dies immer aus einem konkreten Anlass geschieht und nicht prophylaktisch, kann Energie eingespart werden. Auch verbraucht beispielsweise eine Reinigungsvorrichtung Wasser und ggfs. auch Reinigungsmittel, was bei übermäßigem Verbrauch durch den Nutzer des Fahrzeugs häufiger nachzufüllen wäre.
-
Alternativ oder auch in Kombination hierzu können beispielsweise Messsignale, die der Sensor hätte liefern sollen, aus Messsignalen anderer Sensoren, deren Erfassungsbereich sich mit dem Erfassungsbereich dieses Sensors überlappen, rekonstruiert werden. Dies liefert zumindest eine Abschätzung für fehlende Messsignale. Eine nachgeschaltete Auswertung für ein fahrdynamisches System kann dann zumindest noch mit reduzierter Genauigkeit weiterarbeiten, statt den Betrieb gleich komplett einstellen zu müssen.
-
Als ultima ratio kann ein Fahrassistenzsystem und/oder System für das zumindest teilweise automatisierte Fahren, das den Sensor nutzt, ganz oder teilweise deaktiviert werden. Dadurch wird verhindert, dass durch Beschädigung oder Verschmutzung des Sensors verfälschte Messsignale zu einer falschen Schlussfolgerung und schließlich zu einer der tatsächlichen Situation nicht angemessenen fahrdynamischen Reaktion des Fahrzeugs verstärkt werden. Gleichzeitig wird dem Nutzer des Fahrzeugs durch den Verlust an Funktionalität ein Ansatz gesetzt, durch Reinigung und/oder Reparatur den Sensor baldmöglichst in Ordnung zu bringen.
-
Das zuvor beschriebene Verfahren kann insbesondere beispielsweise computerimplementiert und somit in einer Software verkörpert sein. Die Erfindung bezieht sich daher auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, das beschriebene Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
-
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
-
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
-
Figurenliste
-
Es zeigt:
- 1 Ausführungsbeispiel des Verfahrens 100;
- 2 Beispielhafte Realisierung des Verfahrens 100 an einem Fahrzeug 50.
-
1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zur Überwachung der Funktionsfähigkeit eines Sensors 1, der an einem Fahrzeug 50 montiert ist und zur Beobachtung des Fahrzeugumfelds 51 vorgesehen ist. Eine beispielhafte Situation, in der das Verfahren 100 angewendet werden kann, ist in 2 skizziert.
-
In Schritt 105 kann insbesondere ein Radar-Sensor, ein Ultraschall-Sensor oder ein Lidar-Sensor für die Durchführung des Verfahrens 100 gewählt werden.
-
In Schritt 110 wird mindestens eine Kamera 2, die zur Aufnahme von Bildern 3 des Fahrzeugumfelds 51 ausgebildet ist und in deren Sichtfeld sich auch der Sensor 1, und/oder ein in Fahrtrichtung des Fahrzeugs vor dem Sensor liegender Bereich 1a, befindet, genutzt. Diese Kamera kann gemäß Block 111 insbesondere beispielsweise eine Nahbereichskamera, eine Weitwinkelkamera oder eine Fischaugenkamera sein, die in ein Parkunterstützungssystem eingebunden ist. Von der Kamera 2 wird ein Bildausschnitt 3a eines Bildes 3 bezogen. Dieser Bildausschnitt 3a zeigt den Sensor 1, und/oder den vor dem Sensor liegenden Bereich 1a.
-
Gemäß Block 112 kann eine Anforderung lediglich des Bildausschnitts 3a an die Kamera 2 gesendet werden, und der Bildausschnitt 3a kann dann gemäß Block 113 von der Kamera 2 empfangen werden.
-
Alternativ können von der Kamera 2 ausgegebene Bilder 3 gemäß Block 114 zunächst auf den Bildausschnitt 3a reduziert werden, bevor sie über ein fahrzeuginternes Netzwerk 52 zu einem Modul 53 übertragen werden, das die Auswertung vornimmt.
-
In beiden Fällen kann gemäß Block 115 insbesondere der Bildausschnitt 3a mit einer Bildwiederholrate von der Kamera 2 bezogen werden, die höher ist als die für die Überwachung des Fahrzeugumfelds 51 mit dieser Kamera 2 vorgesehene Bildwiederholrate. Dabei fällt der mögliche Gewinn an Bildwiederholrate höher aus, wenn gemäß den Blöcken 112 und 113 die Kamera 2 von vornherein nur den speziellen Bildausschnitt 3a liefert.
-
In Schritt 120 wird aus dem Bildausschnitt 3a ausgewertet, ob der Sensor 1 beschädigt oder verschmutzt ist, und/oder ob sich Schmutz oder andere Objekte auf den Sensor 1 zubewegen. Hierzu kann insbesondere beispielsweise gemäß Block 121 ein neuronales Netzwerk eingesetzt werden.
-
Unter Heranziehung des Ergebnisses 120a der Auswertung 120 wird in Schritt 130 eine Aussage 1* dahingehend ermittelt, inwieweit der Sensor 1 funktionsfähig ist. Diese Aussage 1* muss nicht ausschließlich und auch nicht linear von beispielsweise einem Verschmutzungsgrad des Sensors 1 abhängen. So kann beispielsweise bis zu einem gewissen Sockelbetrag der Verschmutzungsgrad noch keinen Einfluss auf die Funktionsfähigkeit haben, während anschließend mit zunehmendem Verschmutzungsgrad die Funktionsfähigkeit abnimmt. Ab einem gewissen Verschmutzungsgrad kann diese Abnahme dann beispielsweise wieder in eine Sättigung gehen.
-
Insbesondere kann gemäß Block 131 beispielsweise geprüft werden, ob sich das Messsignal des Sensors 1 im zeitlichen Zusammenhang mit der Bewegung von Schmutz oder anderen Objekten auf den Sensor 1 zu in einer Weise verändert, die mit einer Verschlechterung der Funktionsfähigkeit des Sensors 1 in Einklang steht. Es kann dann gemäß Block 132 die Feststellung 1* getroffen werden, dass die Funktionsfähigkeit des Sensors 1 beeinträchtigt ist.
-
Sofern die Funktionsfähigkeit des Sensors 1 beeinträchtigt ist, kann in Schritt 140 eine Heizung oder eine Reinigungsvorrichtung für den Sensor 1 aktiviert werden. Alternativ oder in Kombination hierzu können in Schritt 150 Messsignale, die der Sensor 1 hätte liefern sollen, aus Messsignalen anderer Sensoren, deren Erfassungsbereich sich mit dem Erfassungsbereich dieses Sensors 1 überlappen, rekonstruiert werden. Schließlich kann auch in Schritt 160 ein Fahrassistenzsystem und/oder System für das zumindest teilweise automatisierte Fahren, das den Sensor 1 nutzt, ganz oder teilweise deaktiviert werden.
-
2 zeigt eine beispielhafte Realisierung des Verfahrens 100 an einem Fahrzeug 50. Das Fahrzeug 50 beobachtet sein Umfeld 51 mit einem Radarsensor 1, der Abfragestrahlung A aussendet und von Objekten O reflektierte Strahlung registriert.
-
Eine Nahfeldkamera 2 ist dafür ausgelegt, beim Einparken einen großen Erfassungsbereich 2a zu beobachten und dabei Bilder 3 zu erzeugen, die diesen gesamten Erfassungsbereich 2a zeigen. Im Rahmen des Verfahrens 100 wird diese Nahfeldkamera 2 dazu verwendet, einen Bildausschnitt 3a eines Bildes 3 mit hoher Bildwiederholfrequenz aufzunehmen. In dem in 2 gezeigten Beispiel werden zunächst Bilder 3 aufgenommen, die den vollständigen Erfassungsbereich 2a der Nahfeldkamera 2 zeigen. Bevor diese Bilder über ein fahrzeuginternes Netzwerk 52 zu dem Modul 53 übertragen werden, das die weitere Auswertung vornimmt, werden sie in Schritt 114 des Verfahrens 100 auf den Bildausschnitt 3a reduziert.
-
In der in 2 gezeigten Situation kann so erkannt werden, dass im Bereich 1a unmittelbar vor dem Sensor 1 Schmutz S dabei ist, in Richtung des Sensors 1 zu fliegen. Wenn im zeitlichen Zusammenhang hiermit das Messsignal des Sensors 1 einbricht, kann erkannt werden, dass hierfür wahrscheinlich der Schmutz S die Ursache ist, und nicht etwa ein Entfernen des Objekts O aus dem Erfassungsbereich des Radarsensors 1.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102018222195 A1 [0002]
