-
Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Ermittlung der Sichtweite einer Kamera auf Basis der von der Kamera erfassten Bilddaten.
-
Ein Fahrzeug kann eine Kamera, insbesondere eine Frontkamera, umfassen, mit der Bilddaten in Bezug auf das Umfeld des Fahrzeugs erfasst werden können. Insbesondere können mit einer Frontkamera Bilddaten in Bezug auf das vor der Front des Fahrzeugs liegende Umfeld erfasst werden. Die Bilddaten können dazu verwendet werden, ein oder mehrere Fahrzeugfunktionen bereitzustellen. Beispielsweise können auf Basis der Bilddaten ein Spurhalteassistent und/oder ein Spurwechselassistent bereitgestellt werden. Insbesondere können auf Basis der Bilddaten für hochautomatisiertes Fahren verwendet werden.
-
Die Sichtweite einer Kamera, d.h. die maximal mögliche Entfernung von Objekten, die in dem Bild einer Kamera sichtbar sind, hängt typischerweise von den Witterungsbedingungen ab. Insbesondere weist eine Kamera bei klaren Witterungsbedingungen typischerweise eine relativ hohe Sichtweite auf, während die Kamera bei Nebel typischerweise eine relativ geringe Sichtweite aufweist. Durch die Sichtweite einer Kamera wird die Erkennung von Objekten (z.B. von Spurmarkierungen und/oder von Verkehrsschildern) beeinflusst, so dass die Güte einer Fahrzeug- bzw. Fahrfunktion, die auf den Bilddaten der Kamera basiert, typischerweise von der Sichtweite der Kamera abhängt.
-
Das vorliegende Dokument befasst sich mit der technischen Aufgabe, die Sichtweite einer Kamera, insbesondere die Reichweite, mit der ein Objekt auf Basis der Bilddaten einer Kamera erkannt werden kann, in effizienter und präziser Weise (ggf. allein) auf Basis der Bilddaten der Kamera zu ermitteln.
-
Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
-
Gemäß einem Aspekt wird eine Vorrichtung zur Ermittlung der Sichtweite einer Kamera eines (Kraft-)Fahrzeugs beschrieben, die eingerichtet ist, Bilder (insbesondere eine zeitliche Sequenz von Bildern) in Bezug auf ein Umfeld des Fahrzeugs zu erfassen. Die Kamera kann z.B. eingerichtet sein, 10 Bilder pro Sekunde oder mehr, oder 20 Bilder pro Sekunde oder mehr, oder 30 Bilder pro Sekunde oder mehr zu erfassen. Die Kamera kann ausgebildet sein, den Frontbereich vor der Front des Fahrzeugs zu erfassen.
-
Das Fahrzeug umfasst zumindest ein Leuchtelement (insbesondere einen Scheinwerfer), das ausgebildet ist, zumindest einen Teil des von der Kamera erfassten Umfelds anzustrahlen. Dabei kann das Leuchtelement eine bestimmte Leuchtweite aufweisen. Insbesondere kann das Leuchtelement ausgebildet sein, bei einer bestimmten Referenzsituation (mit Referenz-Sichtverhältnissen) einen bestimmten Referenz-Teilbereich des Umfelds und/oder einen bestimmten Referenz-Teilbereich der von der Kamera erfassten Bilder zu beleuchten (insbesondere auszuleuchten).
-
Die Vorrichtung ist ausgebildet, Beleuchtungsinformation in Bezug auf den Teilbereich (zumindest) eines Bildes der Kamera zu ermitteln, der von dem Leuchtelement beleuchtet wird. Mit anderen Worten, es kann ermittelt werden, welcher Teilbereich des Bildes von dem Leuchtelement tatsächlich beleuchtet, insbesondere ausgeleuchtet, wird (bei den jeweils vorliegenden Sichtverhältnissen). Dabei kann die ermittelte Beleuchtungsinformation insbesondere die Größe und/oder die Fläche und/oder die Form des von dem Leuchtelement beleuchteten Teilbereichs des Bildes anzeigen. Die Größe und/oder die Fläche und/oder die Form des beleuchteten Teilbereichs können insbesondere relativ zu dem nicht-beleuchteten Teilbereich des Bildes angegeben werden, wobei der nicht-beleuchtete Teilbereich der Teilbereich des Bildes ist, der nicht von dem Leuchtelement beleuchtet wird. Ggf. kann das Bild (vollständig) in den beleuchteten Teilbereich und in den nicht-beleuchteten Teilbereich unterteilt werden.
-
Es kann somit auf Basis zumindest eines Bildes (insbesondere mittels eines Bildverarbeitungsalgorithmus) Beleuchtungsinformation ermittelt werden, die anzeigt, wie stark und/oder wie weitreichend das von der Kamera erfasste Umfeld des Fahrzeugs von dem Leuchtelement beleuchtet wird (z.B. im Vergleich zu der Referenzsituati on).
-
Die Vorrichtung kann ferner eingerichtet sein, den Schätzwert der Sichtweite der Kamera auf Basis der Beleuchtungsinformation zu ermitteln. Dabei ist ein relativ kleiner beleuchteter Teilbereich typischerweise ein Indikator für eine relativ kleine Sichtweite. Andererseits ist ein relativ großer beleuchteter Teilbereich typischerweise ein Indikator für eine relativ große Sichtweite. Insbesondere kann die Vorrichtung eingerichtet sein, den Schätzwert der Sichtweite der Kamera derart zu ermitteln, dass der Schätzwert der Sichtweite mit steigender Größe und/oder Fläche des beleuchteten Teilbereichs des Bildes steigt (und/oder mit sinkender Größe und/oder Fläche des beleuchteten Teilbereichs des Bildes sinkt).
-
Die Vorrichtung ermöglicht es, (ggf. allein) auf Basis der Bilddaten einer Kamera einen präzisen Schätzwert der Sichtweite der Kamera zu ermitteln. Der Schätzwert der Sichtweite kann im Rahmen des Betriebs des Fahrzeugs berücksichtigt werden. Insbesondere kann die Vorrichtung eingerichtet sein, eine Fahrzeugfunktion bzw. eine Fahrfunktion des Fahrzeugs, z.B. eine Fahrfunktion zum zumindest teilweise automatisierten Fahren des Fahrzeugs, in Abhängigkeit von dem ermittelten Schätzwert der Sichtweite der Kamera zu betreiben. Dabei kann insbesondere bewirkt werden, dass die Fahrfunktion (z.B. eine Fahrfunktion gemäß SAE-Level 4 oder höher) degradiert (z.B. abgebrochen) wird, wenn erkannt wird, dass der ermittelte Schätzwert der Sichtweite der Kamera kleiner als oder gleich wie ein Sichtweite-Schwellenwert ist. So kann ein besonders sicherer und/oder zuverlässiger Betrieb einer (auf den Bilddaten der Kamera basierenden) Fahrfunktion des Fahrzeugs ermöglicht werden.
-
Die Form des beleuchteten Teilbereichs eines Bildes hängt typischerweise von den Sichtverhältnissen ab. Dabei wird der beleuchtete Teilbereich mit sinkender Sichtweite typischerweise immer stärker auf den Lichtkegel beschränkt, der direkt von dem Leuchtelement abgestrahlt wird. Die Vorrichtung kann eingerichtet sein, einen Wert eines Ähnlichkeitsmaßes der Form des beleuchteten Teilbereichs zu der Form des von dem Leuchtelement emittierten Leuchtkegels zu ermitteln. Der Schätzwert der Sichtweite kann dann in besonders präziser Weise in Abhängigkeit von dem ermittelten Wert des Ähnlichkeitsmaßes bestimmt werden. Dabei ist der Schätzwert der Sichtweite typischerweise kleiner für den Fall, dass der Wert des Ähnlichkeitsmaßes eine relativ hohe Ähnlichkeit der Formen anzeigt, als für den Fall, dass der Wert des Ähnlichkeitsmaßes eine relativ niedrige Ähnlichkeit der Formen anzeigt. Der Schätzwert der Sichtweite steigt somit typischerweise mit sinkender Ähnlichkeit der Formen an (und/oder umgekehrt).
-
Die Beleuchtungsinformation kann derart ermittelt werden, dass die Beleuchtungsinformation anzeigt, ob das von dem Leuchtelement emittierte Licht im Vergleich zu der Referenzsituation stärker oder weniger stark absorbiert, reflektiert und/oder gestreut wird, wobei die Kamera bei der Referenzsituation eine Referenz-Sichtweite aufweist. Alternativ oder ergänzend kann die Beleuchtungsinformation anzeigen, ob der beleuchtete Teilbereich größer oder kleiner als der (beleuchtete) Referenz-Teilbereich bei der Referenzsituation ist.
-
Die Vorrichtung kann eingerichtet sein, den Schätzwert der Leuchtweite in Abhängigkeit von der Referenz-Sichtweite der Kamera zu ermitteln, insbesondere derart, dass der Schätzwert der Leuchtweite kleiner als die Referenz-Sichtweite ist, wenn die Beleuchtungsinformation anzeigt, dass das von dem Leuchtelement emittierte Licht im Vergleich zu der Referenzsituation stärker absorbiert, reflektiert und/oder gestreut wird (und/oder umkehrt). Alternativ oder ergänzend kann der Schätzwert der Leuchtweite derart ermittelt werden, dass der Schätzwert der Leuchtweite kleiner als die Referenz-Sichtweite ist, wenn die Beleuchtungsinformation anzeigt, dass der beleuchtete Teilbereich kleiner als der Referenz-Teilbereich ist (und/oder umkehrt). Durch die Berücksichtigung einer Referenz-Sichtweite bei einer Referenzsituation (z.B. bei klaren Sichtverhältnissen), kann der Schätzwert der Sichtweite mit besonders hoher Genauigkeit ermittelt werden.
-
Die Vorrichtung kann eingerichtet sein, den Schätzwert der Sichtweite der Kamera mittels eines Beleuchtungsmodells des Leuchtelements zu ermitteln. Dabei kann das Beleuchtungsmodell abhängig von der Leuchtweite des Leuchtelements (z.B. der Leuchtweite bei der Referenzsituation) sein. Alternativ oder ergänzend kann das Beleuchtungsmodell abhängig von der Ausrichtung und/oder der Lage des Leuchtelements an dem Fahrzeug sein. Alternativ oder ergänzend kann das Beleuchtungsmodell abhängig von der Intensität und/oder der spektralen Zusammensetzung des von dem Leuchtelement emittierten Lichtes sein. Alternativ oder ergänzend kann das Beleuchtungsmodell abhängig von der Abstrahlcharakteristik des Leuchtelements (insbesondere von der Form des von dem Leuchtelements abgestrahlten Leuchtkegels) abhängig sein. Das Beleuchtungsmodell kann im Vorfeld für das Fahrzeug bestimmt worden sein (z.B. experimentell). Das Beleuchtungsmodell kann insbesondere ein statistisches und/oder ein Maschinen-erlerntes Modell umfassen, etwa ein angelerntes neuronales Netz. Durch die Berücksichtigung eines Beleuchtungsmodells, das den Zusammenhang zwischen der Beleuchtung eines Bildes der Kamera durch das Leuchtelement und der Sichtweite des Bildes beschreibt, kann der Schätzwert der Sichtweite mit erhöhter Genauigkeit ermittelt werden.
-
Die Beleuchtungsinformation kann derart ermittelt werden, dass die Beleuchtungsinformation Werte von ein oder mehreren Eigenschaften des von dem Leuchtelement beleuchteten Teilbereichs des Bildes anzeigen. Beispielhafte Eigenschaften des beleuchteten Teilbereichs sind: die Fläche des beleuchteten Teilbereichs, insbesondere relativ zu der Gesamtfläche des Bildes und/oder relativ zu der Fläche des nicht-beleuchteten Teilbereichs; die Form des beleuchteten Teilbereichs; den Verlauf einer Trennlinie zwischen dem beleuchteten Teilbereich und dem nicht-beleuchteten Teilbereich des Bildes; die Höhe des beleuchteten Teilbereichs, insbesondere relativ zu der Gesamthöhe des Bildes; und/oder die Breite des beleuchteten Teilbereichs, insbesondere relativ zu der Gesamtbreite des Bildes.
-
Das Beleuchtungsmodell kann dann ausgebildet sein, für unterschiedliche Kombinationen von Werten der ein oder mehreren Eigenschaften des beleuchteten Teilbereichs jeweils einen Schätzwert der Sichtweite der Kamera bereitzustellen. Insbesondere kann das Beleuchtungsmodell ausgebildet sein, die Werte der ein oder mehreren Eigenschaften des beleuchteten Teilbereichs als Eingangsgrößen entgegenzunehmen und als Ausgangsgröße des Beleuchtungsmodells den Schätzwert der Sichtweite bereitzustellen. So kann der Schätzwert der Sichtweite mit besonders hoher Genauigkeit ermittelt werden.
-
Die Vorrichtung kann eingerichtet sein, Lageinformation in Bezug auf die Lage des Fahrzeugs relativ zu der von dem Fahrzeug befahrenen Fahrbahn zu ermitteln. Beispielsweise kann die Lageinformation anzeigen, ob die vorausliegende Fahrbahn ansteigt oder abfällt. Der Schätzwert der Sichtweite der Kamera kann dann auch auf Basis der Lageinformation ermittelt werden. Insbesondere kann die Lageinformation als zusätzliche Eingangsgröße des Beleuchtungsmodells berücksichtigt werden. So kann die Genauigkeit des ermittelten Schätzwertes der Sichtweite weiter erhöht werden.
-
Gemäß einem weiteren Aspekt wird ein (Straßen-)Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.
-
Gemäß einem weiteren Aspekt wird ein Verfahren zur Ermittlung der Sichtweite einer Kamera eines Fahrzeugs beschrieben, die eingerichtet ist, Bilder in Bezug auf ein Umfeld des Fahrzeugs zu erfassen. Das Fahrzeug umfasst ein Leuchtelement, das ausgebildet ist, zumindest einen Teil (oder die Gesamtheit) des von der Kamera erfassten Umfelds anzustrahlen. Insbesondere können der durch das Leuchtelement angestrahlte Bereich und der Erfassungsbereich der Kamera eine bestimmte Überlappung aufweisen, z.B. von 50% oder mehr, oder von 80% oder mehr oder von 90% oder mehr des durch das Leuchtelement angestrahlten Bereichs.
-
Das Verfahren umfasst das Ermitteln von Beleuchtungsinformation in Bezug auf den (gesamten) Teilbereich eines Bildes der Kamera, der von dem Leuchtelement beleuchtet wird. Des Weiteren umfasst das Verfahren das Ermitteln eines Schätzwertes der Sichtweite der Kamera auf Basis der Beleuchtungsinformation.
-
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
-
Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
-
Die in diesem Dokument beschriebenen Maßnahme können insbesondere für eine Fahrfunktion gemäß SAE-Level 4 oder höher verwendet werden, insbesondere um eine zuverlässige Degradation der Fahrfunktion zu ermöglichen (z.B. eine Übergabe der Fahraufgabe an den Fahrer des Fahrzeugs).
-
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
- 1 ein beispielhaftes Fahrzeug mit einem aktivierten Front-Scheinwerfer;
- 2a und 2b unterschiedlich beleuchtete Bilder einer Kamera bei unterschiedlichen Witterungsbedingungen bzw. unterschiedlichen Beleuchtungssituationen;
- 3a und 3b unterschiedliche beleuchtete Teilbereiche auf einem Kamera-Bild; und
- 4 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Ermittlung der Sichtweite einer Kamera.
-
Wie eingangs dargelegt, befasst sich das vorliegende Dokument damit, die Sichtweite einer Kamera (ggf. allein) auf Basis eines von der Kamera erfassten Bildes zu ermitteln. In diesem Zusammenhang zeigt 1 ein beispielhaftes Fahrzeug 100 mit einer Kamera 103, die eingerichtet ist, Bilddaten, insbesondere eine Sequenz von Bildern, in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. In dem dargestellten Beispiel ist die Kamera 103 eingerichtet, Bilder in Bezug auf das Umfeld in Fahrtrichtung vor dem Fahrzeug 100 zu erfassen.
-
Eine Auswerte- und/oder Steuereinheit 101 des Fahrzeugs 100 kann eingerichtet sein, die Bilddaten der Kamera 103 auszuwerten, z.B. um ein oder mehrere Objekte in dem von der Kamera 103 erfassten Umfeld zu detektieren. Die Auswerte- und/oder Steuereinheit 101 kann ferner eingerichtet sein, ein oder mehrere Aktoren 102 des Fahrzeugs 100 (z.B. einen Antriebsmotor, eine Lenkvorrichtung, eine Bremsvorrichtung, etc.) in Abhängigkeit von den Bilddaten der Kamera 103, insbesondere in Abhängigkeit von den ein oder mehreren detektierten Objekten, zu betreiben, um eine Fahrfunktion (z.B. eine Fahrerassistenzfunktion, etwa einen Spurhalteassistenten, und/oder eine Fahrfunktion zum automatisierten Fahren) bereitzustellen.
-
Zur Bereitstellung einer Fahrfunktion ist es typischerweise vorteilhaft, wenn die Sichtweite der Kamera 103 bekannt ist. Insbesondere kann es vorteilhaft sein, die maximale Entfernung zu kennen, mit denen Objekte auf Basis der Bilddaten der Kamera 103 detektiert werden können. Wenn beispielsweise bekannt ist, dass die Kamera 103 eine Sichtweite von x Metern aufweist und somit Objekte (wie z.B. Fahrspurmarkierungen) in einer Entfernung von x Metern noch auf Basis der Bilddaten erkennbar sein sollten, so kann aus der Tatsache, dass in den Bilddaten kein Objekt zu erkennen ist, zuverlässig geschlossen werden, dass sich innerhalb der nächsten x Meter kein solches Objekt auf der vorausliegenden Fahrbahn 105 des Fahrzeugs 100 befindet. Wenn andererseits die Sichtweite der Kamera 103 nicht bekannt ist, so kann die o.g. Schlussfolgerung typischerweise nicht gemacht werden.
-
Das in 1 dargestellte Fahrzeug 100 weist ein oder mehrere Leuchtelemente 110 (insbesondere Scheinwerfer) auf, mit denen das von der Kamera 103 erfasste Umfeld zumindest teilweise oder vollständig angestrahlt wird. Die ein oder mehreren Leuchtelemente 110 können ausgebildet sein, einen Leuchtkegel 111 zu generieren, der eine bestimmte Leuchtweite 113 und/oder eine bestimmte Leuchtrichtung bzw. Orientierung bzw. Ausrichtung 112 aufweist. Die ein oder mehrere Leuchtelemente 110 können somit ausgebildet sein, das von der Kamera 103 erfasste Umfeld mit einer bestimmten Leuchtcharakteristik anzustrahlen, wobei die Leuchtcharakteristik der ein oder mehreren Leuchtelemente 110 typischerweise bekannt ist. Die Kenntnis in Bezug darauf, wie das von der Kamera 103 erfasste Umfeld angestrahlt wird, insbesondere die Kenntnis in Bezug auf die Leuchtweite 113, kann dazu genutzt werden, die Sichtweite der Kamera 103 zu ermitteln.
-
Die 2a und 2b zeigen beispielhafte Bilder 200 der Kamera 103 mit unterschiedlichen Beleuchtungssituationen. Insbesondere zeigt 2a eine typische Beleuchtungssituation bei relativ weiter Sichtweite (z.B. bei einer klaren Nacht). 2b zeigt eine typische Beleuchtungssituation bei relativ niedriger Sichtweite (z.B. bei Nebel). In den 2a und 2b ist nur die Beleuchtungssituation ohne erkennbare Objekte dargestellt.
-
Die Beleuchtung des Gesamtbereichs des Bildes 200 hängt von den Witterungsbedingungen und damit von der Sichtweite ab. Bei relativ hoher Sichtweite weist das Bild 200 einen relativ großen beleuchteten Teilbereich 201 auf, der sich typischerweise über die gesamte Breite des Bildes 200 erstreckt. Beispielsweise kann bei einer relativ hohen Sichtweite das Bild 200 durch eine horizontale Trennlinie in einen nicht-beleuchteten (oberen) Teilbereich 202 und einen beleuchteten (unteren) Teilbereich 201 unterteilt sein (wie in 2a dargestellt).
-
Andererseits führt eine relativ niedrige Sichtweite typischerweise zu einer Reduzierung des beleuchteten Teilbereichs 201 und zu einer entsprechenden Vergrößerung des nicht-beleuchteten Teilbereichs 202 (wie in 2b dargestellt). Dabei wandelt sich die Trennlinie zwischen dem beleuchteten Teilbereich 201 und dem nicht-beleuchteten Teilbereich 202 typischerweise mit sinkender Sichtweite zunehmend von einer horizontalen, geraden Trennlinie zu einer ovalen Trennlinie (entsprechend zu der Abstrahlcharakteristik der ein oder mehreren Leuchtelement 110 des Fahrzeugs 100).
-
Die Aufteilung eines Bildes 200 in einen beleuchteten Teilbereich 201 und in einen nicht-beleuchteten Teilbereich 202 kann mittels eines Bildverarbeitungsalgorithmus erfolgen. Dabei kann der beleuchtete Teilbereich 201 (zumindest mehrheitlich) die Bildpunkte umfassen, die eine Helligkeit aufweisen, die höher als ein Helligkeits-Schwellenwert ist. Der nicht-beleuchtete Teilbereich 202 kann in komplementärer Weise (zumindest mehrheitlich) die Bildpunkte umfassen, die eine Helligkeit aufweisen, die kleiner als oder gleich wie der Helligkeits-Schwellenwert ist.
-
3a und 3b zeigen beispielhafte Objekte 304, 305 (z.B. Fahrbahnmarkierungen 304 und/oder Begrenzungspfosten 305) in einem von der Kamera 103 erfassten Bild 200. Diese Objekte 304, 305 sind typischerweise nur innerhalb des beleuchteten Teilbereichs 201 und nicht innerhalb des nicht-beleuchteten Teilbereichs 202 sichtbar. Dies wird jeweils durch eine Trennlinie 303 zwischen dem beleuchteten Teilbereich 201 und dem nicht-beleuchteten Teilbereich 202 in 3a für die Beleuchtungssituation aus 2a und in 3b für die Beleuchtungssituation aus 2b dargestellt.
-
Die Auswerte- und/oder Steuereinheit 101 (in diesem Dokument auch als Vorrichtung bezeichnet) kann eingerichtet sein, ein von der Kamera 103 erfasstes Bild 200 zu analysieren, um basierend auf dem Bild 200 Sichtweiteinformation in Bezug auf die Sichtweite der Kamera 103 zu ermitteln. Insbesondere kann das Bild 200 in einen nicht-beleuchteten Teilbereich 202, der nicht durch die ein oder mehreren Leuchtelemente 110 des Fahrzeug 100 beleuchtet wird, und in einen beleuchteten Teilbereich 201, der durch die in oder mehreren Leuchtelemente 110 beleuchtet wird, unterteilt werden. Dabei können z.B. die Breite 314 des beleuchteten Teilbereichs 201 (relativ zu der Breite 313 des Bildes 200) und/oder die Höhe 312 des beleuchteten Teilbereichs 201 (relativ zu der Höhe 211 des Bildes 200) ermittelt werden.
-
Die ein oder mehrere Eigenschaften des beleuchteten Teilbereichs 201, insbesondere die Breite 214, die Höhe 211 und/oder die Form der Trennlinie 303, können als Indikator für die Sichtweite der Kamera 103 betrachtet werden. Dabei kann insbesondere angenommen werden, dass
- • mit steigender Breite 314 des beleuchteten Teilbereichs 201 (ggf. relativ zu der Breite 313 des Bildes 200) die Sichtweite der Kamera 103 ansteigt; und/oder
- • mit steigender Höhe 312 des beleuchteten Teilbereichs 201 (ggf. relativ zu der Hohe 311 des Bildes 200) die Sichtweite der Kamera 103 ansteigt; und/oder
- • mit steigender Fläche des beleuchteten Teilbereichs 201 (ggf. relativ zu der Fläche des nicht-beleuchteten Teilbereichs 202) die Sichtweite der Kamera 103 ansteigt.
-
Die Auswerte- und/oder Steuereinheit 101 des Fahrzeugs 100 kann somit eingerichtet sein (z.B. durch Verwendung eines Bildanalysealgorithmus), ein von der Kamera 103 erfasstes Bild 200 in einen beleuchteten Teilbereich 201 und in einen nicht-beleuchteten Teilbereich 202 zu unterteilen (die z.B. durch eine Trennlinie 303 voneinander abgegrenzt sind). Des Weiteren können Werte für ein oder mehrere Eigenschaften, z.B. die Höhe 312, die Breite 314, die Form, und/oder die Fläche, des beleuchteten Teilbereichs 201 ermittelt werden. Auf Basis der Werte der ein oder mehreren Eigenschaften des beleuchteten Teilbereichs 201 kann dann die Sichtweite der Kamera 103 ermittelt werden.
-
Die Auswerte- und/oder Steuereinheit 101 kann z.B. auf ein (statistisches) Beleuchtungsmodell zurückgreifen, das ausgebildet ist, einer Kombination von Werten der ein oder mehreren Eigenschaften des beleuchteten Teilbereichs 201 einen Wert der Sichtweite der Kamera 103 zuzuordnen. Das Modell kann z.B. ein Maschinen-erlerntes Modell (z.B. ein neuronales Netz) und/oder ein Kennfeld umfassen. Das Modell ist dabei typischerweise von der Beleuchtungscharakteristik der ein oder mehreren Leuchtelemente 110 abhängig. Durch die Verwendung eines im Vorfeld ermittelten (statistischen) Modells kann (ggf. allein) auf Basis eines Bildes 200 einer Kamera 103 die Sichtweite der Kamera 103 in besonders präziser Weise ermittelt werden.
-
Wie eingangs dargelegt, ist bei nicht optimalen Umweltbedingungen typischerweise die Güte einer kamerabasierten Erkennungsfunktion (z.B. Objekterkennung, Schildererkennung, etc.) eingeschränkt. Die Einschränkung in Hinblick auf die Erkennnungsreichweite von Objekten 304, 305 kann dabei typischerweise nicht ohne Weiteres auf Basis der von einer Kamera 103 erfassten Bilder 200 ermittelt werden, da die erwartete Erkennungsdistanz von (insbesondere bewegten) Objekten oder von (insbesondere nichtkartieren) Schildern (d.h. die sogenannte „Ground Truth“) meist nicht bekannt ist.
-
In diesem Dokument wird ein Verfahren zur Ermittlung der Sichtweite einer Kamera 103 beschrieben, das die (bekannte oder geschätzte) Leuchtweite 113 von ein oder mehreren Scheinwerfern 110 des Fahrzeugs 100 als Referenz nutzt, um die Sichtweite der Kamera 103 zu ermitteln.
-
Auf Basis der via Bilderkennung ermittelten Leuchtweite der ein oder mehreren Scheinwerfer 110 eines Fahrzeugs 100 kann unter Berücksichtigung der Straßenlage der Fahrbahn 105 und/oder unter Berücksichtigung der Ausrichtung der ein oder mehreren Scheinwerfer 110 eine Differenz zwischen der erwarteten Leuchtweite und der detektierten Leuchtweite der ein oder mehreren Scheinwerfer 110 bestimmt werden. Die erwartete Leuchtweite kann dabei z.B. dem in den 2a und 3a dargestellten beleuchteten (Referenz-) Teilbereich 201 entsprechen, und die detektierte Leuchtweite kann dem in den 2b und 3b dargestellten beleuchteten Teilbereich 201 entsprechen.
-
Wenn die auf Basis der Bilderkennung detektierte Leuchtweite signifikant unter der erwarteten Leuchtweite liegt, so kann daraus geschlossen werden, dass die Kamerasichtweite wesentlich eingeschränkt ist, weil das Licht der ein oder mehreren Scheinwerfer 110 durch die vorliegenden Umweltbedingungen relativ nah am Fahrzeug 100 absorbiert, reflektiert und/oder gestreut wird. Des Weiteren kann die Einschränkung der Kamerasichtweite parametrisch als Distanzwert (z.B. in Metern) bestimmt werden. Ferner kann, ggf. in Kombination mit der bekannten Umweltbedingung, eine auf den Bilddaten der Kamera 103 basierende Fahrfunktion (in Abhängigkeit von der ermittelten Sichtweite) degradiert werden.
-
Das beschriebene Verfahren nutzt einen Scheinwerfer 110 des Fahrzeugs 100 als aktiven Sender mit bekannter Lage und Leuchtweite 113. So kann die Sichtweite der Kamera 103 in präziser Weise ermittelt werden.
-
Die durch die Scheinwerferleuchtweite bestimmte Kamerasichtweite kann z.B. dazu genutzt werden, ab einem definierten Sichtweiten-Schwellwert eine Fahrfunktion zum automatisierten Fahren des Fahrzeugs 100 mit Ausgabe einer Übernahmeaufforderung an den Fahrer des Fahrzeugs 100 zu deaktivieren.
-
4 zeigt ein Ablaufdiagramm eines beispielhaften (Computer-implementierten) Verfahrens 400 zur Ermittlung der Sichtweite einer Kamera 103 eines Fahrzeugs 100. Die Kamera 103 kann eingerichtet sein, Bilder 200 (insbesondere eine zeitliche Sequenz von Bildern 200) in Bezug auf ein Umfeld des Fahrzeugs 100 zu erfassen. Das Umfeld kann z.B. in Fahrtrichtung vor der Front des Fahrzeugs 100 liegen.
-
Die Sichtweite kann die maximale Distanz eines Objektes 305 zu dem Fahrzeug 100 anzeigen bzw. sein, in der das Objekt 305 noch innerhalb eines Bildes 200 der Kamera 103 detektiert werden kann. Mit anderen Worten, die Sichtweite der Kamera 103 kann anzeigen, wie weit das Fahrzeug 100 auf Basis der Bilder 200 der Kamera 103 „sehen“ kann.
-
Das Fahrzeug 100 umfasst (zumindest) ein Leuchtelement 110 (insbesondere einen Scheinwerfer), das ausgebildet ist, zumindest einen Teil des von der Kamera 103 erfassten Umfelds anzustrahlen. Das Leuchtelement 110 kann dabei bei einer bestimmten Referenzsituation (z.B. bei Referenz-Witterungsbedingungen), bei der die Kamera 103 eine bestimmte Referenz-Sichtweite aufweist, eine bestimmte Leuchtweite aufweisen (durch die z.B. ein bestimmter Referenz-Teilbereich 201 eines Bildes 200 der Kamera 103 beleuchtet wird).
-
Das Verfahren 400 umfasst das Ermitteln 401 von Beleuchtungsinformation in Bezug auf einen Teilbereich 201 (zumindest) eines Bildes 200 der Kamera 103, der von dem Leuchtelement 110 beleuchtet wird. Insbesondere kann Beleuchtungsinformation ermittelt werden, die die Größe, die Fläche und/oder die Form des beleuchteten Teilbereichs 201 eines Bildes 200 anzeigt. Mit anderen Worten, es kann als Beleuchtungsinformation ermittelt werden, die groß der Teilbereich 201 ist und/oder welche Form der Teilbereich 201 aufweist, der durch das Leuchtelement 110 beleuchtet (und somit gegenüber dem Rest des Bildes 200 erhellt) wird. Dabei kann z.B. ermittelt werden, ob der beleuchtete Teilbereich 201 größer oder kleiner als der Referenz-Teilbereich bei der Referenzsituation ist.
-
Des Weiteren umfasst das Verfahren 400 das Ermitteln 402 eines Schätzwertes der Sichtweite der Kamera 103 auf Basis der Beleuchtungsinformation, insbesondere auf Basis der Größe, der Fläche und/oder der Form des beleuchteten Teilbereichs 201 des Bildes 200 der Kamera 103. Dabei kann der ermittelte Schätzwert größer als die Referenz-Sichtweite sein, wenn der beleuchtete Teilbereich 201 größer als der Referenz-Teilbereich ist. Andererseits kann der ermittelte Schätzwert ggf. kleiner als die Referenz-Sichtweite sein, wenn der beleuchtete Teilbereich 201 kleiner als der Referenz-Teilbereich ist. Somit kann in effizienter und präziser Weise (ggf. allein) auf Basis der Bilder 200 der Kamera 103 die Sichtweite der Kamera 103 ermittelt werden.
-
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.
