DE102014208272A1

DE102014208272A1 - Verfahren und Vorrichtung zur Tracking-basierten Sichtweitenschätzung

Info

Publication number: DE102014208272A1
Application number: DE102014208272.2A
Authority: DE
Inventors: Stefan Weber; Stephan Lenor; Ulrich Stopper; Johannes MARTINI
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2014-05-02
Filing date: 2014-05-02
Publication date: 2015-11-05
Also published as: CN105021573A; US20150317524A1; US9727792B2

Abstract

Die Erfindung betrifft ein Verfahren zur Tracking-basierten Sichtweitenschätzung für ein Fahrzeug (102), wobei das Verfahren einen Schritt des Verfolgens (220) eines Objekts (434) in einem zu einem ersten Zeitpunkt erfassten ersten Bild und einem zu einem zweiten Zeitpunkt erfassten zweiten Bild, einen Schritt des Ermittelns (222) einer ersten Objektleuchtdichte (L₁) des Objekts (434) und eines ersten Abstands (d₁) zu dem Objekt (434) zu dem ersten Zeitpunkt sowie Ermitteln einer zweiten Objektleuchtdichte (L₂) des Objekts (434) und eines zweiten Abstands (d₂) zu dem Objekt (434) zu dem zweiten Zeitpunkt sowie einen Schritt des Bestimmens (224) eines atmosphärischen Extinktionskoeffizienten (K) unter Verwendung der ersten Objektleuchtdichte (L₁), der zweiten Objektleuchtdichte (L₂), dem ersten Abstand (d₁) und dem zweiten Abstand (d₂) umfasst, wobei der atmosphärische Extinktionskoeffizient (K) im direkten Zusammenhang zur Sichtweite (d_met) steht.

Description

Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Tracking-basierten Sichtweitenschätzung, beispielsweise für ein Fahrzeug, auf eine entsprechende Vorrichtung zur Tracking-basierten Sichtweitenschätzung sowie auf ein entsprechendes Computerprogramm.
Durch eine rapide Weiterentwicklung von Sensoren und Systemen wird eine zunehmend präzise Erfassung der Fahrzeugumgebung möglich. Verschiedene Fahrerassistenzsysteme können so den menschlichen Fahrer bei seiner Fahr-Aufgabe unterstützen und/oder Teile von Aufgaben vollständig übernehmen. Verschiedene aktive und passive Sensoren arbeiten dabei unter Zuhilfenahme verschiedener elektromagnetischer Spektralbereiche. Je nach Spektralbereich können dabei durch atmosphärische Erscheinungen (Regen, Nebel, ...) mehr oder weniger starke Dämpfungs- und Streueffekte auftreten. Für Kameras (Spektralbereich ungefähr im Bereich des sichtbaren Lichts) kann vor allem Nebel auf diese Weise zu Sichteinschränkungen führen.
Die Patentschrift EP 1303768 B1 offenbart ein Verfahren zur Sichtweitenbestimmung. Zur Bestimmung der Sichtweite insbesondere eines Fahrers in einem Kraftfahrzeug wird ein Kontrast von wenigstens zwei unterschiedlich weit von dem Objekt entfernten Messpositionen eines Messgeräts aus gemessen, und das Verhältnis der gemessenen Kontrastwerte wird anhand der Differenz der Entfernungen der Messpositionen vom Objekt in eine Sichtweite umgerechnet.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zur Tracking-basierten Sichtweitenschätzung für ein Fahrzeug, weiterhin eine Vorrichtung zur Tracking-basierten Sichtweitenschätzung für ein Fahrzeug, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Eine Kenntnis der aktuellen Sichtweite ist für einige Systeme in einem Fahrzeug von Vorteil. Aus einer Objektleuchtdichte eines Objekts in einer Mehrzahl von unterschiedlich weit von einem Bildaufnehmer entfernten Messpositionen kann eine Kenngröße ermittelt werden, die eine Korrelation mit der Sichtweite aufweist. Dabei kann die Objektleuchtdichte aus Bildern eines Bilderfassungssystems oder einer Bilderfassungsvorrichtung gewonnen werden. In Varianten des vorgestellten Verfahrens können die Anzahl der untersuchten Objekte, die Anzahl der ausgewerteten Bilder oder zugrunde liegende mathematische Modelle variiert oder kombiniert werden, um das Verfahren robuster zu gestalten.
Es wird ein Verfahren zur Tracking-basierten Sichtweitenschätzung vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:
Verfolgen eines in einem zu einem ersten Zeitpunkt erfassten ersten Bild und in zumindest einem zu einem zweiten Zeitpunkt erfassten zweiten Bild abgebildeten Objekts;
Ermitteln einer ersten Objektleuchtdichte des Objekts und eines ersten Abstands zu dem Objekt zu dem ersten Zeitpunkt sowie Ermitteln einer zweiten Objektleuchtdichte des Objekts und eines zweiten Abstands zu dem Objekt zu dem zweiten Zeitpunkt; und
Bestimmen eines atmosphärischen Extinktionskoeffizienten unter Verwendung der ersten Objektleuchtdichte, der zweiten Objektleuchtdichte, dem ersten Abstand und dem zweiten Abstand, wobei der atmosphärische Extinktionskoeffizient im direkten Zusammenhang zur Sichtweite steht.
Bei der Sichtweite kann es sich um die in einer Umgebung einer Bilderfassungseinrichtung vorherrschende Sichtweite handeln. Das Objekt kann sich in der Umgebung befinden. Unter einem Bild kann ein mit der Bilderfassungseinrichtung gewonnenes Abbild der Umgebung verstanden werden. Das Objekt kann dabei in einem Bereich des Bildes abgebildet sein. Das Bild kann unterschiedliche Intensitätsdaten aufweisen. Unter der Objektleuchtdichte können Intensitätsdaten des Objekts verstanden werden. Die Objektleuchtdichte kann abhängig von einem Objektlicht und einem eingestreuten Umgebungslicht sein. Unter dem Verfolgen des Objekts kann ein Erkennen und Markieren oder Extrahieren ein und desselben Objektabbilds des Objekts in mehreren Kamera-Bildern verstanden werden. Unter einem Kamera-Bild kann ein Bild einer Bilderfassungseinrichtung verstanden werden. Das erste Bild kann von einer ersten Bilderfassungseinrichtung und das zweite Bild kann von einer zweiten Bilderfassungseinrichtung erfasst werden. Der erste Zeitpunkt kann unterschiedlich von dem zweiten Zeitpunkt sein. Insbesondere wenn der erste Zeitpunkt dem zweiten Zeitpunkt entspricht, so kann der erste Abstand zu dem Objekt verschieden zu dem zweiten Abstand zu dem Objekt sein.
Das Verfahren zur Tracking-basierten Sichtweitenschätzung kann für oder in einem Fahrzeug eingesetzt werden. Das Verfahren zur Tracking-basierten Sichtweitenschätzung kann unabhängig von einem Fahrzeug in einer mobilen Kamera, die sich beispielsweise in einer Umgebung bewegt, genutzt werden. So kann das Verfahren beispielsweise unter Verwendung von einem Smartphone von einem Fußgänger genutzt werden. Auch kann das Verfahren mit einer Mehrzahl von Kameras oder Bilderfassungseinrichtungen genutzt werden, die ausgebildet sind, ein Objekt aus verschiedenen Distanzen aufzunehmen. Insbesondere kann das Objekt zu möglichst nahe beieinanderliegenden Zeitpunkten erfasst werden. Alternativ kann das Verfahren zur Tracking-basierten Sichtweitenschätzung mit einer stationären Bilderfassungseinrichtung mit sich vorbeibewegenden Objekten genutzt werden.
Zur Beschreibung der Nebeldichte kann der Extinktionskoeffizient K = K_a + K_s [1/m] herangezogen werden, welcher sich aus dem Streukoeffizienten K_s [1/m] und dem Absorptionskoeffizienten K_a [1/m] zusammensetzt. Der Extinktionskoeffizient kann beispielsweise über die Definition meteorologischer Sichtweite d_met [m] direkt mit dem menschlichen Wahrnehmungsvermögen in Verbindung gebracht werden:
Die meteorologische Sichtweite ergibt sich als die Distanz, bei der ein Objekt noch mit 5% seines ursprünglichen Kontrasts wahrnehmbar ist.
Es kann aus verschiedenen Gründen interessant sein, den Extinktionskoeffizienten K schätzen zu können. So können Fahrer gewarnt werden, wenn sie mit einer der Sichtweite unangepassten Geschwindigkeit unterwegs sind. Die Geschwindigkeit kann sogar entsprechend der Sichtweite automatisch angepasst werden. Außerdem ist die Nebeldichte eine interessante Größe für Sensoren und Systeme, welche im durch Nebel stark gedämpften Spektralbereich arbeiten (beispielsweise Kamera, Lidar). Diese Sensoren können wie auch ein Mensch oberhalb ihrer meteorologischen Reichweite keine zuverlässigen Aussagen mehr treffen. So bedeutet beispielsweise bei 50 m Sichtweite nicht, dass wenn in 75 Metern voraus kein Objekt detektiert wird, dass sich dort kein Objekt befindet. Verschiedene algorithmische Parameter können den Sichtbedingungen angepasst werden. Eine weitere Anwendung kann die Steuerung von Nebelscheinwerfern sein, die bei Nebel für höheren Komfort eingeschaltet werden können, oder die Steuerung der Nebelschlussleuchten, die Sichtweite unterhalb 50 m eingeschaltet werden müssen oder sollten, aufgrund gesetzlicher Bestimmungen wie der StVo (Straßenverkehrsordnung) oder zur Erhöhung der Sicherheit.
Hier wird ein System vorgestellt, welches den Extinktionskoeffizienten K, insbesondere bei Tageslicht, besonders schnell beziehungsweise echtzeit-fähig aus Intensitätsdaten und Distanzdaten einer Kamera schätzen kann.
Im Schritt des Bestimmens kann der Extinktionskoeffizient K unter Verwendung einer eindimensionalen Gleichung bestimmt werden. Der Extinktionskoeffizient K kann unter Verwendung eines Modells für Lichttransport durch atmosphärische Aerosole bestimmt werden. Vorteilhaft können eine eindimensionale Gleichung und ergänzend oder alternativ ein Modell horizontaler Sicht ein schnelles Bestimmen des Extinktionskoeffizienten K ermöglichen. Das Modell horizontaler Sicht kann als eine eindimensionale Gleichung formuliert sein.
Im Schritt des Bestimmens kann der Extinktionskoeffizient K unter Verwendung eines Schätzverfahrens aus der eindimensionalen Gleichung bestimmt werden. So kann der Extinktionskoeffizient K näherungsweise und sehr schnell bestimmt werden. Das Schätzverfahren kann iterativ ausgeführt werden und bei jeder Iteration den bestimmten Extinktionskoeffizienten K dem kritischen Extinktionskoeffizient K eines Zielfunktionals annähern. Vorteilhaft können zumindest drei Iterationen ausgeführt werden. Vorteilhaft sind weniger als fünf Iterationen ausreichend, um den bestimmten Extinktionskoeffizient K in einem günstigen Toleranzbereich dem kritischen Extinktionskoeffizienten K des Zielfunktionals anzunähern. Der kritische Extinktionskoeffizient K kann verschieden zu einem „wahren” Extinktionskoeffizienten K der Umgebung sein, wobei der kritische Extinktionskoeffizient K allerdings als ein Minimum des Zielfunktionals eine bestmögliche Schätzung darstellen kann.
Der Extinktionskoeffizient K kann im Schritt des Bestimmens unter Verwendung eines iterativen Newtonverfahrens bestimmt werden. Vorteilhaft wird eine triviale Methode zum Bestimmen des Extinktionskoeffizienten K genutzt. So kann eine echtzeit-fähige Bestimmung des Extinktionskoeffizienten K erfolgen.
In einem Schritt des Erfassens können das erste Bild zu dem ersten Zeitpunkt und das zweite Bild zu dem auf den ersten Zeitpunkt folgenden zweiten Zeitpunkt erfasst werden. Die Bilder können unter Verwendung einer Bilderfassungseinrichtung erfasst werden. Die Bilder können einen Gegenstand aus dem Umfeld der Bilderfassungseinrichtung als Objekt darstellen, wobei der Abstand eine Distanz zwischen der Bilderfassungseinrichtung und dem Gegenstand repräsentiert. Der Gegenstand kann sich zu dem ersten Zeitpunkt an einer ersten Messposition zum Fahrzeug befinden. Der Gegenstand kann sich zu dem zweiten Zeitpunkt an einer zweiten Messposition zu dem Fahrzeug befinden. Die zweite Messposition kann einen geringeren Abstand zu dem Fahrzeug oder der Bilderfassungseinrichtung aufweisen als die erste Messposition zu dem ersten Zeitpunkt.
In dem Schritt des Erfassens können das erste Bild zu dem ersten Zeitpunkt und das zweite Bild zu dem zweiten Zeitpunkt erfasst werden, wobei im Schritt des Erfassens die Bilder unter Verwendung mehrerer Bilderfassungseinrichtungen erfasst werden können. Dabei kann der Abstand eine Distanz zwischen der jeweiligen Bilderfassungseinrichtung und dem Gegenstand repräsentieren.
Im Schritt des Verfolgens kann zumindest ein weiteres Objekt verfolgt werden. Dabei kann im Schritt des Ermittelns eine weitere erste Objektleuchtdichte des weiteren Objekts und ein weiterer erster Abstand zu dem zumindest einen weiteren Objekt zu dem ersten Zeitpunkt sowie eine weitere zweite Objektleuchtdichte des weiteren Objekts und ein weiterer zweiter Abstand zu dem zumindest einen weiteren Objekt zu dem zweiten Zeitpunkt bestimmt werden. Im Schritt des Bestimmens kann der atmosphärische Extinktionskoeffizient K unter Verwendung der weiteren ersten Objektleuchtdichte, der weiteren zweiten Objektleuchtdichte, dem weiteren ersten Abstand und dem weiteren zweiten Abstand bestimmt werden. Dadurch kann das Verfahren robuster werden. Das Verfahren kann vorteilhaft auf eine Mehrzahl von Objekten ausgeweitet werden.
Das Objekt kann im Schritt des Verfolgens zumindest in einem zu einem dritten Zeitpunkt erfassten dritten Bild verfolgt werden. Im Schritt des Ermittelns können eine dritte Objektleuchtdichte des Objekts und ein dritter Abstand zu dem Objekt zu dem dritten Zeitpunkt ermittelt werden. Im Schritt des Bestimmens kann der atmosphärische Extinktionskoeffizient K unter Verwendung der dritten Objektleuchtdichte und dem dritten Abstand bestimmt wird.
Insbesondere kann das Objekt in einer Vielzahl von aufeinanderfolgenden Bildern verfolgt werden. Darauf können im Schritt des Ermittelns eine Vielzahl von Objektleuchtdichten des Objekts und eine Vielzahl von jeweils zugeordneten Abständen zu dem Objekt zu einer Vielzahl von entsprechenden Zeitpunkten ermittel werden. Das heißt, je Bild der Vielzahl von Bildern kann je Objekt eine Objektleuchtdichte und ein zugeordneter Abstand ermittelt werden und als Wertepaar dem Schritt des Bestimmens bereitgestellt werden. Jedem Wertepaar ist auch ein Zeitpunkt zuordenbar, an dem das Bild erfasst wurde. Unter einer Vielzahl kann beispielsweise eine Anzahl zwischen 10 und 100 verstanden werden. Vorteilhaft kann es sein, zumindest 50 aufeinanderfolgende Bilder zu nutzen, darin zumindest ein Objekt zu verfolgen und zu analysieren mit den Schritten des Ermittelns und Bestimmens. Die den Wertepaaren zuordenbaren Zeitpunkte können über einen beschränkten, nicht zu großen Zeitraum, verteilt sein. Der Zeitraum kann wenige Sekunden oder weniger als eine Sekunde umfassen. So kann der Zeitraum beispielsweise 0,5 Sekunden, 1 Sekunde, 2 Sekunden oder 5 Sekunden betragen. Gleichzeitig kann das Objekt durch mehrere Kameras oder Bilderfassungseinrichtungen zum gleichen Zeitpunkt aus verschiedenen Distanzen beobachtet werden. Das Tracking kann aus dem zueinander registrieren oder dem Auffinden korrespondierender Objektpunkte bestehen oder dies umfassen. So kann ein robustes Verfahren mit einem robusten Ergebnis geschaffen werden.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern beziehungsweise umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Der hier vorgestellte Ansatz wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
1 ein Blockschaltbild einer Vorrichtung zur Tracking-basierten Sichtweitenschätzung für ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 ein Ablaufdiagramm eines Verfahrens zur Tracking-basierten Sichtweitenschätzung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
3 eine schematische Darstellung einer meteorologischen Sichtweite gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
4 eine schematische Darstellung eines Zusammenhangs von Objektlicht und eingestreutem Umgebungslicht gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
5 eine Darstellung gemessener Leuchtdichten aufgetragen über einen Abstand gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
6 eine schematische Darstellung eines Objekts auf verschiedenen Entfernungen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
7 ein Blockschaltbild eines Signalverlaufs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt ein Blockschaltbild einer Vorrichtung 100 zur Tracking-basierten Sichtweitenschätzung für ein Fahrzeug 102 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung 100 umfasst eine Verfolgungseinrichtung 104 zum Verfolgen eines Abbilds eines Objekts in einem zu einem ersten Zeitpunkt erfassten ersten Bild 106 und einem zu einem zweiten Zeitpunkt erfassten zweiten Bild 108, eine Ermittlungseinrichtung 110 zum Ermitteln einer ersten Objektleuchtdichte L₁ des Objekts und eines ersten Abstands d₁ zu dem Objekt zu dem ersten Zeitpunkt sowie Ermitteln einer zweiten Objektleuchtdichte L₂ des Objekts und eines zweiten Abstands d₂ zu dem Objekt zu dem zweiten Zeitpunkt sowie eine Bestimmungseinrichtung 112 zum Bestimmen eines atmosphärischen Extinktionskoeffizienten K unter Verwendung der ersten Objektleuchtdichte L₁, der zweiten Objektleuchtdichte L₂, dem ersten Abstand d₁ und dem zweiten Abstand d₂, wobei der atmosphärische Extinktionskoeffizient K im direkten Zusammenhang zur Sichtweite d_met steht. Der Zusammenhang zwischen dem atmosphärischen Extinktionskoeffizienten K und der Sichtweite d_met ist in Gleichung (1) dargestellt. Der erste Zeitpunkt liegt dabei zeitlich vor dem zweiten Zeitpunkt.
Weiterhin weist in dem in 1 gezeigten Ausführungsbeispiel die Vorrichtung 100 eine Schnittstelle 114 zum Erfassen des ersten Bildes 106 zu dem ersten Zeitpunkt und des zweiten Bildes 108 zu dem auf den ersten Zeitpunkt folgenden zweiten Zeitpunkt auf. Die Bilder 106, 108 werden unter Verwendung einer Bilderfassungseinrichtung 116 erfasst. Die Bilder 106, 108 stellen ein Objekt, beispielsweise einen Gegenstand aus dem Umfeld der Bilderfassungseinrichtung 116 dar, wobei der Abstand d₁, d₂ je eine Distanz zwischen der Bilderfassungseinrichtung 116 und dem Gegenstand repräsentiert.
2 zeigt ein Ablaufdiagramm eines Verfahrens zur Tracking-basierten Sichtweitenschätzung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren umfasst einen Schritt 220 des Verfolgens eines Objekts, einen Schritt 222 des Ermittelns und einen Schritt 224 des Bestimmens eines atmosphärischen Extinktionskoeffizienten K. Im Schritt 220 des Verfolgens wird ein Abbild eines Objekts in einem zu einem ersten Zeitpunkt erfassten ersten Bild und einem zu einem zweiten Zeitpunkt erfassten zweiten Bild verfolgt. So wird das Objekt erkannt und eine Position und Erstreckung des Abbilds des Objekts im Bild ermittelt, um den dem Abbild des Objekts entsprechenden Bereich in den folgenden Schritten weiter untersuchen zu können. Im Schritt 222 des Ermittelns werden für das Objekt eine Objektleuchtdichte und ein Abstandswert ermittelt und als Wertepaar bereitgestellt. So wird in dem zu dem ersten Zeitpunkt aufgenommenen Bild eine erste Objektleuchtdichte des Objekts ermittelt und in dem zu dem zweiten Zeitpunkt aufgenommenen zweiten Bild eine zweite Objektleuchtdichte des Objekts ermittelt, beispielsweise unter Verwendung der jeweiligen Bilder. Der zuordenbare erste Abstand beziehungsweise zweite Abstand zwischen dem Objekt und einer Bilderfassungseinrichtung wird je nach Ausführungsbeispiel aus dem Bild, aus weiteren Daten der Bilderfassungseinrichtung oder eines anderen Sensors ermittelt. Im Schritt 224 des Bestimmens wird der atmosphärische Extinktionskoeffizient K unter Verwendung der ersten Objektleuchtdichte, der zweiten Objektleuchtdichte, dem ersten Abstand und dem zweiten Abstand bestimmt, wobei der atmosphärische Extinktionskoeffizient im direkten Zusammenhang zur Sichtweite steht. Der Zusammenhang zwischen dem atmosphärischen Extinktionskoeffizienten K und der Sichtweite d_met ist in Gleichung (1) dargestellt.
In einem Ausführungsbeispiel wird im Schritt 224 des Bestimmens der Extinktionskoeffizient K unter Verwendung einer eindimensionalen Gleichung und ergänzend oder alternativ eines Modells horizontaler Sicht bestimmt.
In einem Ausführungsbeispiel wird im Schritt 224 des Bestimmens der Extinktionskoeffizient K unter Verwendung eines Schätzverfahrens aus der eindimensionalen Gleichung bestimmt.
In einem Ausführungsbeispiel wird im Schritt 224 des Bestimmens der Extinktionskoeffizient unter Verwendung eines iterativen Newtonverfahrens bestimmt.
In einem Ausführungsbeispiel umfasst das Verfahren einen optionalen Schritt des Erfassens des ersten Bildes zu dem ersten Zeitpunkt und des zweiten Bildes zu dem auf den ersten Zeitpunkt folgenden zweiten Zeitpunkt. Im Schritt des Erfassens werden die Bilder unter Verwendung einer Bilderfassungseinrichtung erfasst, wobei die Bilder einen Gegenstand aus dem Umfeld der Bilderfassungseinrichtung als Objekt darstellen, wobei der Abstand eine Distanz zwischen der Bilderfassungseinrichtung und dem Gegenstand repräsentiert.
In einem Ausführungsbeispiel wird im Schritt 220 des Verfolgens zumindest ein weiteres Objekt verfolgt. Dann wird im Schritt 222 des Ermittelns eine weitere erste Objektleuchtdichte des weiteren Objekts und ein weiterer erster Abstand zu dem zumindest einen weiteren Objekt zu dem ersten Zeitpunkt ermittelt sowie eine weitere zweite Objektleuchtdichte des weiteren Objekts und ein weiterer zweiter Abstand zu dem zumindest einen weiteren Objekt zu dem zweiten Zeitpunkt ermittelt. Im Schritt 224 des Bestimmens wird der atmosphärische Extinktionskoeffizienten unter Verwendung der weiteren ersten Objektleuchtdichte, der weiteren zweiten Objektleuchtdichte, dem weiteren ersten Abstand und dem weiteren zweiten Abstand bestimmt.
In einem Ausführungsbeispiel wird im Schritt 220 des Verfolgens ein Abbild des Objekts zumindest in einem zu einem dritten Zeitpunkt erfassten dritten Bild verfolgt, wobei im Schritt 222 des Ermittelns eine dritte Objektleuchtdichte des Objekts und ein dritter Abstand zu dem Objekt zu dem dritten Zeitpunkt ermittelt werden, und wobei im Schritt 224 des Bestimmens der atmosphärische Extinktionskoeffizient unter Verwendung der dritten Objektleuchtdichte und dem dritten Abstand bestimmt wird.
In einem Ausführungsbeispiel wird in Schritt 224 des Bestimmens weitere Umgebungsinformationen (wie z. B. Umgebungshelligkeit, Objektkenntnisse, ...) einbezogen werden. Diese können unter anderem aus dem Bild und/oder aus weiteren Sensoren und/oder dem Kontext gewonnen werden.
3 zeigt eine schematische Darstellung einer meteorologischen Sichtweite d_met gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die meteorologische Sichtweite d_met ergibt sich aus der Distanz, bei der ein Objekt noch mit 5% seines ursprünglichen Kontrasts wahrnehmbar ist. So zeigt 3 eine Silhouette eines Fahrzeugs in fünf nebeneinander angeordneten Ansichten, wobei der Kontrast variiert, von einem mit als 100% bezeichneten ursprünglichen Kontrast bis zu einem mit als 2% bezeichneten Kontrast. Dazwischen ist die Silhouette mit 50%, 20% und 5% dargestellt. Bei einem Kontrast von 5% verläuft die Wahrnehmungsschwelle.
4 zeigt eine schematische Darstellung eines Zusammenhangs von Objektlicht 430 und eingestreutem Umgebungslicht 432 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Objektlicht 430 wird auf dem Pfad vom Objekt 434, beispielsweise einem Gegenstand zum Betrachter 436 abgeschwächt und durch eingestreutes Umgebungslicht 432 angereichert.
Der hier beschriebene Ansatz beruht auf der Verfolgung von Objekten, Teilen von Oberflächen oder Punkten über zwei oder mehr Frames beziehungsweise Bilder einer Kamera. Werden diese getrackten Entitäten – hier mit dem Bezugszeichen 434 gekennzeichnet – in ihrer Entfernung relativ zur Kamera bewegt, kommt es zu einer Veränderung der Leuchtdichte beziehungsweise Objektleuchtdichte durch den Nebel. Mit Leuchtdichte ist hier nicht nur die klassische fotometrische Leuchtdichte gemeint. Der Begriff soll hier für eine beliebige (aber im Verlauf der Ausführungen feste) spektrale Wichtung von Strahlungsdichte stehen. Insbesondere kann Leuchtdichte hier auch für die spektrale Wichtung entsprechend der Empfindlichkeitskurve einzelner Pixel des Kamera-Imagers beziehungsweise der Bilderfassungseinrichtung stehen. Genauer wird dieser Zusammenhang zwischen Leuchtdichte und Objektdistanz beispielsweise durch Koschmieders Modell horizontaler Sicht beschrieben: L = e^–KdL₀ + (1 – e^–Kd)L_air (2) wobei die Parameter L₀ und L_air die Leuchtdichte des Objekts und das Umgebungslicht repräsentieren und d [m] die Distanz zwischen Objekt und Beobachter darstellt. L ist das beim Beobachter wahrgenommene Objektlicht, welches sich entsprechend der Gleichung (2) aus gedämpften Objektlicht L₀ und eingestreutem Umgebungslicht L_air zusammensetzt.
Gemäß einem Ausführungsbeispiel sinkt, wenn ein Straßenschild beim Vorbeifahren von einer Frontkamera bei Nebel verfolgt wird, die Leuchtdichte (empfundene Helligkeit) bei einem Näherkommen des Schildes, da weniger Umgebungslicht in den optischen Pfad eingestreut wird und das vom Objekt reflektierte Licht schwächer als das Umgebungslicht ist. Es ergibt sich bei der Verfolgung also eine Kurve abnehmender Leuchtdichten. Werden gleichzeitig die Distanzen zum verfolgten Objekt gemessen, kann die Leuchtdichtenkurve auch über der Distanz aufgetragen werden. Die Distanzen beziehungsweise Abstände zum verfolgten Objekt können beispielsweise über „Structure from Motion” bei einer Monokamera, über Stereo-Vision oder über andere Sensoren wie beispielsweise Lidar gemessen und bestimmt werden. Ein Beispiel für eine Leuchtdichtenkurve über die Distanz beziehungsweise den Abstand ist in 5 dargestellt.
Die Distanzen können dabei auch geglättet, interpoliert und extrapoliert werden, um auch Distanzen in Bereichen des Tracks zu erhalten, bei denen eine Distanzschätzung schwierig oder unmöglich ist, aber das Objekt bereits verfolgt werden kann. Dabei können Informationen über den zurückgelegten Weg zwischen den Aufnahmezeitpunkten (z. B. aus ESP, GPS, Eigenbewegungsschätzung, ...) einbezogen werden.
5 zeigt eine Darstellung gemessener Leuchtdichten aufgetragen über einen Abstand gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In einem kartesischen Koordinatensystem ist auf der Abszisse ein Abstand d und auf der Ordinate eine Leuchtdichte L eines Objekts aufgetragen. Reale Messpunkte sind als Punkte eingetragen, das heißt, gemessene Leuchtdichten eines getrackten Objekts, abgetragen über den Abstand. Als eine durchgezogene Linie ist eine eingepasste Modellkurve entsprechend Koschmieders-Modell horizontaler Sicht, entsprechend Gleichung (2) dargestellt.
6 zeigt eine schematische Darstellung eines Objekts 434 auf verschiedenen Entfernungen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Leuchtdichten eines Objekts werden auf verschiedenen Entfernungen erfasst. Dabei kann das in einem Bild dargestellte Objekt beispielsweise als eine Abbildung eines realen Gegenstands verstanden werden. Die Leuchtdichte wird mit L bezeichnet, der Abstand oder die Distanz mit d. Die Indizes bezeichnen dabei den Zeitpunkt, so repräsentiert L₁ die Leuchtdichte zu einem ersten Zeitpunkt, L₂ repräsentiert die Leuchtdichte zu einem zweiten Zeitpunkt. Jedem Zeitpunkt ist dabei ein Bild zugeordnet.
Zu einem Objekt ergeben sich so die Wertepaare (L₁; d₁), ..., (L_N; d_N), wobei N die Zahl der Frames beziehungsweise Bilder ist, in denen das Objekt verfolgt werden konnte. Um über Koschmieders Modell entsprechend Gleichung (2) (oder auch andere Modelle) einen Rückschluss auf den zugrunde liegenden Extinktionskoeffizienten K ziehen zu können, empfiehlt es sich, dass die Wertepaare möglichst gut dem vorgegebenen Modell entsprechen; für Koschmieder:
Da das Gleichungssystem (3) für N > 3 auf verrauschten Realdaten im Allgemeinen nicht exakt gelöst werden kann, werden die Parameter (K; L₀; L_air) so geschätzt, dass die Gleichungen (3) im Sinne kleinster Fehlerquadrate bestmöglich erfüllt sind:
Auf diese Weise kann der Extinktionskoeffizient K, insbesondere auch die meteorologische Sichtweite d_met, aus Bild-Sequenzen geschätzt werden.
7 zeigt ein Blockschaltbild eines Signalverlaufs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In einem ersten Block 740 werden die zu verarbeitenden Signale eingelesen oder erfasst, in einem zweiten Block 742 werden die zu verarbeitenden Signale verarbeitet und in dem dritten Block 744 wird ein Sichtweitensignal d_met beziehungsweise ein Extinktionskoeffizientensignal K bereitgestellt. Der Block 742 umfasst zwei Teilblöcke 746, 748.
In Block 740 werden die Wertepaare (L₁; d₁), ..., (L_N; d_N) für ein oder eine Mehrzahl von Objekten eingelesen oder erfasst. In dem ersten Teilblock 746 des Blocks 742 wird ein Modell-Fit zur Schätzung von dem Extinktionskoeffizienten K durchgeführt, wobei der zweite Teilblock 748 des Blocks 742 hierfür geeignete Mittel bereitstellt.
Der erste Teilblock 746 repräsentiert ein System, welches Messdaten über getrackte Objektleuchtdichten und Distanzen über ein Modell zum Schätzen des atmosphärischen Extinktionskoeffizienten K oder anderer Nebeleigenschaften nutzt.
Der zweite Teilblock 748 repräsentiert System, welches für die Minimierung des konkreten Koschmieder-Modell-Funktionals (welches im ersten Teilblock 746 verwendet werden kann), ein nachfolgend beschriebenes Verfahren verwendet und damit echtzeit-fähig wird.
Vorteile von dem generellen Ansatz in dem ersten Teilblock 746 sind, dass er durch seine Neuartigkeit unabhängig von bisher bestehenden Verfahren den Extinktionskoeffizienten K beziehungsweise die Sichtweite d_met schätzen kann und damit alleine oder in Kombination (zur Absicherung) verwendet werden kann. Er ist unabhängig von einem Straßenverkehrs-Szenario und könnte prinzipiell in jedem System, welches Leuchtdichten und zugehörige Distanzen schätzt, eingesetzt werden.
Ein weiterer Vorteil ist die leichte Integrierbarkeit in ein bestehendes System. So könnten beliebige getrackte Objekte, Straßenschilder, getrackter Fluss, etc. ohne Zusatzaufwand mit zur Sichtweitenschätzung eingesetzt werden. Die eigentlich sehr teure Schätzung im ersten Teilblock 746 (Minimierung in ≥ 3 Parametern eines komplexen Funktionals) wird durch den zweiten Teilblock 748 sehr kostengünstig.
Im Folgenden wird der erste Teilblock 746 näher beschrieben. Gegeben seien Objekt-Leuchtdichten (oder beinahe-lineare Repräsentationen von Objekt-Leuchtdichten)
von M ≥ 1 Objekt(en) und zugehörige Distanzen
wobei N_m = Länge des Objekttracks m, für alle m ∊ {1, ..., M}. Auf diesen Daten wird eine Modellbasierte Schätzung des Extinktionskoeffizienten K vorgenommen. Für das Koschmieder-Modell aus Gleichung (2) hieße das, das Gleichungssystem:
möglichst gut in den Modell-Parametern K, L_air, L 1 / 0, ..., L M / 0 zu lösen, in dem Sinne das Funktional F zu minimieren.
Da jedes Objekt seine eigene intrinsische Leuchtdichte L₀ hat, wird pro Objekt ein zusätzlicher Parameter eingefügt, insgesamt ergeben sich M + 2 Parameter.
Alternativ kann das Modell auch sehr einfach sein, ungefähr „Objekte, die sich auf mich zubewegen, werden dunkler, das spricht für Nebel”. Auf solchen Beobachtungen könnten auch trainierte Nebel-Erkennungs-Algorithmen aufgebaut werden oder Machine-Learning-Algorithmen, welche konkret eine trainierte Sichtweite bestimmen.
In einem Ausführungsbeispiel können Messunsicherheiten in das Funktional und damit in die Parameterschätzung einbezogen werden. Für Messunsicherheiten, welche sich als Standardabweichungen σ m / n den Messungen L m / n ausdrücken, ergäbe sich bei zugrunde gelegtem normalverteiltem Zufallsprozess das folgende Maximum-Likelihood Zielfunktional:
Im Folgenden wird der zweite Teilblock 748 näher beschrieben. Um das Funktional F minimieren zu können, ist mittels herkömmlicher Verfahren (Gradienten-Abstieg, Newton-Verfahren, Levenberg-Marquardt, ...) ein sehr großer Aufwand nötig (abhängig von der Anzahl M der Objekte und der Länge der Objekttracks N_m). Diese Minimierung wäre nur schwer in ein Echtzeit-System integrierbar und würde dort viele Ressourcen in Anspruch nehmen. In diesem Ausführungsbeispiel wird ein System beschrieben, welches statt einer Minimierung von dem Funktional F eine dazu äquivalente Lösung einer eindimensionalen Gleichung f(K) = 0 vornimmt. Je nach Aufwand für die Berechnung von der eindimensionalen Gleichung f(K) ist das ein sehr viel kostengünstigeres Problem. Für die Lösung von f(K) = 0 kann beispielsweise das iterative Newton-Verfahren K := K – f(K)/f'(K) eingesetzt werden. Für die nachfolgend vorgestellte eindimensionale Gleichung f reichten mit Startwert K := 0 wenige (genauer 3) Iterationen für hinreichende Präzision auf allen Formen von simulierten Datensätzen. Eine eindimensionale Gleichung f, welche die geforderte Eigenschaft erfüllt, kann folgendermaßen berechnet werden:
sowie eine abkürzende Schreibweise verwendet wird:
Die Ableitung von der eindimensionalen Gleichung f nach dem Extinktionskoeffizienten K (benötigt für das Newton-Verfahren) ist zudem trivial bestimmbar.
Da die Bestimmung der Leuchtdichten aus der Bildintensität nur über exakte radiometrische oder fotometrische Kalibrierung der Kamera möglich ist, kann hier die Leuchtdichte L auch für eine (ungefähr) lineare Repräsentation der Leuchtdichte stehen, das heißt, L = α·Leuchtdichte + β.
Auch Sättigungs- und Quantisierungseffekte, sowie andere Ungenauigkeiten im linearen Kameramodell, stellen dabei kein Problem dar. Denn einerseits stellt für die Schätzung von dem Extinktionskoeffizienten K mit der oben genannten Methode eine linear transformierte Repräsentation der Leuchtdichten kein Problem dar. Und andererseits führen die relativ kleinen Ungenauigkeiten durch Quantisierung und Ähnliches durch die Schätzung per Fehlerquadrate zu keinen wesentlichen Verfälschungen des Ergebnisses. Eine Sättigung kann weiterhin festgestellt werden und gesättigt gemessene Leuchtdichten können bei der Extinktionskoeffizienten-Schätzung beziehungsweise K-Schätzung ignoriert werden.
Weitere Ausführungsvarianten: Um die Schätzung von dem Extinktionskoeffizienten K mittels eines Modells zu verbessern, kann es sinnvoll sein, die anderen Modellparameter durch andere Messungen einzuschränken. Das kann beispielsweise durch Festsetzen des Parameters (wird dann nicht mehr mitgeschätzt), Schranken an den Parameter (wird nur noch exakt innerhalb der Schranken geschätzt) oder durch einen zusätzlichen Strafterm (bestraft Abweichen des Parameters vom Vorgegebenen) realisiert werden.
Beispielsweise könnte der Parameter für die Leuchtdichte des Umgebungslichts L_air im Modell nach Gleichung (2) auch unabhängig aus dem Bild geschätzt werden (für die Leuchtdichte des Umgebungslichts L_air ist es dafür sinnvoll, Leuchtdichten des sichtbaren Horizonts zu betrachten und beispielsweise zu mitteln). Nun kann das Funktional F unter Festhalten von der Leuchtdichte des Umgebungslichts L_air oder mit beschränkter Leuchtdichte des Umgebungslichts L_air minimiert werden. Ist die Unsicherheit der Schätzung der Leuchtdichte des Umgebungslichts, oder kurz L_air-Schätzung, bekannt, lässt sich zu dem Funktional F auch ein gewichteter Strafterm hinzufügen, beispielsweise für geschätztes L_air und λ, welches die Sicherheit der Schätzung beschreibt:
Auch in dieser Variante lässt sich ein
so finden, dass genau
falls die anderen Parameter so gefunden werden können, dass
in dieser Parameterauswahl minimiert wird.
Der im zweiten Teilblock 748 ausgeführte Schritt erscheint dabei für die Realisierung von (A) (= Minimierung von F) in einem Echtzeitsystem vorteilhaft.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
Ferner können die hier vorgestellten Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
Umfasst ein Ausführungsbeispiel eine „und/oder”-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 1303768 B1 [0003]

Claims

Verfahren zur Tracking-basierten Sichtweitenschätzung 102), wobei das Verfahren die folgenden Schritte aufweist: Verfolgen (220) eines in einem zu einem ersten Zeitpunkt erfassten ersten Bild und in zumindest einem zu einem zweiten Zeitpunkt erfassten zweiten Bild abgebildeten Objekts (434); Ermitteln (222) einer ersten Objektleuchtdichte (L₁) des Objekts (434) und eines ersten Abstands (d₁) zu dem Objekt (434) zu dem ersten Zeitpunkt sowie Ermitteln einer zweiten Objektleuchtdichte (L₂) des Objekts (434) und eines zweiten Abstands (d₂) zu dem Objekt (434) zu dem zweiten Zeitpunkt; und Bestimmen (224) eines atmosphärischen Extinktionskoeffizienten (K) unter Verwendung der ersten Objektleuchtdichte (L₁), der zweiten Objektleuchtdichte (L₂), dem ersten Abstand (d₁) und dem zweiten Abstand (d₂), wobei der atmosphärische Extinktionskoeffizient (K) im direkten Zusammenhang zur Sichtweite (d_met) steht.
Verfahren gemäß Anspruch 1, bei dem im Schritt (224) des Bestimmens der Extinktionskoeffizient (K) unter Verwendung einer eindimensionalen Gleichung und/oder eines Modells für Lichttransport durch atmosphärische Aerosole bestimmt wird.
Verfahren gemäß Anspruch 2, bei dem im Schritt (224) des Bestimmens der Extinktionskoeffizient (K) unter Verwendung eines Schätzverfahrens aus der eindimensionalen Gleichung bestimmt wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (224) des Bestimmens der Extinktionskoeffizient (K) unter Verwendung eines iterativen Newtonverfahrens bestimmt wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Erfassens des ersten Bildes zu dem ersten Zeitpunkt und des zweiten Bildes zu dem auf den ersten Zeitpunkt folgenden zweiten Zeitpunkt, wobei im Schritt des Erfassens die Bilder unter Verwendung einer Bilderfassungseinrichtung (116) oder mehrerer Bilderfassungseinrichtungen (116) erfasst werden, wobei die Bilder einen Gegenstand aus dem Umfeld der Bilderfassungseinrichtung (116) als Objekt (434) darstellen, und wobei der Abstand (d) eine Distanz zwischen der jeweiligen Bilderfassungseinrichtung (116) und dem Gegenstand repräsentiert.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (220) des Verfolgens zumindest ein weiteres Objekt verfolgt wird, wobei im Schritt (222) des Ermittelns eine weitere erste Objektleuchtdichte des weiteren Objekts und eines weiteren ersten Abstands zu dem zumindest einen weiteren Objekt zu dem ersten Zeitpunkt sowie Ermitteln einer weiteren zweiten Objektleuchtdichte des weiteren Objekts und eines weiteren zweiten Abstands zu dem zumindest einen weiteren Objekt zu dem zweiten Zeitpunkt ermittelt wird, und wobei im Schritt (224) des Bestimmens der atmosphärische Extinktionskoeffizient (K) unter Verwendung der weiteren ersten Objektleuchtdichte, der weiteren zweiten Objektleuchtdichte, dem weiteren ersten Abstand und dem weiteren zweiten Abstand bestimmt wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (220) des Verfolgens das Objekt zumindest in einem zu einem dritten Zeitpunkt erfassten dritten Bild verfolgt wird, wobei im Schritt (222) des Ermittelns eine dritte Objektleuchtdichte (L₃) des Objekts und ein dritter Abstand (d₃) zu dem Objekt zu dem dritten Zeitpunkt ermittelt werden, und wobei im Schritt (224) des Bestimmens der atmosphärische Extinktionskoeffizient (K) unter Verwendung der dritten Objektleuchtdichte (L₃) und dem dritten Abstand (d₃) bestimmt wird.
Vorrichtung (100), die ausgebildet ist, um alle Schritte eines Verfahrens gemäß einem der vorangegangen Ansprüche durchzuführen.
Computerprogramm, das dazu eingerichtet ist, alle Schritte eines Verfahrens gemäß einem der vorangegangen Ansprüche durchzuführen.
Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 9.