DE102013221707A1 - Verfahren und Vorrichtung zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs - Google Patents

Verfahren und Vorrichtung zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs Download PDF

Info

Publication number
DE102013221707A1
DE102013221707A1 DE201310221707 DE102013221707A DE102013221707A1 DE 102013221707 A1 DE102013221707 A1 DE 102013221707A1 DE 201310221707 DE201310221707 DE 201310221707 DE 102013221707 A DE102013221707 A DE 102013221707A DE 102013221707 A1 DE102013221707 A1 DE 102013221707A1
Authority
DE
Germany
Prior art keywords
image
distance
luminance
light source
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE201310221707
Other languages
English (en)
Inventor
Stephan Lenor
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE201310221707 priority Critical patent/DE102013221707A1/de
Publication of DE102013221707A1 publication Critical patent/DE102013221707A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415Dimming circuits
    • B60Q1/1423Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/18Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights being additional front lights
    • B60Q1/20Fog lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30Indexing codes relating to the vehicle environment
    • B60Q2300/31Atmospheric conditions
    • B60Q2300/312Adverse weather
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (330) zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs (100). Das Verfahren umfasst einen Schritt des Einlesens (332) eines ersten Bildes (112) zu einem ersten Zeitpunkt (t1) und eines zweiten Bildes (114) zu einem zweiten Zeitpunkt (t2), wobei das erste Bild (112) und das zweite Bild (114) sequenziell zeitlich nacheinander von einem Bildsensor (106) erfasste Bilddaten repräsentieren, einen Schritt des Bestimmens (334) einer ersten Abbildung (116) einer Lichtquelle (110) in dem ersten Bild (112) und einer ersten Leuchtdichte (L1) der ersten Abbildung (116) und einer zweiten Abbildung (118) der Lichtquelle (110) in dem zweiten Bild (114) und einer zweiten Leuchtdichte (L2) der zweiten Abbildung (118), einen Schritt des Ermittelns (336) einer ersten Entfernung (d1) zwischen dem Fahrzeug (100) und der Lichtquelle (110) zu dem ersten Zeitpunkt (t1) und einer zweiten Entfernung (d2) zwischen dem Fahrzeug (100) und der Lichtquelle (110) zu dem zweiten Zeitpunkt (t2) sowie einen Schritt des Schätzens (338) eines Streuungskoeffizienten (σs) unter Verwendung der ersten Entfernung (d1) und/oder der zweiten Entfernung (d2) und/oder der ersten Leuchtdichte (L1) und/oder der zweiten Leuchtdichte (L2), um die Eigenblendungssituation zu erkennen.

Description

  • Stand der Technik
  • Der hier vorgestellte Ansatz bezieht sich auf ein Verfahren zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs, auf eine entsprechende Vorrichtung zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs sowie auf ein entsprechendes Computerprogrammprodukt.
  • Eine Herausforderung der Fahrbahnausleuchtung durch ein Fahrzeug ist die Sichtbarkeit der Straße bei ungünstigen Wetterverhältnissen wie Regen, Nebel oder Schneefall. So verschlechtern sich beispielsweise bei Nebel die Sichtverhältnisse für einen Fahrer. Eigenblendung (self-glare) durch atmosphärische Rückstreuung ist nachts eine der Hauptursachen für eingeschränkte Sicht bei ungünstigen Wetterbedingungen. Deshalb weisen viele moderne Fahrzeuge spezielle Nebelscheinwerfer oder Nebelschlussleuchten auf. Dabei kann die Sichtbarkeit der Straße durch eine Eigenblendung des Fahrers durch die Scheinwerfer des eigenen Fahrzeugs verschlechtert werden, wobei die Eigenblendung durch Rückstreuung des Scheinwerferlichts, insbesondere des Fernlichts, an (kleinen) Wassertropfen bei Nebel und Regen oder an den Schneekristallen bei Schneefall hervorgerufen wird.
  • Bisher wird Eigenblendung meistens erst erkannt, wenn man sich bereits in einer Situation einer Eigenblendung („Self-Glare-Situation“) befindet. Anhand abgeschwächter Bildkanten, erhöhter Helligkeit in bestimmten Bildregionen und ähnlichen Erkennungsmerkmalen wird eine Situation als Selbstblendung eingestuft oder nicht.
  • In der Offenlegungsschrift EP1715456A1 wird ein Verfahren zur Erkennung von nächtlichem Nebel und ein System zur Umsetzung dieses Verfahrens beschrieben.
  • Offenbarung der Erfindung
  • Vor diesem Hintergrund wird mit dem hier vorgestellten Ansatz ein Verfahren zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs, weiterhin eine Vorrichtung zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs, welche dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
  • Vorteilhaft können Objekte in einem von einer Kamera eines Fahrzeugs erfassten Bild über eine Mehrzahl von Bildern oder Frames verfolgt und analysiert werden. Dabei kann über eine einfache Auswertung einer Bildinformation, insbesondere über eine Leuchtdichte einer in der Mehrzahl von Bildern abgebildeten Lichtquelle über Schätzen eines Streuungskoeffizienten eine Eigenblendungssituation im Umfeld eines Fahrzeugs bestimmt werden.
  • Es wird ein Verfahren zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs vorgestellt, wobei das Verfahren die folgenden Schritte umfasst:
    Einlesen eines ersten Bildes zu einem ersten Zeitpunkt und eines zweiten Bildes zu einem zweiten Zeitpunkt, wobei das erste Bild und das zweite Bild sequenziell zeitlich nacheinander von einem Bildsensor erfasste Bilddaten repräsentieren;
    Bestimmen einer ersten Abbildung einer Lichtquelle in dem ersten Bild und einer ersten Leuchtdichte der ersten Abbildung und einer zweiten Abbildung der Lichtquelle in dem zweiten Bild und einer zweiten Leuchtdichte der zweiten Abbildung;
    Ermitteln einer ersten Entfernung zwischen dem Fahrzeug und der Lichtquelle zu dem ersten Zeitpunkt und einer zweiten Entfernung zwischen dem Fahrzeug und der Lichtquelle zu dem zweiten Zeitpunkt; und
    Schätzen eines Streuungskoeffizienten unter Verwendung der ersten Entfernung und ergänzend oder alternativ der zweiten Entfernung und ergänzend oder alternativ der ersten Leuchtdichte und ergänzend oder alternativ der zweiten Leuchtdichte, um die Eigenblendungssituation zu erkennen.
  • Ein Fahrzeug kann zumindest einen Scheinwerfer, ein Abblendlicht, ein Fernlicht oder Nebelscheinwerfer aufweisen. Unter besonderen Umweltbedingungen kanndurch die genannten Scheinwerfer eine Eigenblendungssituation geschaffen werden, wenn ein von dem zumindest einen Scheinwerfer, Abblendlicht, Fernlicht oder Nebelscheinwerfer ausgehendes Licht an Wassertropfen oder Wasserkristallen reflektiert wird und somit das Fahrzeug oder einen Fahrer oder eine Sensorik im Fahrzeug dadurch blendet. In einer solchen Situation beziehungsweise unter solchen Umweltbedingungen kann ein Abblenden des zumindest einen Scheinwerfers die Sicht oder die Sichtbarkeit in Fahrrichtung nach vorne beziehungsweise in Richtung des von dem Fahrzeug ausgehenden Lichts verbessern. Hier kann es von Vorteil sein, eine Eigenblendungssituation im Umfeld eines Fahrzeugs zu erkennen. Mit einer Bilderfassungseinrichtung wie beispielsweise einer Kamera, kann zu einem Zeitpunkt ein Bild erfasst werden und eingelesen werden. Die Kamera kann über einen Bildsensor verfügen. Das Bild kann aus einer Vielzahl, beispielsweise in Reihen und Spalten angeordneten Pixeln bestehen, die zusammen die Bilddaten des Bildes bilden. Sequenziell kann eine Mehrzahl von Bildern eingelesen und analysiert werden. Die Bilddaten können ein Umfeld vor dem Fahrzeug abbilden. Dabei kann in dem Umfeld vor dem Fahrzeug eine Lichtquelle, insbesondere eine aktive Lichtquelle angeordnet sein, die von einem Teil der Bilddaten beziehungsweise von einem Teil der Pixel des ersten und zweiten Bildes abgebildet werden kann. Eine Leuchtdichte kann mit dem englischsprachigen Begriff „luminance“ bezeichnet werden. Eine Leuchtdichte kann detaillierte Information über die Orts- und Richtungsabhängigkeit eines von einer Lichtquelle abgegebenen Lichtstroms repräsentieren. Unter einer Leuchtdichte kann eine Helligkeit einer Fläche beziehungsweise von ausgedehnten, flächenhaften Lichtquellen wahrgenommen oder verstanden werden. Leuchtdichte kann im Folgenden für eine beliebige (aber im Kontext feste) spektrale Wichtung von Strahlungsdichten und jeglicher linear transformierter Variante davon stehen. Je nach Modell kann auch eine Nicht-Lineare Transformation der spektral gewichteten Strahlungsdichte noch als Leuchtdichte bezeichnet werden (dann werden allerdings Beer-Lambert-Modelle usw. unwirksam). Insbesondere kann Leuchtdichte die von einer Person empfundene Helligkeit, die Strahlungsdichte einer festen Wellenlänge, die entsprechend der spektralen Empfindlichkeit eines Fotosensors gewichtete Strahlungsdichte als Leuchtdichte bezeichnet werden. Auch Grauwerte/Pixelwerte, die durch nicht-lineare Kennlinien (HDR, Gamma-Korrektur, etc.) und andere Kamera-Charakteristiken aus der Bestrahlungsstärke eines Fotosensors gewonnen wurden, oder in Ort und/oder Zeit gefiltert (beispielsweise geglättet) wurden, können hier als Leuchtdichte bezeichnet werden.
  • Im Schritt des Schätzens kann eine Eigenblendungssituation erkannt werden, wenn der Streuungskoeffizient eine Schwellwertgrenze passiert, oder einen vordefinierten Schwellwert übersteigt.
  • Günstig ist es auch, wenn im Schritt des Bestimmens zumindest eine weitere erste Abbildung zumindest einer weiteren Lichtquelle in dem ersten Bild und eine weitere erste Leuchtdichte der weiteren ersten Abbildung und zumindest eine weitere zweite Abbildung der weiteren Lichtquelle in dem zweiten Bild und eine weitere zweite Leuchtdichte der weiteren zweiten Abbildung bestimmt wird, und im Schritt des Ermittelns eine weitere erste Entfernung zwischen dem Fahrzeug und der weiteren Lichtquelle zu dem ersten Zeitpunkt und einer weiteren zweiten Entfernung zwischen dem Fahrzeug und der weiteren Lichtquelle zu dem zweiten Zeitpunkt ermittelt wird, und im Schritt des Schätzens der Streuungskoeffizient unter Verwendung der weiteren ersten Entfernung und ergänzend oder alternativ der weiteren zweiten Entfernung und ergänzend oder alternativ der weiteren ersten Leuchtdichte und ergänzend oder alternativ der weiteren zweiten Leuchtdichte bestimmt wird.
  • Ferner kann im Schritt des Einlesens ein drittes Bild zu einem dritten Zeitpunkt erfasst werden, wobei das dritte Bild sequenziell zeitlich nach dem ersten Bild und ergänzend oder alternativ zweiten Bild von einem Bildsensor erfasste Bilddaten repräsentiert, wobei im Schritt des Bestimmens eine dritte Abbildung der Lichtquelle in dem dritten Bild und eine dritte Leuchtdichte der dritten Abbildung bestimmt werden, und im Schritt des Ermittelns eine dritte Entfernung zwischen dem Fahrzeug und der Lichtquelle zu dem dritten Zeitpunkt ermittelt wird, und im Schritt des Schätzens der Streuungskoeffizient unter Verwendung der dritten Entfernung und ergänzend oder alternativ der dritten Leuchtdichte bestimmt wird. In einer Ausführungsform kann im Schritt des Einlesens eine Vielzahl von Bildern, insbesondere mehr als zehn, insbesondere mehr als 20 Bilder, insbesondere mehr als 42 Bilder, eingelesen werden und in den Schritten des Bestimmens und Ermittelns entsprechende Leuchtdichten und Entfernungen bestimmt werden und im Schritt des Schätzens der Streuungskoeffizient unter Verwendung der entsprechenden Entfernungen und ergänzend oder alternativ der entsprechenden Leuchtdichten bestimmt werden.
  • In einer Ausführungsform kann im Schritt des Ermittelns die erste Entfernung und ergänzend oder alternativ die zweite Entfernung und ergänzend oder alternativ die dritte Entfernung mittels zumindest eines Signals eines Entfernungssensors und ergänzend oder alternativ einem Stereo-Verfahren und ergänzend oder alternativ einer Triangulation und ergänzend oder alternativ einem Structure-from-Motion-Verfahren und ergänzend oder alternativ über Objektkenntnisse ermittelt werden.
  • Im Schritt des Schätzens kann der Streuungskoeffizient unter Anwendung einer Vorschrift geschätzt werden. In einer Ausführungsform kann der Streuungskoeffizient unter Verwendung weiterer Informationen oder einer Vielzahl von Bildern geschätzt oder bestimmt werden. So können mehr als vier Bilder im Schritt des Einlesens eingelesen werden und im Schritt des Schätzens die entsprechenden in den Schritten des Bestimmens und Ermitteln gewonnene Leuchtdichte und Entfernung verwendet werden. Weiterhin kann der Streuungskoeffizient unter Verwendung von Halos und einem Halomodell, einem Zustandsautomaten beziehungsweise einer State-Machines oder Wetterdaten geschätzt werden.
  • In einer Ausführungsform kann im Schritt des Bestimmens die erste Abbildung und ergänzend oder alternativ die zweite Abbildung durch zumindest ein Pixel in dem ersten Bild und ergänzend oder alternativ dem zweiten Bild repräsentiert werden. Dabei kann ein Pixel eine Bildinformation in dem ersten Bild und ergänzend oder alternativ dem zweiten Bild repräsentieren. Die Leuchtdichte kann durch einen Wert in einem oder mehreren Pixeln, auf welche das leuchtende Objekt projiziert wurde, repräsentiert werden. Das Bestimmen der Leuchtdichte kann beispielsweise über ein Maximum oder ein Prozent-Quantil der zum Objekt gehörigen Bildintensitätswerte und optionaler Rückrechnung auf eine Kamera-spezifische Leuchtdichte über ein bekanntes Bildaufnahme-Modell erfolgen.
  • Auch kann im Schritt des Schätzens der Streuungskoeffizient unter Verwendung einer Information über einen Offset durch eine Störung auf einem optischen Pfad und ergänzend oder alternativ einer Information über eine Abstrahlcharakteristik der Lichtquelle und ergänzend oder alternativ einer Information über ein zusätzlich eingestreutes Licht und ergänzend oder alternativ einer Heuristik und ergänzend oder alternativ eines Lernverfahrens bestimmt werden.
  • In einer günstigen Ausführungsform kann im Schritt des Schätzens ein Quotient aus der ersten Leuchtdichte und der zweiten Leuchtdichte gebildet werden und ergänzend oder alternativ ein Differenzwert aus der zweiten Entfernung und der ersten Entfernung gebildet werden und ergänzend oder alternativ ein weiterer Quotient aus der ersten Leuchtdichte und ergänzend oder alternativ der zweiten Leuchtdichte und der zweiten Entfernung und ergänzend oder alternativ der ersten Entfernung gebildet werden und ergänzend oder alternativ der Quotient aus der ersten Leuchtdichte und der zweiten Leuchtdichte logarithmiert werden. In einer Ausführungsform kann das Schätzen über eine Maximum-Likelihood-Parameterschätzung eines Leuchtdichten-Nebel-Modells erfolgen, beispielsweise durch einen Fit des Modells über Methode kleinster Fehlerquadrate auf Messungen um damit Rückschlüsse über die der Messung zugrunde liegenden Modell-Parameter treffen zu können. In noch einer weiteren günstigen Ausführungsform kann das Schätzen über gelernte Zusammenhänge oder ein Machine Learning erfolgen. In einer günstigen Ausführungsform kann im Schritt des Schätzens der Streuungskoeffizient über Heuristiken geschätzt werden.
  • Vorteilhaft wird bei dem hier vorgestellten Ansatz eine Auswertung einer Sequenz von Bildern eines videobasierten Fahrerassistenzsystems zum Erkennen einer Eigenblendungssituation genutzt. So können Objekte auch länger als nur über einen Frame – beziehungsweise ein Bild – der Sequenz von Bildern hinweg verfolgt werden.
  • Es wird eine Vorrichtung zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs vorgestellt, wobei die Vorrichtung die folgenden Merkmale aufweist:
    eine Einrichtung zum Einlesen eines ersten Bildes zu einem ersten Zeitpunkt und eines zweiten Bildes zu einem zweiten Zeitpunkt, wobei das erste Bild und das zweite Bild sequenziell zeitlich nacheinander von einem Bildsensor erfasste Bilddaten repräsentieren;
    eine Einrichtung zum Bestimmen einer ersten Abbildung einer Lichtquelle in dem ersten Bild und einer ersten Leuchtdichte der ersten Abbildung und einer zweiten Abbildung der Lichtquelle in dem zweiten Bild und einer zweiten Leuchtdichte der zweiten Abbildung;
    eine Einrichtung zum Ermitteln einer ersten Entfernung zwischen dem Fahrzeug und der Lichtquelle zu dem ersten Zeitpunkt und einer zweiten Entfernung zwischen dem Fahrzeug und der Lichtquelle zu dem zweiten Zeitpunkt; und
    eine Einrichtung zum Schätzen eines Streuungskoeffizienten unter Verwendung der ersten Entfernung und ergänzend oder alternativ der zweiten Entfernung und ergänzend oder alternativ der ersten Leuchtdichte und ergänzend oder alternativ der zweiten Leuchtdichte, um die Eigenblendungssituation zu erkennen.
  • Der hier vorgestellte Ansatz schafft eine Vorrichtung zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
  • Unter einer Vorrichtung zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
  • Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.
  • Der hier vorgestellte Ansatz wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
  • 1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung zum Erkennen einer Eigenblendungssituation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
  • 2 ein Blockschaltbild einer Vorrichtung zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
  • 3 ein Ablaufdiagramm eines Verfahrens zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
  • 4 ein weiteres Ablaufdiagramm einer Variante des Verfahrens zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
  • In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
  • 1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 102 zum Erkennen einer Eigenblendungssituation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100 umfasst eine Kamera 104 mit einem Bildsensor 106 sowie einen Abstandssensor 108. In einem Ausführungssystem sind die Kamera 104 und der Abstandssensor 108 ein Bestandteil eines Fahrerassistenzsystems. Der Abstandssensor 108 ist mit der Vorrichtung 102 zum Erkennen einer Eigenblendungssituation verbunden. Die Kamera 104 ist mit der Vorrichtung 102 zum Erkennen einer Eigenblendungssituation verbunden. Die Kamera 104 ist ausgebildet, unter Verwendung des Bildsensors 106 ein Bild des Umfelds des Fahrzeugs 100 aufzunehmen. Dabei wird in dem gezeigten Ausführungsbeispiel ein Bereich vor dem Fahrzeug 100 von dem Bildsensor 106 erfasst.
  • In dem in 1 gezeigten Ausführungsbeispiel ist vor dem Fahrzeug 100 eine Lichtquelle 110 angeordnet, die zu einem ersten Zeitpunkt t1 von dem Bildsensor 106 erfasst und in einem ersten Bild 112 abgebildet wird. In 1 ist das Fahrzeug 100 zu dem ersten Zeitpunkt t1 und zu einem zeitlich nach diesem ersten Zeitpunkt t1 gelagerten zweiten Zeitpunkt t2 dargestellt. Zu dem zweiten Zeitpunkt t2 wird von dem Bildsensor 106 ein zweites Bild 114 aufgenommen. Das erste Bild 112 zeigt eine erste Abbildung 116 der Lichtquelle 110 zu dem ersten Zeitpunkt t1. Das zweite Bild 114 zeigt eine zweite Abbildung 118 der Lichtquelle 110 zu dem zweiten Zeitpunkt t2.
  • Der Abstandssensor 108 ist ausgebildet, einen Abstand d1, d2 zwischen dem Fahrzeug 100 und Objekten im Umfeld des Fahrzeugs 100 zu bestimmen. So ist der Abstandssensor 100 ausgebildet, zu dem ersten Zeitpunkt t1 einen ersten Abstand d1 zwischen dem Fahrzeug 100 und der Lichtquelle 110 zu bestimmen und zu einem zweiten Zeitpunkt t2 einen zweiten Abstand d2 zwischen dem Fahrzeug 100 und der Lichtquelle 110 zu bestimmen. In einem anderen Ausführungsbeispiel können die Abstände d1, d2 zwischen dem Fahrzeug 100 und der Lichtquelle mittels eines Stereo-Verfahrens, einer Triangulation, einem Structure-from-Motion-Verfahren oder über Objektkenntnisse ermittelt werden.
  • In einem nicht gezeigten Ausführungsbeispiel ist die Kamera 104 ausgebildet, einen Abstand d1, d2 zu bestimmen. Beispielsweise bestimmt die Kamera 104 in einem Structure-from-Motion-Verfahren den Abstand d1, d2 und kann somit einen Abstandssensor 108 ersetzen.
  • Die Vorrichtung 102 zum Erkennen einer Eigenblendungssituation ist ausgebildet, eine Leuchtdichte L1, L2 in den Abbildungen 116, 118 der Lichtquelle 110 zu bestimmen.
  • Ein Fahrzeug 100 weist in einem Ausführungsbeispiel zumindest einen Scheinwerfer, ein Abblendlicht, ein Fernlicht oder einen Nebelscheinwerfer auf. Unter besonderen Umweltbedingungen wird durch die genannten eine Eigenblendungssituation geschaffen, wenn ein von dem zumindest einen Scheinwerfer, Abblendlicht, Fernlicht oder Nebelscheinwerfer ausgehendes Licht an Wassertropfen oder Wasserkristallen reflektiert wird und somit das Fahrzeug oder einen Fahrer oder eine Sensorik im Fahrzeug dadurch blendet. In einer solchen Situation beziehungsweise unter solchen Umweltbedingungen kann ein Abblenden des zumindest einen Scheinwerfers die Sicht oder die Sichtbarkeit nach in Fahrrichtung nach vorne beziehungsweise in Richtung des von dem Fahrzeug ausgehenden Lichts verbessern. Hierbei ist es von Vorteil, eine Eigenblendungssituation im Umfeld eines Fahrzeugs zu erkennen. Mit einer Bilderfassungseinrichtung wie beispielsweise einer Kamera, wird in einem Ausführungsbeispiel zu einem Zeitpunkt t1 ein Bild erfasst und eingelesen. Die Kamera 104 verfügt über einen Bildsensor 106. Das Bild besteht aus einer Vielzahl, beispielsweise in Reihen und Spalten angeordneten Pixeln, die zusammen die Bilddaten des Bildes bilden. Sequenziell nacheinander wird eine Mehrzahl von Bildern eingelesen und analysiert. Die Bilddaten können ein Umfeld vor dem Fahrzeug abbilden. Dabei ist in dem Umfeld vor dem Fahrzeug eine Lichtquelle 110 angeordnet, insbesondere eine aktive Lichtquelle, die von einem Teil der Bilddaten beziehungsweise von einem Teil der Pixel des ersten Bildes 112 und zweiten Bildes 114 abgebildet wird. Eine Leuchtdichte L1, L2 kann mit dem englischsprachigen Begriff „luminance“ bezeichnet werden. Eine Leuchtdichte repräsentiert detaillierte Information über die Orts- und Richtungsabhängigkeit eines von einer Lichtquelle 110 abgegebenen Lichtstroms. Unter einer Leuchtdichte kann eine Helligkeit einer Fläche beziehungsweise von ausgedehnten, flächenhaften Lichtquellen wahrgenommen oder verstanden werden.
  • In einem nicht gezeigten Ausführungsbeispiel weist das Fahrzeug 100 keinen Scheinwerfer, Abblendlicht, Fernlicht oder Nebelscheinwerfer auf.
  • Ein Aspekt des beschriebenen Ausführungsbeispiels ist eine Eigenblendungserkennung, um eine adaptive Scheinwerferregelung, beispielsweise Abblendung bei Nebel, zu realisieren. Dabei ist die Vorrichtung 102 ausgebildet, den Streuungskoeffizienten (scattering coefficient) der Atmosphäre zu schätzen, um potenzielle Eigenblendung von vornherein zu vermeiden.
  • Die von einem Beobachter empfangene Strahlungsdichte (radiance) einer flächigen Lichtquelle auf Entfernung d folgt nachts im Idealfall dem Gesetz von Beer-Lambert: R = R0e–σd Dabei ist R die vom Beobachter empfangene Strahlungsdichte, R0 die ursprüngliche Strahlungsdichte in derselben Richtung, σ der atmosphärische Auslöschungskoeffizient (extinction coefficient) und d die Entfernung zur Lichtquelle. Hat der Beobachter, beispielsweise eine Kamera, ein Mensch oder eine Fotodiode, eine gleichbleibende spektrale Empfindlichkeit, gilt das Gesetz auch für die von ihm empfundene Leuchtdichte (luminance) L: L = L0e–σd Die atmosphärische Auslöschung σ setzt sich aus Absorptions- und Streuungskoeffizienten zusammen: σ = σa + σs. Der Absorptionskoeffizient σa ist unter normalen Bedingungen so klein, dass er für die Sicht im Straßenverkehr keine Rolle spielt. In den meisten ungünstigen Wetterbedingungen besteht ein Großteil des auslöschenden Aerosols aus Wassertröpfchen wie beispielsweise. Regen oder Nebel. Für Wassertropfen macht die Absorption weit weniger als 0.5% der Gesamtauslöschung aus. Damit ist es sinnvoll, von einer Beziehung σ ≈ σs auszugehen.
  • Da von einer Beziehung σ ≈ σs ausgegangen wird, können die atmosphärische Auslöschung σ und der Streuungskoeffizient σs äquivalent verwendet werden, beziehungsweise gegenseitig ausgetauscht werden.
  • Eine Aufgabe der Erfindung ist es nun, eine modellbasierte Schätzung der atmosphärischen Auslöschung σ durch die Beobachtung von Lichtquellen über mehrere Entfernungen hinweg vorzunehmen und dadurch eine Approximation von dem Streuungskoeffizienten σs zu erhalten. Dadurch können Situationen großer atmosphärischer Streuung erkannt und Eigenblendung von vornherein vermieden werden. Die Information kann auch für andere Algorithmen zur Adaption dienen, durch Berücksichtigung von beispielsweise Lichthöfen, verminderter Kantenschärfe oder Rückstreuungen im Lichtkegel. In einer nicht gezeigten Variante kann die Vorrichtung 102 oder das in 3 beschriebene Verfahren zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs 100 zur Absicherung mit anderen Erkennungstechniken kombiniert werden.
  • Für die meisten Anwendungen reicht auch eine qualitative Einschätzung der atmosphärischen Auslöschung σ aus. Wenn die atmosphärische Auslöschung σ groß ist, so besteht eine Eigenblendgefahr oder wenn die atmosphärische Auslöschung σ klein ist, so sind keine Probleme zu erwarten. Sind also die Entfernungen zum Objekt nur schwer zu schätzen oder gibt es verfälschende Seiteneffekte von Fremdlichtquellen, Richtungsabhängigkeit oder Ähnliches, lässt sich zumindest noch diese qualitative Aussage aus der Entwicklung der Leuchtdichte über mehrere Frames hinweg beziehungsweise über eine Mehrzahl von, insbesondere sequenziell erfassten, Bildern gewinnen.
  • Der hier vorgestellte Ansatz ist physikalisch motiviert und beruht zunächst auf keinen Heuristiken. Das Aufblenden von Fernlicht kann von vornherein vermieden werden, da nicht die Eigenblendung an sich, sondern das Rückstreuvermögen des atmosphärischen Aerosols beurteilt wird. Da der Ansatz vollkommen neue Merkmale verwendet, kann er auch als ernst zu nehmende Absicherung vorhandener Erkennungsalgorithmen verwendet werden. Außerdem sind der Aufwand für die Implementierung in ein vorhandenes, videobasiertes ADAS (Advanced Driver Assistance System) und die nötige zusätzliche Rechenleistung vergleichsweise gering. Das nötige Verfolgen von Lichtobjekten 110 über mehrere Frames 112, 114, die Entfernungsschätzung d1, d2 und die Rückrechnung der Bildhelligkeit in auf den Bildsensor gefallene Beleuchtungsstärke (illuminance) L1, L2 sind Standardaufgaben eines videobasierten Fahrerassistenzsystems ADAS. Der Zusatzaufwand besteht in der Speicherung der Helligkeitswerte vergangener Frames 112, 114 für alle relevanten Lichtobjekte 110 und einem modellbasierten Fitting, um die atmosphärische Auslöschung σ zu schätzen. Dabei kann unterschiedlich viel Aufwand betrieben werden, je nachdem wie viele Lichtobjekte 110 und physikalische Effekte in das Fitting einbezogen werden.
  • Vorteilhaft wird keine Erkennung von physikalisch relativ schwer zu beschreibenden Lichthöfen, die zur Erkennung aufwendige Bildverarbeitung benötigen, benötigt. Außerdem können Lichthöfe auch durch beschlagene oder dreckige Scheiben verursacht oder mit vielen Lichtquellen auf engem Raum verwechselt werden. Somit entfällt weiterhin eine bei alternativen Verfahren notwendige genaue Kenntnis der Lichtquellen.
  • 2 zeigt ein Blockschaltbild einer Vorrichtung 102 zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei der Vorrichtung 102 zum Erkennen einer Eigenblendungssituation kann es sich um ein Ausführungsbeispiel der in 1 gezeigten und beschriebenen Vorrichtung 102 zum Erkennen einer Eigenblendungssituation handeln. Die Vorrichtung 102 umfasst eine Einrichtung 220 zum Einlesen eines ersten Bildes 112 zu einem ersten Zeitpunkt t1 und eines zweiten Bildes 114 zu einem zweiten Zeitpunkt t2, eine Einrichtung 222 zum Bestimmen einer ersten Abbildung einer Lichtquelle in dem ersten Bild 112 und einer ersten Leuchtdichte L1 der ersten Abbildung und einer zweiten Abbildung der Lichtquelle in dem zweiten Bild 114 und einer zweiten Leuchtdichte L2 der zweiten Abbildung, eine Einrichtung 224 zum Ermitteln einer ersten Entfernung d1 zwischen dem Fahrzeug und der Lichtquelle zu dem ersten Zeitpunkt t1 und einer zweiten Entfernung d2 zwischen dem Fahrzeug und der Lichtquelle zu dem zweiten Zeitpunkt t2 sowie eine Einrichtung 226 zum Schätzen eines Streuungskoeffizienten σ unter Verwendung der ersten Entfernung d1 und ergänzend oder alternativ der zweiten Entfernung d2 und ergänzend oder alternativ der ersten Leuchtdichte L1 und ergänzend oder alternativ der zweiten Leuchtdichte L2, um die Eigenblendungssituation zu erkennen. Dabei repräsentieren das erste Bild 112 und das zweite Bild 114 sequenziell zeitlich nacheinander von einem Bildsensor erfasste Bilddaten.
  • In einem Ausführungsbeispiel ist die Einrichtung 224 zum Ermitteln ausgebildet, die erste Entfernung d1 und/oder die zweite Entfernung d2 und/oder die dritte Entfernung mittels eines Signals zumindest eines Entfernungssensors und/oder einem Stereo-Verfahren und/oder einer Triangulation und/oder einem Structure-from-Motion-Verfahren und/oder über Objektkenntnisse zu ermitteln. So ist je nach Ausführungsbeispiel ein Abstandssensor oder eine andere Sensorik Teil der Einrichtung 224 zum Ermitteln. In einem anderen Ausführungsbeispiel wird der Abstand aus den Bildern 112, 114 gewonnen, das heißt aus den über die Einrichtung 220 zum Einlesen eingelesenen Bildern 112, 114 beziehungsweise Bilddaten. Dabei können intrinische und/oder extrinsische Kalibrierdaten, Eigenbewegungsschätzungen und/oder andere Sensordaten (wie longitudinale Geschwindigkeitsrate aus ESP-Sensor o.ä.) verwendet werden.
  • 3 zeigt ein Ablaufdiagramm eines Verfahrens 330 zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei dem Fahrzeug kann es sich um ein Ausführungsbeispiel eines mit dem Bezugszeichen 100 versehenen und in 1 gezeigten und beschriebenen Fahrzeugs handeln. Das Verfahren kann auf der in 1 und 2 gezeigten Vorrichtung 102 zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs ausgeführt werden. Das Verfahren 330 umfasst einen Schritt 332 des Einlesens eines ersten Bildes zu einem ersten Zeitpunkt und eines zweiten Bildes zu einem zweiten Zeitpunkt, wobei das erste Bild und das zweite Bild sequenziell zeitlich nacheinander von einem Bildsensor erfasste Bilddaten repräsentieren, einen Schritt 334 des Bestimmens einer ersten Abbildung einer Lichtquelle in dem ersten Bild und einer ersten Leuchtdichte der ersten Abbildung und einer zweiten Abbildung der Lichtquelle in dem zweiten Bild und einer zweiten Leuchtdichte der zweiten Abbildung, einen Schritt 336 des Ermittelns einer ersten Entfernung zwischen dem Fahrzeug und der Lichtquelle zu dem ersten Zeitpunkt und einer zweiten Entfernung zwischen dem Fahrzeug und der Lichtquelle zu dem zweiten Zeitpunkt sowie einen Schritt 338 des Schätzens eines Streuungskoeffizienten unter Verwendung der ersten Entfernung und ergänzend oder alternativ der zweiten Entfernung und ergänzend oder alternativ der ersten Leuchtdichte und ergänzend oder alternativ der zweiten Leuchtdichte, um die Eigenblendungssituation zu erkennen.
  • In einem Ausführungsbeispiel wird im Schritt 334 des Bestimmens zumindest eine weitere erste Abbildung zumindest einer weiteren Lichtquelle in dem ersten Bild und eine weitere erste Leuchtdichte der weiteren ersten Abbildung und zumindest eine weitere zweite Abbildung der weiteren Lichtquelle in dem zweiten Bild und eine weitere zweite Leuchtdichte der weiteren zweiten Abbildung bestimmt, und im Schritt 336 des Ermittelns eine weitere erste Entfernung zwischen dem Fahrzeug und der weiteren Lichtquelle zu dem ersten Zeitpunkt und einer weiteren zweiten Entfernung zwischen dem Fahrzeug und der weiteren Lichtquelle zu dem zweiten Zeitpunkt ermittelt, und im Schritt 338 des Schätzens der Streuungskoeffizient unter Verwendung der weiteren ersten Entfernung und/oder der weiteren zweiten Entfernung und/oder der weiteren ersten Leuchtdichte und/oder der weiteren zweiten Leuchtdichte bestimmt.
  • In einem Ausführungsbeispiel wird im Schritt 332 des Einlesens ein drittes Bild zu einem dritten Zeitpunkt erfasst. Dabei repräsentiert das dritte Bild sequenziell zeitlich nach dem ersten Bild und/oder dem zweiten Bild von einem Bildsensor erfasste Bilddaten. In dem Ausführungsbeispiel werden im Schritt 334 des Bestimmens eine dritte Abbildung der Lichtquelle in dem dritten Bild und eine dritte Leuchtdichte der dritten Abbildung bestimmt und im Schritt 338 des Ermittelns wird eine dritte Entfernung zwischen dem Fahrzeug und der Lichtquelle zu dem dritten Zeitpunkt ermittelt. Im Schritt 338 des Schätzens wird der Streuungskoeffizient unter Verwendung der dritten Entfernung und/oder der dritten Leuchtdichte bestimmt.
  • In einem Ausführungsbeispiel wird im Schritt 338 des Schätzens der Streuungskoeffizient unter Anwendung einer Vorschrift geschätzt. Die Vorschrift kann als eine mathematische Formel vorliegen alternativ/ergänzend als mathematisches Optimierungsproblem, alternativ/ergänzend als mathematische Gleichung. In einem Ausführungsbeispiel wird im Schritt 334 des Bestimmens die erste Abbildung und/oder die zweite Abbildung durch zumindest einen Pixel in dem ersten Bild und/oder dem zweiten Bild repräsentiert wird, wobei ein Pixel eine Bildinformation in dem ersten Bild und/oder dem zweiten Bild repräsentiert.
  • In einem Ausführungsbeispiel wird im Schritt 338 des Schätzens der Streuungskoeffizient unter Verwendung einer Information über einen Offset durch eine Störung auf einem optischen Pfad und/oder einer Information über eine Abstrahlcharakteristik der Lichtquelle und/oder einer Information über ein zusätzlich eingestreutes Licht und/oder einer Heuristik und/oder eines Lernverfahrens bestimmt wird.
  • In einem Ausführungsbeispiel wird im Schritt 338 des Schätzens ein Quotient aus der ersten Leuchtdichte und der zweiten Leuchtdichte gebildet und/oder wird ein Differenzwert aus der zweiten Entfernung und der ersten Entfernung gebildet und/oder wird ein weiterer Quotient aus der ersten Leuchtdichte und/oder der zweiten Leuchtdichte und der zweiten Entfernung und/oder der ersten Entfernung gebildet und/oder wird der Quotient aus der ersten Leuchtdichte und der zweiten Leuchtdichte logarithmiert.
  • Ein Aspekt des in 3 beschriebenen Verfahrens 330 ist ein Erkennen und Vermeiden von Eigenblendung durch Schätzung des atmosphärischen Streuungskoeffizienten.
  • Das Verfahren 330 besteht aus mehreren Schritten: Zunächst müssen Lichtquellen 110 und ihre Leuchtdichten L1, L2 im Bild über mehrere Frames 112, 114 verfolgt werden. Dabei können beispielsweise die üblichen 2D- oder 3D-Trackingverfahren verwendet werden. Zu jeder Lichtquelle 110 müssen die jeweiligen Entfernungen d1, d2 geschätzt werden. Das kann beispielsweise über Entfernungs-Sensoren, Stereo-Verfahren, ein Structure-from-Motion-Verfahren beziehungsweise Triangulierungen oder über Objektkenntnisse, wie beispielsweise ein Abstand der Lichter am Auto, erfolgen. Stehen mehrere Lichtobjekte 110 zur Auswahl, können wahlweise solche niedriger Entfernungs-Konfidenz ausgeschlossen werden. Besonders geeignet sind außerdem Objekte möglichst nahe zur Bildmitte um zwischen den Frames möglichst geringe Änderungen im Objekt-zur-Kamera-Winkel sicherzustellen und Leuchtdichte-Verfälschungen durch Winkeländerungen zu vermeiden.
  • Für Lichtquellen vom Ausmaß größer einem Pixel sind nun Modell-basierte Aussagen über die Leuchtdichteänderung in Abhängigkeit von der Entfernung möglich. Das heißt, ein Abbild einer Lichtquelle in einem Bild ist größer als ein Pixel, ober belegt in einem Bild eine Fläche größer einem Pixel des Bildes. Damit kann eine möglichst wahrscheinliche atmosphärische Auslöschung σ gewählt werden, um die Beobachtungen unter dem σ-abhängigen Modell zu erklären. Als Modell ist Beer-Lambert geeignet. Hat man beispielsweise für ein Objekt auf zwei Frames oder auf zwei Bildern die Leuchtdichten L1 und L2, sowie die Entfernungen d1 und d2 gemessen, kann man die atmosphärische Auslöschung σ aus den resultierenden Gleichungen schätzen:
    Figure DE102013221707A1_0002
    Hat man beispielsweise für ein Objekt auf mehreren Frames oder auf mehreren Bildern die Leuchtdichten L1, ..., LNsowie die Entfernungen d1, ..., dN gemessen, kann man die atmosphärische Auslöschung σ aus dem resultierenden Optimierungsproblem (Maximum-Likelihood) schätzen:
    Figure DE102013221707A1_0003
    Dieses Optimierungsproblem kann man auch durch Auflösen einer Gleichung, wie beispielsweise
    Figure DE102013221707A1_0004
    nach σ lösen.
  • Für mehr zur Verfügung stehende Informationen kann man Maximum-Likelihood oder ähnliche Verfahren zur σ-Schätzung verwenden. Das Modell kann neben Auslöschung durch Beer-Lambert auch Abstrahlcharakteristiken der Lichtquellen, Offsets durch Störungen auf dem optischen Pfad beispielsweise Dreck auf der Windschutzscheibe, zusätzlich eingestreutes Licht durch Ego-Fahrzeug oder Fremdlichtquellen etc. mit berücksichtigen. Wenn die Objektdistanzen nicht stabil genug schätzbar sind, können auch Heuristiken zur Hilfe genommen werden. Beispielsweise: Auf die meisten Objekte bewegt sich die Kamera zu; wenn die Leuchtdichte für die meisten Objekte deutlich größer wird, dann ist von großer atmosphärischer Auslöschung bzw. großer atmosphärischer Streuung auszugehen. Auch Lernverfahren könnten auf dem Leuchtdichteverhalten aufgesetzt werden.
  • Je nach Variante können mehrere Lichtquellen einbezogen werden. Dadurch lassen sich vom Modell nicht erklärbare Einzelerscheinungen (beispielsweise Aufblenden oder Abblenden des Gegenübers) erklären. Auch ist es möglich auf bestimmte Lichtquellen zu verzichten, bei denen die Strahlungsdichte besonders richtungsabhängig ist (beispielsweise denkbar für gerichtete Scheinwerfer). Analog ist es denkbar, nur besonders geeignete Lichtquellen zu verwenden die beispielsweise besonders großflächige und richtungsunabhängige Abstrahlung aufweisen.
  • 4 zeigt ein weiteres Ablaufdiagramm einer Variante des Verfahrens 330 zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der Block 440 repräsentiert ein sequenzielles Erfassen von Bilddaten. Im Block 442 werden in den im Block 440 erfassten Bilddaten die „getrackten Lichtobjekte“ bestimmt, um im Block 444 eine eventuelle Vorauswahl aus den im Block 442 getrackten Lichtobjekten durchzuführen. Im Block 446 werden für die im Block 444 vorausgewählten Lichtobjekte zugeordnete geschätzte beziehungsweise genäherte Strahlungsdichteverläufe über Distanzen zu den Lichtobjekten bestimmt, um anschließend im Block 448 eine Einschätzung der Rückstreusituation zu treffen. Die Blöcke 440, 442, 444, 446, 448 können ganz oder teilweise entsprechenden Verfahrensschritten des in 3 beschriebenen Verfahrens 330 zugeordnet werden.
  • Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
  • Ferner können die hier vorgestellten Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
  • Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • EP 1715456 A1 [0004]

Claims (10)

  1. Verfahren (330) zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs (100), wobei das Verfahren (330) die folgenden Schritte umfasst: Einlesen (332) eines ersten Bildes (112) zu einem ersten Zeitpunkt (t1) und eines zweiten Bildes (114) zu einem zweiten Zeitpunkt (t2), wobei das erste Bild (112) und das zweite Bild (114) sequenziell zeitlich nacheinander von einem Bildsensor (106) erfasste Bilddaten repräsentieren; Bestimmen (334) einer ersten Abbildung (116) einer Lichtquelle (110) in dem ersten Bild (112) und einer ersten Leuchtdichte (L1) der ersten Abbildung (116) und einer zweiten Abbildung (118) der Lichtquelle (110) in dem zweiten Bild (114) und einer zweiten Leuchtdichte (L2) der zweiten Abbildung (118); Ermitteln (336) einer ersten Entfernung (d1) zwischen dem Fahrzeug (100) und der Lichtquelle (110) zu dem ersten Zeitpunkt (t1) und einer zweiten Entfernung (d2) zwischen dem Fahrzeug (100) und der Lichtquelle (110) zu dem zweiten Zeitpunkt (t2); und Schätzen (338) eines Streuungskoeffizienten (σs) unter Verwendung der ersten Entfernung (d1) und/oder der zweiten Entfernung (d2) und/oder der ersten Leuchtdichte (L1) und/oder der zweiten Leuchtdichte (L2), um die Eigenblendungssituation zu erkennen.
  2. Verfahren (330) gemäß Anspruch 1, bei dem im Schritt (334) des Bestimmens zumindest eine weitere erste Abbildung zumindest einer weiteren Lichtquelle in dem ersten Bild (112) und eine weitere erste Leuchtdichte der weiteren ersten Abbildung und zumindest eine weitere zweite Abbildung der weiteren Lichtquelle in dem zweiten Bild (114) und eine weitere zweite Leuchtdichte der weiteren zweiten Abbildung bestimmt wird, und im Schritt (336) des Ermittelns eine weitere erste Entfernung zwischen dem Fahrzeug (100) und der weiteren Lichtquelle zu dem ersten Zeitpunkt (t1) und einer weiteren zweiten Entfernung zwischen dem Fahrzeug (100) und der weiteren Lichtquelle zu dem zweiten Zeitpunkt (t2) ermittelt wird, und im Schritt (338) des Schätzens der Streuungskoeffizient unter Verwendung der weiteren ersten Entfernung und/oder der weiteren zweiten Entfernung und/oder der weiteren ersten Leuchtdichte und/oder der weiteren zweiten Leuchtdichte bestimmt wird.
  3. Verfahren (330) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (332) des Einlesens ein drittes Bild zu einem dritten Zeitpunkt erfasst wird, wobei das dritte Bild sequenziell zeitlich nach dem ersten Bild (112) und/oder zweiten Bild (114) von einem Bildsensor (106) erfasste Bilddaten repräsentiert, wobei im Schritt (334) des Bestimmens eine dritte Abbildung der Lichtquelle (110) in dem dritten Bild und eine dritte Leuchtdichte der dritten Abbildung bestimmt wird, und im Schritt (336) des Ermittelns eine dritte Entfernung zwischen dem Fahrzeug (100) und der Lichtquelle (110) zu dem dritten Zeitpunkt ermittelt wird, und im Schritt (338) des Schätzens der Streuungskoeffizient unter Verwendung der dritten Entfernung und/oder der dritten Leuchtdichte bestimmt wird.
  4. Verfahren (330) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (336) des Ermittelns die erste Entfernung (d1) und/oder die zweite Entfernung (d2) und/oder die dritte Entfernung mittels zumindest eines Signals zumindest eines Entfernungssensors (108) und/oder einem Stereo-Verfahren und/oder einer Triangulation und/oder einem Structure-from-Motion-Verfahren und/oder über Objektkenntnisse ermittelt wird.
  5. Verfahren (330) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (338) des Schätzens der Streuungskoeffizient (σs) unter Anwendung einer Vorschrift und/oder einer Heuristik und/oder eines Lernverfahrens geschätzt wird.
  6. Verfahren (330) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (334) des Bestimmens die erste Abbildung (116) und/oder die zweite Abbildung (118) durch zumindest ein Pixel in dem ersten Bild (112) und/oder dem zweiten Bild (114) repräsentiert wird, wobei ein Pixel eine Bildinformation in dem ersten Bild (112) und/oder dem zweiten Bild (114) repräsentiert.
  7. Verfahren (330) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (338) des Schätzens der Streuungskoeffizient (σs) unter Verwendung einer Information über einen Offset durch eine Störung auf einem optischen Pfad und/oder einer Information über eine Abstrahlcharakteristik der Lichtquelle (110) und/oder einer Information über ein zusätzlich eingestreutes Licht bestimmt wird.
  8. Verfahren (330) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (338) des Schätzens ein Quotient aus der ersten Leuchtdichte (L1) und der zweiten Leuchtdichte (L2) gebildet wird und/oder ein Differenzwert aus der zweiten Entfernung (d2) und der ersten Entfernung (d1) gebildet wird und/oder ein weiterer Quotient aus der ersten Leuchtdichte (L1) und/oder der zweiten Leuchtdichte (L2) und der zweiten Entfernung (d2) und/oder der ersten Entfernung (d1) gebildet wird und/oder der Quotient aus der ersten Leuchtdichte (L1) und der zweiten Leuchtdichte (L2) logarithmiert wird.
  9. Vorrichtung (102) zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs (100), wobei die Vorrichtung (102) die folgenden Merkmale aufweist: eine Einrichtung (220) zum Einlesen eines ersten Bildes (112) zu einem ersten Zeitpunkt (t1) und eines zweiten Bildes (114) zu einem zweiten Zeitpunkt (t2), wobei das erste Bild (112) und das zweite Bild (114) sequenziell zeitlich nacheinander von einem Bildsensor (106) erfasste Bilddaten repräsentieren; eine Einrichtung (222) zum Bestimmen einer ersten Abbildung (116) einer Lichtquelle (110) in dem ersten Bild (112) und einer ersten Leuchtdichte (L1) der ersten Abbildung (116) und einer zweiten Abbildung (118) der Lichtquelle (110) in dem zweiten Bild (114) und einer zweiten Leuchtdichte (L2) der zweiten Abbildung (118); eine Einrichtung (224) zum Ermitteln einer ersten Entfernung (d1) zwischen dem Fahrzeug (100) und der Lichtquelle (110) zu dem ersten Zeitpunkt (t1) und einer zweiten Entfernung (d2) zwischen dem Fahrzeug (100) und der Lichtquelle (110) zu dem zweiten Zeitpunkt (t2); und eine Einrichtung (226) zum Schätzen eines Streuungskoeffizienten (σs) unter Verwendung der ersten Entfernung (d1) und/oder der zweiten Entfernung (d2) und/oder der ersten Leuchtdichte (L1) und/oder der zweiten Leuchtdichte (L2), um die Eigenblendungssituation zu erkennen.
  10. Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens (330) nach einem der Ansprüche 1 bis 8, wenn das Programmprodukt auf einer Vorrichtung (102) ausgeführt wird.
DE201310221707 2013-10-25 2013-10-25 Verfahren und Vorrichtung zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs Pending DE102013221707A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201310221707 DE102013221707A1 (de) 2013-10-25 2013-10-25 Verfahren und Vorrichtung zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201310221707 DE102013221707A1 (de) 2013-10-25 2013-10-25 Verfahren und Vorrichtung zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs

Publications (1)

Publication Number Publication Date
DE102013221707A1 true DE102013221707A1 (de) 2015-04-30

Family

ID=52811598

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201310221707 Pending DE102013221707A1 (de) 2013-10-25 2013-10-25 Verfahren und Vorrichtung zum Erkennen einer Eigenblendungssituation im Umfeld eines Fahrzeugs

Country Status (1)

Country Link
DE (1) DE102013221707A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1715456A1 (de) 2005-04-19 2006-10-25 Valeo Vision Verfahren zur Erkennung von nächtlichem Nebel und System zur Umsetzung dieses Verfahrens

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1715456A1 (de) 2005-04-19 2006-10-25 Valeo Vision Verfahren zur Erkennung von nächtlichem Nebel und System zur Umsetzung dieses Verfahrens

Similar Documents

Publication Publication Date Title
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
DE102007000420B4 (de) Fahrzeuginterne Einrichtung zum Erfassen von Fahrzeugen und Vorrichtung zum Steuern von Scheinwerfern durch Verwenden der Einrichtung
EP2057583B1 (de) Verfahren zur automatischen fernlichtsteuerung
DE212017000101U1 (de) Kamerabasiertes Scheinwerferlicht-Steuerungssystem
DE102012221777A1 (de) Spurverfolgungssystem
DE102010030616A1 (de) Verfahren und Vorrichtung zum Erkennen eines Störobjekts in einem Kamerabild
DE102014208271A1 (de) Verfahren und Vorrichtung zur bildbasierten Sichtweitenschätzung
DE102011017697A1 (de) Verfahren zur Leuchtweitenregulierung zumindest eines Scheinwerfers eines Fahrzeugs und Lichtsteuergerät
DE102010030044A1 (de) Wiederherstellvorrichtung für durch Wettereinflüsse verschlechterte Bilder und Fahrerunterstützungssystem hiermit
DE102010039092B4 (de) Verfahren und Steuergerät zum Ermitteln eines Abstandes eines Objektes von einem Fahrzeug
DE102013204597A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Sichtweite bei Nebel am Tag
DE102011106052A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns
EP2583847A1 (de) Vorrichtung und Verfahren zur Reduzierung der Blendwirkung
DE102014012653A1 (de) Bildverarbeitungsverfahren für Fahrzeugkamera und dieses anwendende Bildverarbeitungsvorrichtung
DE102015216908A1 (de) Verfahren zum Erkennen von Objekten auf einer Abstellfläche
EP3014569A1 (de) Inspektion der konturierten fläche des unterbodens eines kraftfahrzeugs
DE102018129993A1 (de) Verfahren zur fahrzeugdetektion, verfahren zur fahrzeugdetektion bei nacht auf basis von dynamischer lichtintensität und system dafür
DE102020124044A1 (de) Detektion und korrektur einer optischen oberflächenverschlechterung
DE102006055903A1 (de) Erkennung von Fahrzeuglichtern mit einer Kamera
DE102013011975A1 (de) Verfahren zur Bewertung von Scheinwerfern
WO2022128014A1 (de) Korrektur von bildern eines rundumsichtkamerasystems bei regen, lichteinfall und verschmutzung
DE102015211874A1 (de) Objekterkennungsvorrichtung
DE102014208272A1 (de) Verfahren und Vorrichtung zur Tracking-basierten Sichtweitenschätzung
DE102012211961A1 (de) Verfahren und Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts
EP2562685B1 (de) Verfahren und Vorrichtung zur Klassifizierung eines sich in einem Vorfeld eines Fahrzeugs befindlichen Lichtobjekts

Legal Events

Date Code Title Description
R012 Request for examination validly filed