DE102011081384A1

DE102011081384A1 - Verfahren und Vorrichtung zur Abstandsbestimmung für ein Fahrzeug

Info

Publication number: DE102011081384A1
Application number: DE102011081384A
Authority: DE
Inventors: Wolfgang Sepp; Johannes Foltin
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2011-08-23
Filing date: 2011-08-23
Publication date: 2013-02-28
Anticipated expiration: 2031-08-24
Also published as: DE102011081384B4

Abstract

Die Erfindung betrifft ein Verfahren zur Abstandsbestimmung für ein Fahrzeug, das einen Scheinwerfer und eine Bilderfassungseinrichtung aufweist, wobei der Scheinwerfer ausgebildet ist, um zur Ausleuchtung des Umfelds Licht in zumindest einen Bereich des Umfelds auszusenden und die Bilderfassungseinrichtung ausgebildet ist, um von der Umgebung reflektiertes Licht des Scheinwerfers in einem Bild abzubilden. Das Verfahren umfasst einen Schritt des Ermitteln (622) eines zeitlichen Versatzes zwischen einer Veränderung einer Abstrahlcharakteristik des Scheinwerfers und einer Auswirkung der Veränderung der Abstrahlcharakteristik auf einen Bildbereich des Bildes der Bilderfassungseinrichtung, sowie einen Schritt des Bestimmen (624) eines Abstands zu einem durch den Bildbereich abgebildeten Objekt in dem Umfeld des Fahrzeugs, basierend auf dem zeitlichen Versatz.

Description

Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Abstandsbestimmung für ein Fahrzeug, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt.
Eine Fahrzeugkamera liefert ein Bild eines Umfelds eines Fahrzeugs. Eine Tiefeninformation des Bildes kann beispielsweise mit Hilfe eines Stereokamerasystems oder Informationen eines Radarsystems ermitteln werden.
Das Dokument DE 102 54 806 B4 zeigt ein Verfahren zur Informationsverarbeitung von wenigstens zwei Informationsquellen in einem Kraftfahrzeug.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Abstandsbestimmung für ein Fahrzeug, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Die Erfindung basiert auf der Erkenntnis, dass von einem Scheinwerfer eines Fahrzeugs ausgesendetes Licht an Objekten des Umfelds des Fahrzeugs reflektiert wird. Ein Teil dieses reflektierten Lichts kann von einer Kamera des Fahrzeugs erfasst werden. Kann eine Laufzeit des Lichts zwischen Ausstrahlung durch den Scheinwerfer und Empfang durch die Kamera bestimmt werden, so kann basierend auf der Laufzeit ein Abstand zwischen dem Fahrzeug und dem das Licht reflektierenden Objekt gemessen werden. Um die Laufzeit bestimmen zu können, kann das Licht des Scheinwerfers beispielsweise gepulst oder moduliert ausgesendet werden.
Vorteilhafterweise kann auf diese Weise eine Abstandsbestimmung mit bereits typischerweise im Fahrzeug vorhandenen Komponenten, wie dem Scheinwerfer und einer Umfeldkamera, durchgeführt werden.
Die vorliegende Erfindung schafft ein Verfahren zur Abstandsbestimmung für ein Fahrzeug, das einen Scheinwerfer und eine Bilderfassungseinrichtung aufweist, wobei der Scheinwerfer ausgebildet ist, um zur Ausleuchtung des Umfelds Licht in zumindest einen Bereich des Umfelds auszusenden und die Bilderfassungseinrichtung ausgebildet ist, um von der Umgebung reflektiertes Licht des Scheinwerfers in einem Bild abzubilden, wobei das Verfahren die folgenden Schritte umfasst:
Ermitteln eines zeitlichen Versatzes zwischen einer Veränderung einer Abstrahlcharakteristik des Scheinwerfers und einer Auswirkung der Veränderung der Abstrahlcharakteristik auf einen Bildbereich des Bildes der Bilderfassungseinrichtung; und
Bestimmen eines Abstands zu einem durch den Bildbereich abgebildeten Objekt in dem Umfeld des Fahrzeugs, basierend auf dem zeitlichen Versatz.
Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug, beispielsweise einen Personenkraftwagen, einen Lastkraftwagen oder eine Nutzfahrzeug handeln. Bei dem Scheinwerfer kann es sich um einen Frontscheinwerfer oder Hauptscheinwerfer zur Fahrbahnausleuchtung handeln. Der Scheinwerfer kann eine Scheinwerfereinheit aufweisen, die mehrere Scheinwerfermodule oder dergleichen umfasst. Der Scheinwerfer kann ausgebildet sein, um überwiegend Licht in einem für den Menschen sichtbaren Lichtspektrum auszusenden. Die Bilderfassungseinrichtung kann ausgebildet sein, um eine Intensität von auf einen Bildsensor oder Bildaufnehmer der Bilderfassungseinrichtung auftreffenden Lichts zu erfassen und dabei ermittelte Intensitätswerte oder Helligkeitswerte des Lichts zu erfassen. Aus den erfassten Werten kann das Bild zusammengesetzt und ausgeben werden. Das Bild kann somit eine Mehrzahl von Bildpunkten aufweisen, wobei jedem Bildpunkt ein Lichtintensitätswert zugeordnet ist. Das Bild kann fortlaufend neu aufgebaut werden, indem die Bildpunkte mit aktuellen Lichtintensitätswerten aktualisiert werden. Der Bildbereich kann ebenfalls eine Mehrzahl von Bildpunkten umfassen. Ein von dem Bildbereich abgebildeter Abschnitt des Umfelds, beispielsweise ein Objekts, kann eine einheitliche oder innerhalb eines Toleranzbereichs einheitliche Entfernung zu dem Fahrzeug aufweisen. Das Bild kann einen vor dem Fahrzeug liegenden Straßenabschnitt abbilden. Bei der Bilderfassungseinrichtung kann es sich um eine Fahrzeugkamera handeln. Eine Blickrichtung der Fahrzeugkamera kann einer momentanen Fahrtrichtung des Fahrzeugs entsprechen. Dabei kann die Bilderfassungseinrichtung ausgebildet sein, um Licht in einem für den Menschen sichtbaren Lichtspektrum zu erfassen. Unter einer Veränderung der Abstrahlcharakteristik des Scheinwerfers kann eine Veränderung der Lichtintensität oder Lichtdichte des von dem Scheinwerfer ausgesendeten Lichts verstanden werden. Die Veränderung kann beispielsweise durch ein Einschalten, Ausschalten, Dimmen oder Hellerschalten einer Lichtquelle des Scheinwerfers hervorgerufen werden. Die Veränderung kann abrupt oder kontinuierlich erfolgen. Die Veränderung kann einmalig oder fortlaufend wiederholt ausgeführt werden. Die Veränderung kann so ausgeführt sein, dass sie von einem Fahrer des Fahrzeugs oder von anderen Verkehrsteilnehmern nicht wahrgenommen wird. Die Veränderung des ausgestrahlten Lichts führt zu einer Veränderung des von der Bilderfassungseinrichtung empfangenen reflektierten Licht. Durch eine Detektion der Veränderung durch die Bilderfassungseinrichtung kann die Laufzeit des Lichts bestimmt werden. Dazu kann der zeitliche Versatz zwischen einem Zeitpunkt der Durchführung der Veränderung an dem Scheinwerfer und einem Zeitpunkt des Detektierens der Veränderung an der Bilderfassungseinrichtung verwendet werden. Über die Laufzeit kann eine Entfernung zwischen dem Scheinwerfer, einem das Licht des Scheinwerfers reflektierenden Objekts und der Bilderfassungseinrichtung bestimmt werden. Basierend auf der Entfernung kann ein Abstand zwischen dem Fahrzeug und dem Objekt bestimmt werden. Das reflektierende Objekt kann mittels einer Bildauswertung des Bilds oder einer geeigneten Objekterkennung, die auf dem Bild basieren kann, erkannt und klassifiziert werden. Bei dem Objekt kann es sich um ein beliebiges Objekt in dem Umfeld des Fahrzeugs handeln, das geeignet ist, Licht des Scheinwerfers zu reflektieren. Auch kann es sich bei dem Objekt um einen Abschnitt, beispielswiese einen Oberflächenausschnitt, eines größeren Objekts handeln. Beispielsweise kann das Objekt ein anderes Fahrzeug, ein anderer Verkehrsteilnehmer, ein Tier, eine Fahrbahnoberfläche, eine Fahrbahnbegrenzung, eine Fahrbahnbebauung, ein Verkehrsschild oder auch durch Witterungseinflüsse hervorgerufene Objekte wie Schneeflocken oder eine Nebelbank sein.
Das Verfahren kann einen Schritt des Auswertens von zeitlich nacheinander erfassten Lichtintensitäten zumindest eines in dem Bildbereich angeordneten Bildpunktes umfassen, um einen Zeitpunkt der Auswirkung der Veränderung zu ermitteln. Beispielsweise kann als Bilderfassungseinrichtung ein Imager mit vereinzelt eingestreuten Phasenmischern zur punktuellen Abstandsbestimmung eingesetzt werden, der mit einem einzelnen Pixel oder Bildpunkt auskommt. Somit kann eine Synchronisation zwischen Scheinwerfer und Bildpunkt durch eine Realisierung über einen einzelnen Phasenmischer realisiert werden. Alternativ können von einer Mehrzahl von in dem Bildbereich angeordneten Bildpunkten zeitlich nacheinander erfasste Lichtintensitäten ausgewertet werden, um den Zeitpunkt der Auswirkung zu ermitteln. Es kann sich bei der Mehrzahl von Bildpunkten um benachbarte Bildpunkte, z. B. in einer Zeile angeordnete Bildpunkte, innerhalb des Bereichs handeln. Ein solches Vorgehen bietet sich beispielsweise bei einem Bildaufnehmer an, dessen Bildpunkte zur Erstellung eines Bildes einzeln und zeitlich versetzt belichtet oder ausgelesen werden. Besteht die Veränderung der Abstrahlcharakteristik des Scheinwerfers in einer Verringerung der Intensität des ausgestrahlten Lichts, so kann die Auswirkung der Veränderung darin bestehen, dass die Bildpunkte ausgehend von einer hohen Lichtintensität eine verringerte Lichtintensität aufweisen oder abbilden. Der Zeitpunkt der Auswirkung kann in diesem Fall als der Zeitpunkt bestimmt werden, indem der erste Bildpunkt der Mehrzahl von Bildpunkten mit der verringerten Lichtintensität ausgewertet wird. Besteht die Veränderung der Abstrahlcharakteristik des Scheinwerfers in einer Erhöhung der Intensität des ausgestrahlten Lichts, so kann die Auswirkung der Veränderung darin bestehen, dass die Bildpunkte ausgehend von einer geringen Lichtintensität eine erhöhte Lichtintensität aufweisen oder abbilden. Der Zeitpunkt der Auswirkung kann in diesem Fall als der Zeitpunkt bestimmt werden, indem der erste Bildpunkt der Mehrzahl von Bildpunkten mit der erhöhten Lichtintensität ausgewertet wird.
Dabei kann das Verfahren einen Schritt des Synchronisierens des Auswertens der Lichtintensitäten des zumindest einen in dem Bildbereich angeordneten Bildpunktes mit einem Zeitpunkt der Veränderung der Abstrahlcharakteristik des Scheinwerfers umfassen. Dies ist vorteilhaft, wenn von dem Bild unterschiedlich weit entfernte Abschnitte des Umfelds abgebildet werden.
Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Empfangens einer Information über einen ersten Zeitpunkt, der einen Zeitpunkt der Veränderung der Abstrahlcharakteristik des Scheinwerfers des Fahrzeugs repräsentiert umfassen. Ferner kann das Verfahren einen Schritt des Empfangens einer Information über einen zweiten Zeitpunkt, der einen Zeitpunkt eines Erkennens der Auswirkung der Veränderung der Abstrahlcharakteristik auf den Bildbereich der Bilderfassungseinrichtung des Fahrzeugs repräsentiert umfassen. Im Schritt des Ermittelns kann der zeitliche Versatzes basierend auf dem ersten Zeitpunkt und dem zweiten Zeitpunkt bestimmt werden. Die Information über den ersten Zeitpunkt kann von einem Steuergerät zum Ansteuern des Scheinwerfers bereitgestellt werden oder direkt aus einem Ansteuersignal zum Ansteuern des Scheinwerfers bestimmt werden. Nach oder während des ersten Zeitpunkts weist das von dem Scheinwerfer ausgestrahlte Licht eine andere Charakteristik, beispielsweise eine andere Intensität, als vor dem ersten Zeitpunkt auf. Die Information über den zweiten Zeitpunkt kann von der Bilderfassungseinrichtung oder einer Auswerteeinrichtung zum Auswerten des Bilds bereitgestellt werden. Nach oder während des zweiten Zeitpunkts weist das von der Bilderfassungseinrichtung erfasste Licht eine andere Charakteristik, beispielsweise eine andere Intensität, als vor dem zweiten Zeitpunkt auf. Lässt sich die veränderte Charakteristik des erfassten Lichts auf die Veränderung des ausgestrahlten Lichts zu dem ersten Zeitpunkt zurückführen, so kann die Information über den zweiten Zeitpunkt bereitgestellt werden. Der Abstand kann aus einer Differenz aus dem ersten und dem zweiten Zeitpunkt bestimmt werden.
Beispielsweise kann im Schritt des Empfangens als Information über den ersten Zeitpunkt ein Flankenwechsel eines pulsweitenmodulierten Ansteuersignals für den Scheinwerfer empfangen werden. Der erste Zeitpunkt kann einer steigenden Flanke oder einer fallenden Flanke zugeordnet sein. Folgend auf eine steigende Flanke kann der Scheinwerfer Licht aussenden. Folgend auf eine fallende Flanke kann der Scheinwerfer kein Licht aussenden. Ein solches Ansteuersignal bietet sich beispielweise zur Ansteuerung eines auf Leuchtdioden basierenden Scheinwerfers, einem sogenannten LED-Scheinwerfer, an.
Das Verfahren kann einen Schritt des Erzeugens eines Veränderungssignals umfassen, das ausgebildet ist, um die Veränderung der Abstrahlcharakteristik des Scheinwerfers auszulösen. Das Veränderungssignal kann direkt an den Scheinwerfer ausgegeben werden, um die Veränderung der Abstrahlcharakteristik zu bewirken. Auch kann das Veränderungssignal ausgebildet sein, um eine Veränderung eines Ansteuersignals für den Scheinwerfer zu verändern, um die Veränderung der Abstrahlcharakteristik zu bewirken.
Beispielsweise kann der Scheinwerfer mindestens eine Leuchtdiode umfassen. In diesem Fall kann das Veränderungssignal ausgebildet sein, um zur Veränderung der Abstrahlcharakteristik eine Helligkeit der Leuchtdiode zu erhöhen oder zu verringern. Somit kann das Verfahren vorteilhaft im Zusammenhang mit einem LED-Scheinwerfer eingesetzt werden.
Auch kann das Veränderungssignal ausgebildet sein, um zur Veränderung der Abstrahlcharakteristik einen Strahlengang des ausgesendeten Lichts des Scheinwerfers zu verändern. Der Strahlengang kann beispielsweise durch umlenken oder blockieren verändert werden. Auf diese Weise ist es nicht erforderlich die Lichtaussendung durch eine Lichtquelle des Scheinwerfers zu verändern. Stattdessen kann das von der Lichtquelle ausgestrahlte Licht verändert werden, um die Abstrahlcharakteristik des Scheinwerfers zu verändern. Somit kann das Verfahren vorteilhaft im Zusammenhang mit einem Scheinwerfer eingesetzt werden, der eine gleichförmige Lichtquelle, wie eine Glühlampe oder eine Hochdruckgasentladungslampe aufweist.
Gemäß einer Ausführungsform kann im Schritt des Ermittelns der zeitliche Versatzes als eine Phasenverschiebung zwischen dem von dem Scheinwerfer ausgesendeten Licht und dem in dem Bildbereich abgebildeten reflektierten Lichts des Scheinwerfers ermittelt werden. Die Phasenverschiebung kann mittels eines Phasenmischers ermittelt werden, der ausgebildet ist, um eine Phasenverschiebung zwischen dem ausgesendeten Licht und dem empfangenen reflektierten Licht zu ermitteln. Ein entsprechender Phasenmischer kann zumindest in einem den Bereich des Bilds erfassenden Sensorbereichs der Bilderfassungseinrichtung angeordnet sein. Diese Vorgehensweise bietet sich im Zusammenhang mit beispielsweise sinusförmig modulierten Lichtsignalen des Scheinwerfers an. Beispielsweise kann die Intensität des von dem Scheinwerfer ausgestrahlten Lichts einer sinusförmigen Schwankung unterworfen werden.
Ferner kann im Schritt des Ermittelns ein weiterer zeitlichen Versatzes zwischen einer weiteren Veränderung der Abstrahlcharakteristik des Scheinwerfers und einer weiteren Auswirkung der weiteren Veränderung der Abstrahlcharakteristik auf den Bildbereich der Bilderfassungseinrichtung ermittelt werden. Im Schritt des Bestimmens kann der Abstand zu dem durch den Bildbereich abgebildeten Objekt ferner basierend auf dem weiteren zeitlichen Versatz durchgeführt werden. Beispielsweise kann die Veränderung der Abstrahlcharakteristik eine Erhöhung der Lichtabstrahlung und die weitere Veränderung der Abstrahlcharakteristik eine Verringerung der Lichtabstrahlung des Scheinwerfers darstellen. Dies ermöglicht eine kontinuierliche Durchführung des Verfahrens. Auch kann die Genauigkeit der Abstandsbestimmung verbessert werden.
Gemäß einer Ausführungsform kann im Schritt des Ermittelns ein zusätzlicher zeitlicher Versatz zwischen der Veränderung der Abstrahlcharakteristik des Scheinwerfers und einer Auswirkung der Veränderung der Abstrahlcharakteristik auf einen zusätzlichen Bildbereich der Bilderfassungseinrichtung ermittelt werden. Im Schritt des Bestimmens kann ein zusätzlicher Abstand zu einem durch den zusätzlichen Bildbereich abgebildeten zusätzlichen Objekt in dem Umfeld des Fahrzeugs, basierend auf dem zusätzlichen zeitlichen Versatz bestimmt werden. Dieses Vorgehen ist vorteilhaft, da in unterschiedlichen Bereichen des Bilds abgebildete Objekte unterschiedlich weit von dem Fahrzeug entfernt sein können. Wird das Bild vollständig in eine Mehrzahl von Bereichen unterteilt und wird für die Mehrzahl von Bereichen jeweils eine Abstandsbestimmung durchgeführt, so kann eine Tiefeninformation des gesamten Bildes bestimmt werden. Auf diese Weise kann ein dreidimensionales Abbild des Umfelds erstellt werden.
Der erfindungsgemäße Ansatz kann mit weiteren Verfahren zur Bestimmung von Tiefeninformationen kombiniert werden. So können Tiefeninformationen passiv beispielsweise über Stereo-Kamerasysteme ähnlich dem menschlichen Auge gemessen werden. Bei periodisch wiederkehrenden Mustern kann keine zuverlässige Tiefeninformation gewonnen werden.
Auch können Tiefeninformationen mit aktiven Systemen bestimmt werden, die zum Messen der Tiefeninformationen Energie aussenden. Als Beispiel seien hier Radarsysteme und Laserscanner genannt. Bei einer TOF-Kamera kann mit Hilfe von Infrarotlicht eine Entfernungsmessung mit dem sogenannten „Time Of Flight" (TOF)-Verfahren durchgeführt werden. Dabei wird Infrarotlicht (Blitzlicht) ausgestrahlt und die Zeit bis zum Wiedereintreffen des reflektierten Lichts ermittelt. Die gemessene Zeit hängt über die Lichtgeschwindigkeit mit der (doppelten) Entfernung zum reflektierenden Objekt zusammen. Die Auflösung von TOF-Kameras ist relativ gering. Ein anderer Name ist PMD-Sensor.
Statt einem Blitzlicht kann auch ein moduliertes Trägersignal genutzt werden, um mit einem Phasenmischer die Entfernung zu bestimmen. Das kann beispielsweise bei Laser- Entfernungsmessern genutzt werden. Mit dem Phasenmischer kann die Phasenverschiebung ermittelt werden. Wenn mehrere Frequenzen gemischt werden, kann die Phasenverschiebung von jeder Frequenz ermittelt werden und so die Reichweite und/oder Genauigkeit erhöht werden.
Die vorliegende Erfindung schafft ferner eine Vorrichtung zur Abstandsbestimmung für ein Fahrzeug, das einen Scheinwerfer und eine Bilderfassungseinrichtung aufweist, wobei der Scheinwerfer ausgebildet ist, um zur Ausleuchtung des Umfelds Licht in zumindest einen Bereich des Umfelds auszusenden und die Bilderfassungseinrichtung ausgebildet ist, um von der Umgebung reflektiertes Licht des Scheinwerfers in einem Bild abzubilden, wobei die Vorrichtung ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
1 eine schematische Darstellung eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 eine schematische Darstellung des Auslesens von Bildinformation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
3 eine Darstellung eines Pixelstroms gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
4 eine Darstellung eines Versatz der Beleuchtung entfernter Objekte gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
5 ein Blockschaltbild einer Vorrichtung gemäß einem Ausführungsbeispiels der vorliegenden Erfindung; und
6 ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung eines Fahrzeugs 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100 weist einen Scheinwerfer 102 und eine Kamera 104 auf. Der Scheinwerfer 102 und die Kamera 104 sind in Richtung eines Vorfelds des Fahrzeugs 100 ausgerichtet. Bei dem Scheinwerfer 102 kann es sich um einen von zwei Frontscheinwerfern des Fahrzeugs 100 handelt. Der Scheinwerfer 102 ist ausgebildet, um das Vorfeld des Fahrzeugs 100 für einen Fahrer des Fahrzeugs 100 auszuleuchten. Dazu kann der Scheinwerfer 102 beispielsweise in einem Abblendlichtmodus oder in einem Fernlichtmodus betrieben werden. Gemäß diesem Ausführungsbeispiel handelt es sich bei dem Scheinwerfer 102 um einen LED-Scheinwerfer. Bei der Kamera 104 handelt es sich um eine Fahrzeugkamera, die ausgebildet ist, um das Vorfeld des Fahrzeugs 100 zu erfassen. Die Kamera 104 ist ausgebildet, um eine Bildinformation, die das Vorfeld des Fahrzeugs 100 abbildet, zu erfassen und auszugeben. Ein Erfassungsbereich der Kamera 104 und ein Ausleuchtungsbereich der Scheinwerfers 102 überschneiden sich.
Der Scheinwerfer 102 ist ausgebildet, um zur Beleuchtung des Vorfelds des Fahrzeugs 100 Licht auszusenden. Beispielhaft ist ein von dem Scheinwerfer 102 ausgesendeter Lichtstrahl 112 gezeigt. Gemäß diesem Ausführungsbeispiel trifft der Lichtstrahl 112 auf eine dem Fahrzeug 100 zugewandte Oberfläche eines Objekts, bei dem es sich gemäß diesem Ausführungsbeispiel um eine Rückseite eines Fremdfahrzeugs 114 handelt, das sich im Vorfeld des Fahrzeugs 100 befindet. Das Fahrzeug 100 und das Fremdfahrzeug 114 können sich beispielsweise auf einer Straße in die gleiche Richtung bewegen. In diesem Fall kann für ein Fahrassistenzsystem des Fahrzeugs 100 eine Entfernung zwischen dem Fahrzeug 100 und dem Fremdfahrzeug 114 relevant sein.
Ein Teil des von dem Scheinwerfer 102 ausgestrahlten Lichts wird von dem Fremdfahrzeug 114 reflektiert. Beispielhaft ist ein reflektierter Lichtstrahl 116 gezeigt der von der Oberfläche des Fremdfahrzeugs 114 zu dem Fahrzeug 100 zurück reflektiert wird. Der reflektierte Lichtstrahl 116 trifft auf die Kamera 104 und wird von einem Bildaufnehmer der Kamera 104 erfasst. Ein Bildbereich eines Bildsensors der Kamera 104, auf den der reflektierte Lichtstrahl 116 trifft, bildet den Abschnitt des Fremdfahrzeugs 114 ab, von dem der reflektierte Lichtstrahl 112 ausgesendet wird.
Ändert sich eine Abstrahlcharakteristik des Scheinwerfers 102, so führt dies zu einer Veränderung des Lichtstrahls 112 und des reflektierten Lichtstrahls 116. Die Veränderung des reflektierten Lichtstrahls 116 führt zu einer Veränderung der von dem Bildaufnehmer erfassten Messwerte, die den reflektierten Lichtstrahl 116 abbilden. Auf diese Weise kann eine Auswirkung der Veränderung der Abstrahlcharakteristik des Scheinwerfers 102 von der Kamera 104 detektiert werden. Gemäß diesem Ausführungsbeispiel ist die Kamera 104 ausgebildet, um einen Zeitpunkt des Erfassens der Auswirkung zu bestimmen.
Gemäß diesem Ausführungsbeispiel weist das Fahrzeug 100 eine Steuereinrichtung 118 zum Ansteuern des Scheinwerfers 102, eine Vorrichtung 120 zur Abstandsbestimmung und ein Fahrassistenzsystem 122 auf. Die Steuereinrichtung 118 ist ausgebildet, um die Veränderung der Abstrahlcharakteristik des Scheinwerfers 102 auszulösen.
Die Vorrichtung 120 weist eine Schnittstelle zu der Steuereinrichtung 118 auf, um eine Information über die Veränderung der Abstrahlcharakteristik des Scheinwerfers 102 von der Steuereinrichtung 118 zu empfangen. Ferner weist die Vorrichtung 120 eine Schnittstelle zu der Kamera 104 auf, um eine Information über den Zeitpunkt des Erfassens der Auswirkung der Veränderung der Abstrahlcharakteristik des Scheinwerfers 102 von der Kamera 104 zu empfangen. Die Vorrichtung 120 ist ausgebildet, um basierend auf den empfangenen Zeitpunkten, die eine Zeitdauer zwischen der Veränderung der Abstrahlcharakteristik und dem Erkennen der Veränderung der Abstrahlcharakteristik definieren, einen Abstand zwischen dem Fahrzeug 100 und dem Fremdfahrzeug 114 zu bestimmen. Die Vorrichtung 120 ist ausgebildet, um eine Information über den Abstand an das Fahrassistenzsystem 122 über eine weitere Schnittstelle auszugeben. Das Fahrassistenzsystem 122 kann beispielsweise ausgebildet sein, um basierend auf der Information über den Abstand zu dem Fremdfahrzeug 104 einen Sicherheitsabstand zu dem Fremdfahrzeug 104 einzuhalten.
Der LED-Scheinwerfer 102 benutzt eine Puls-Weiten-Modulation (PWM), die meist in Rechteckform erfolgt, um die Helligkeit des Scheinwerfers 102 einzustellen bzw. Farbverschiebungen zu vermeiden und thermische Belastungen auf ein Minimum zu reduzieren. Bei der Puls-Weiten-Modulation und insbesondere bei der Rechteck-Puls-Weiten-Modulation wird die Leuchtdiode des Scheinwerfers 102 sehr schnell an- und ausgeschaltet. Durch die Trägheit des Auges werden die Schaltvorgänge nicht wahrgenommen. Eine Ausnahme davon ist der „Perlenschur-Effekt", wenn die Frequenz zu niedrig ist. Der Scheinwerfer 102 kann eine Mehrzahl von LEDs aufweisen. Die LEDs können in Modulen geclustert sein, welche die benötigte Helligkeit durch Puls-Weiten-Modulation erzeugen.
Gemäß einer Ausführungsform kann die durch die Puls-Weiten-Modulation der mindestens einen LED des Scheinwerfers 102 eine zur Abstandsmessung geeignete Veränderung der Abstrahlcharakteristik hervorgerufen werden.
Die Kamera 104 nimmt Scheinwerferlicht von LED-Scheinwerfern 102 als „Wabern" im Bild wahr. Werden die LED-Module des Scheinwerfers 102 und die Kamera 104 synchronisiert, so kann aus dem „Wabern" im Bild zusätzlich Tiefeninformation gewonnen werden.
Dies ermöglicht eine 3D-Kartenerstellung mit Messung der Laufzeit, der sogenannten Time-of-Flight, des von dem Scheinwerfer 102 ausgestrahlten Lichts, durch Synchronisation von Scheinwerfer 102 und Kamera 104.
2 zeigt eine schematische Darstellung eines Bildaufnehmers 204, beispielsweise der in 1 gezeigten Kamera, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der Bildaufnehmer 204 weist eine Mehrzahl von Bildpunkten 214 oder Pixeln auf, die in einer Mehrzahl von Reihen und Spalten angeordnet sind. Beispielhaft ist nur einer der Bildpunkte 214 mit einem Bezugszeichen versehen. Der Bildaufnehmer weist beispielhaft sechs Zeilen und sieben Spalten auf. Ein Auslesen von Bildinformation aus dem Bildaufnehmer erfolgt gemäß diesem Ausführungsbeispiel zeilenweise, wie durch Pfeile dargestellt.
In der vierten Zeile sind beispielhaft Bildinformationen der Bildpunkte 214 dieser Zeile als ausgefüllte oder leere Rechtecke gezeigt. Von links gesehen, weisen die ersten drei Bildpunkte 214 eine erste Bildinformation und die weiteren vier Bildpunkte 214 eine zweite sich von der ersten Bildinformation unterscheidende Bildinformation auf. Beispielsweise kann die erste Bildinformation einen geringen Lichtintensitätswert als die zweite Bildinformation repräsentieren. Die Lichtintensität kann ein Maß für die erfasste Helligkeit des Lichts sein. Die Bildinformation eines jeden der Bildpunkte 214 kann als Messwert ausgegeben werden.
Ebenso kann die Darstellung in 2 als ein von der Kamera erzeugtes Bild 204 aufgefasst werden. Das Bild 204 wird fortlaufend aktualisiert, indem die einzelnen Bildpunkte 214 des Bildes zeitlich nacheinander von den Messwerten gelieferten aktuellen Bildinformationen aktualisiert werden.
In Fahrzeugen werden vorwiegend CMOS-Kameras verbaut, da sie einen hohen Dynamikumfang haben. Bei der in 1 gezeigten Kamera kann es sich um eine solche CMOS-Kamera handeln. Bei einer CMOS-Kamera kann jeder Pixel 214 einzeln angesprochen werden. Das Auslesen der Pixel 214 und die Bildaufnahme erfolgen normalerweise zeilenweise, wie es in 2 dargestellt ist. Es gibt zwei Zeiger, sogenannte Pointer, die das gesamte Bild ablaufen. Der erste Zeiger startet die Bildaufnahme im jeweiligen Pixel 214. Der zweite Zeiger läuft dem ersten Zeiger eine definierte Zeit, die der Belichtungszeit entspricht, hinterher, und liest die jeweiligen Messwerte, die Helligkeitswerte, aus. Ein solches zeilenweises Auslesen der Bildinformation ist in 2 dargestellt. Ausgehend von dem links oben angeordneten Bildpunkt 214 werden zunächst die erste Zeile und dann die folgenden Zeilen ausgelesen. Dieser Vorgang wird fortlaufend wiederholt ausgeführt.
3 zeigt eine Darstellung eines Pixelstroms gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der Pixelstrom kann durch auslesen der in 2 gezeigten Bildpunkte erzeugt werden.
Die Pixel 214, von denen nur das letzte des gezeigten Pixelstroms mit einem Bezugszeichen versehen ist, werden wie in 2 gezeigt zeilenweise ausgelesen und können in eine zeitliche Reihenfolge gebracht werden. Dadurch wird aus einem 2D-Bild, wie es in 2 gezeigt ist, ein 1D-Datenstrom, wie er in 3 gezeigt ist. Somit zeigt 3 einen Pixelstrom als zeitlich abhängigen Datenstrom. Die Pixel 214 des Pixelstroms sind somit zeitlich aufeinanderfolgend erfasst worden. Abstände zwischen zwei Erfassungszeitpunkten zweier benachbarter Bildpunkte können für die Bildpunkte 214 des Pixelstroms jeweils gleich sein.
Durch eine Synchronisation der LED-Puls-Weiten-Modulation des in 1 gezeigte Scheinwerfers und den Imager-Auslesezeitpunkten, des in 2 gezeigten Bildaufnehmers kann, zumindest für Ausschnitte des Bildes, eine Tiefeninformation gewonnen werden. Dabei können sowohl die steigende als auch die fallende Flanke der synchronisierten LED-Module des Scheinwerfers genutzt werden.
4 zeigt einen Zusammenhang zwischen einer Veränderung der Leuchtcharakteristik eines Scheinwerfers und einem Pixelstrom einer Kamera, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei dem Scheinwerfer und der Kamera kann es sich um die in 1 gezeigten handeln. Basierend auf dem gezeigten Zusammenhang kann eine Distanzmessung über synchronisierte LED-Module durchgeführt werden.
Das in 4 oben gezeigte Diagramm zeigt einen Verlauf 420 eines Betriebszustands einer Leuchtdiode (LED) über die Zeit t. Die Leuchtdiode wird kontinuierlich ein und ausgeschaltet. Der Verlauf 420 kann einen Verlauf eines Ansteuersignals zum Ansteuern der Leuchtdiode oder einen Verlauf einer Lichtaussendung der LED darstellen. Gezeigt sind vier Zustände, in denen die Leuchtdioden ausgeschaltet ist und drei Zustände, in denen die Leuchtdioden eingeschaltet ist. Die gezeigten Betriebszustände werden durch eine Ansteuerung der Leuchtdioden mit einem Puls-Weiten-Moduliertem Signal, hier in Rechteck Form, erreicht. Ist die Leuchtdioden ausgeschaltet, so sendet sie kein Licht aus. Ist die Leuchtdioden eingeschaltet, so sendet Licht aus. Es handelt sich somit um eine getaktete Lichtquelle. Der fortlaufende Wechsel der Betriebszustände der Leuchtdioden führt somit zu einer fortlaufenden Veränderung der Abstrahlcharakteristik der Leuchtdiode.
Das mittlere in 4 gezeigte Diagramm zeigt einen Pixelstrom über die Zeit t. Die Bildpunkte 214 des Pixelstroms weisen Bildinformationen auf, die durch die Betriebszustände der Leuchtdiode hervorgerufen werden. Der Pixelstrom kann beispielsweise von dem in 2 gezeigten Bildaufnehmer unter der Annahme erzeugt worden sein, dass sich der Bildaufnehmer sehr nah an der Leuchtdiode befindet, so dass die Laufzeit des von der Leuchtdiode ausgesendeten Lichts vernachlässigt werden kann. Die ersten zwei Bildpunkte 214 wurden zu Zeitpunkten erfasst, in denen die Leuchtdioden ausgeschaltet ist. Daher zeigt eine Bildinformation der ersten zwei Bildpunkte 214 jeweils eine geringe Helligkeit an. Die folgenden zwei Bildpunkte wurden zu Zeitpunkten erfasst, in denen die Leuchtdioden eingeschaltet ist. Daher zeigt eine Bildinformation der zweiten zwei Bildpunkte 214 jeweils eine große Helligkeit an. Die nächsten zwei Bildpunkte 214 sind jeweils wieder zu Zeitpunkten erfasst worden, in denen die Leuchtdiode ausgeschaltet ist. Somit weisen diese zwei Bildpunkte 214 jeweils wieder eine geringe Helligkeit auf. Die nächsten zwei Bildpunkte 214 sind jeweils wieder zu Zeitpunkten erfasst worden, in denen die Leuchtdioden eingeschaltet ist. Diese Reihe lässt sich so lange fortsetzen, wie die Leuchtdioden abwechselnd eingeschaltet und ausgeschaltet wird. Weist ein Bildpunkt 214 eine geringe Helligkeit und der folgende Bildpunkte 214 eine große Helligkeit auf, oder umgekehrt, so kann daraus geschlossen werden, dass zwischen den Zeitpunkten in denen die Bildinformation der beiden benachbarten Bildpunkte 214 erfasst wurde eine Veränderung der Abstrahlcharakteristik der Leuchtdiode stattgefunden hat, die Leuchtdiode also entweder eingeschaltet oder ausgeschaltet wurde.
Das in 4 unten gezeigte Diagramm zeigt einen weiteren Pixelstrom über die Zeit t. Die Bildpunkte 214 des weiteren Pixelstroms weisen Bildinformationen auf, die durch die in dem oberen Diagramm gezeigten Betriebszustände der Leuchtdiode hervorgerufen werden. Der Pixelstrom kann beispielsweise von dem in 2 gezeigten Bildaufnehmer unter der Annahme erzeugt worden sein, dass der Bildaufnehmer weit von Leuchtdiode entfernt angeordnet ist, so dass die Laufzeit des von der Leuchtdiode ausgesendeten Lichts nicht vernachlässigt werden kann. Eine solche entfernte Anordnung ist beispielsweise in 1 gezeigt, bei der das ausgestrahlte Licht reflektiert wird, bevor es auf den Bildaufnehmer der Kamera trifft. Die ersten drei Bildpunkte 214 des weiteren Pixelstroms weisen eine geringe Helligkeit auf. Diese drei Bildpunkte 214 wurden zu Zeitpunkten erfasst, in denen kein Licht der Leuchtdiode auf den Bildaufnehmer auftrifft, weil die Leuchtdiode ausgeschaltet ist. Die folgenden zwei Bildpunkte 214 des weiteren Pixelstroms weisen eine große Helligkeit auf. Diese zwei Bildpunkte 214 wurden zu Zeitpunkten erfasst, in denen Licht der Leuchtdiode auf den Bildaufnehmer auftrifft, da die Leuchtdiode eingeschaltet ist. Aufgrund des Verlaufs 240 der Betriebszustände der Leuchtdiode weisen weiteren folgenden zwei Bildpunkte 214 wieder eine niedrige Helligkeit, die weiteren folgenden zwei Bildpunkte 214 wieder eine große Helligkeit, die weiteren folgenden zwei Bildpunkte 214 wieder eine niedrige Helligkeit und die die weiteren folgenden zwei Bildpunkte 214 wieder eine große Helligkeit auf. Wie durch die Pfeile zwischen dem mittleren Pixelstrom und dem unteren weiteren Pixelstrom angedeutet ist, besteht ein zeitlicher Versatz zwischen entsprechenden Bildpunkten des mittleren Pixelstroms und des unteren weiteren Pixelstroms. Der zeitliche Versatz wird durch die Laufzeit des Lichts von der Leuchtdiode bis zu dem Bildaufnehmer hervorgerufen. Weist ein Bildpunkt 214 des weiteren Pixelstroms eine geringe Helligkeit und der folgende Bildpunkte 214 eine große Helligkeit auf, oder umgekehrt, so kann daraus geschlossen werden, dass zwischen den Zeitpunkten in denen die Bildinformation der beiden benachbarten Bildpunkte 214 erfasst wurde, abzüglich der Laufzeit des Lichts, eine Veränderung der Abstrahlcharakteristik der Leuchtdiode stattgefunden hat, die Leuchtdiode also entweder eingeschaltet oder ausgeschaltet wurde.
Somit kann aus dem bekannten Zeitpunkt der Veränderung der Abstrahlcharakteristik der Leuchtdiode und einem aus dem weiteren Pixelstrom bestimmten Zeitpunkt des Erfassens der Auswirkung der Veränderung der Abstrahlcharakteristik der Leuchtdiode auf die erfasste Bildinformation der Bildpunkte die Laufzeit des Lichts und somit ein von dem Licht zwischen der Leuchtdiode und dem Bildaufnehmer zurückgelegter Weg ermittelt werden.
Beispielhaft ist in 4 ein Zeitpunkt t1 gezeigt, zu dem eine Veränderung der Abstrahlcharakteristik der Leuchtdiode durchgeführt wird. Zu einem Zeitpunkt t2 wirkt sich die Veränderung auf den weiteren Pixelstrom aus, indem sich die Helligkeit der Bildpunkte 214 des weiteren Pixelstroms verändert. Aus der Differenz der Zeitpunkte t2 und t1 lässt sich die Laufzeit des Lichts und unter Kenntnis der Lichtgeschwindigkeit die zurückgelegte Weglänge des Lichts bestimmen. Die Veränderung der Helligkeit der Bildpunkte 214 zum Zeitpunkt t2 kann beispielsweise mit einer geeigneten Vergleichseinrichtung bestimmt werden.
Zusammenfassend ist in 4 somit oben die Pulsweitenmodulation von LED-Modulen (oben), beispielsweise des in 1 gezeigten Scheinwerfers, in der Mitte eine direkte Auswirkung der Modulation als zeitlich ablaufender (Bild-) Datenstrom und unten der zeitliche Versatz der Beleuchtung bei entfernten Objekten gezeigt.
Je nachdem, von welchem Bild-Bereich der Abstand benötigt wird, findet die Synchronisation zu einem anderen Zeitpunkt statt, da die Messung nur an Hand von Zustandswechseln (Flanken) der LED-Beleuchtung durchgeführt werden kann.
Der Bildbereich wird aus einer Vielzahl möglicher Bildbereiche so gewählt, dass er für die benötigte Aufgabe optimal ist. So kann beispielsweise bei einer Schätzung des vertikalen Verlaufes der Straßenoberfläche, der beispielsweise durch Kuppen oder Senken beeinflusst wird, der Bildbereich so gewählt werden, dass er einem Unsicherheitsbereich in der Messung einer ersten Abschätzung der Straßenoberfläche entspricht. Durch die zusätzliche Vermessung des Bereiches mit dem hier beschriebenen Verfahren kann der Unsicherheitsbereich genauer vermessen werden, was zu genaueren Ergebnissen und einer höheren Detektionsreichweite führt.
Ebenso ist es möglich den Bildbereich so zu wählen, dass kontinuierlich ein anderer Bereich vermessen wird, wodurch ein scannendes Verfahren beispielsweise zur Vermessung der Straßenoberfläche möglich wird.
Die Bildaufnahme erfolgt insbesondere häufig bei Bildaufnehmern in CMOS-Technik (CMOS = Complex Metal Oxide Semiconductor) zeilenweise. Analog kann die Bildaufnahme spaltenweise erfolgen. Beispielsweise lassen sich aus Zeilen durch Drehung des Imagers Spalten erhalten. In jeder Zeile wird die Belichtung jedes einzelnen Pixels nacheinander angestoßen. Dies hat zur Folge, dass der Belichtungszeitpunkt jedes einzelnen Pixels ein anderer ist und leicht zu den Nachbarn in der Zeile verschoben ist. Das Auslesen erfolgt analog zum Starten der Belichtung zeilenweise nach einer einstellbaren Belichtungszeit. Durch das zeilenweise serielle Starten und Auslesen der lichtempfindlichen Elemente in Form der Bildpunkte oder Pixel ergibt sich implizit ein Pixelstrom.
Die Synchronisation zwischen Scheinwerfermodul und Bildaufnahmeeinheit kann so erfolgen, dass der Beginn der Belichtung der ersten Elemente des relevanten Bildbereichs mit der Veränderung der Lichtverteilung bzw. einer Flanke im PWM-Betrieb (PWM = Puls-Weiten-Modulation) zusammenfällt.
In einem anderen Ausführungsbeispiel ist die Synchronisation zu einem Zeitpunkt, an dem an Hand einer vorherigen Schätzung oder durch eine Schätzung eines anderen Messprogramms, z.B. einer Oberflächenschätzung der Straße, vermutet wird, dass die Flanke im relevanten Bild-Bereich auftritt. Dadurch ist es möglich, dass die Messung mit dem vorliegenden Verfahren noch genauer durchgeführt werden kann.
Die Synchronisation kann hardwareseitig und softwareseitig durchgeführt werden. Es kann beispielsweise eine eigenständige Kommunikationsverbindung bestehen, über die ein Synchronisations-Signal übertragen wird, das bei Empfang zu einer Synchronisation führt. Es ist auch möglich, dass Steuergeräte Zeitstempel miteinander austauschen und einen Synchronisations-Zeitpunkt aushandeln. Neben einer Kopplung innerhalb des Fahrzeugs ist in einer besonders vorteilhaften Ausführung eine direkte Kopplung der Synchronisation über das Scheinwerferlicht möglich. Der Scheinwerfer ist ausgebildet, um dabei unabhängig von der Bildaufnahmeeinheit periodisch die Lichtverteilung zu verstellen. Dies kann beispielsweise auch über eine periodische Puls-Weiten-Modulation erfolgen. Die Bildaufnahmeeinheit ist ausgebildet, um sich an das periodische Signal anzupassen, indem ein Phasenversatz in der periodischen Bildaufnahme eingefügt wird und so der relevante Bildbereich vermessen werden kann.
Treten andere Verkehrsteilnehmer auf, können diese durch die Kamera, aber auch andere Sensoren wie z.B. Radar- oder Ultraschallsensoren erkannt werden. Durch Kenntnis der anderen Verkehrsteilnehmer kann auf den von ihnen eingebrachten Lichtanteil reagiert werden. Neben einem Verwerfen der Mess-Ergebnisse ist es auch möglich ein spezielles Muster in der zeitlichen Abfolge der Lichtverteilungen zu erzeugen, was in der Bildaufnahmeeinheit sichtbar wird, vergleichbar mit Code-Multiplex CDMA (Code Division Multiple Access) in der Nachrichtentechnik.
Eine Störung durch das Licht anderer Verkehrsteilnehmer hängt unter anderem von deren Lichtquelle ab. So werden Scheinwerfer mit Halogen-Glühlampen oder Hochdruck-Gasentladungslampen („Xenon“) nicht getaktet bzw. sie besitzen einen deutlich geringeren Modulationsgrad im Lichtsignal als Scheinwerfer auf Basis von LEDs (Leuchtdioden), die eine schnelle Reaktionszeit haben. Durch ein scannendes Verfahren, bei dem durch eine Phasenverschiebung unterschiedliche Bildbereiche ausgewertet werden, kann der nahezu konstante Anteil bei diesen Lichtquellen ermittelt und herausgerechnet werden.
Mehrere Tiefenmessungen können parallel durchgeführt werden, indem Scheinwerfer und Bildaufnahmeeinheit mehrfach synchronisiert werden. Besonders vorteilhaft ist die Anpassung der Scheinwerfer, sodass eine kontinuierliche Bildaufnahme möglich wird. Beim Scheinwerfer kann die periodische Änderung der Lichtverteilung bei Puls-Weiten-Modulation (PWM) immer wieder in der Phase so angepasst werden, dass eine Messung zu unterschiedlichen Zeitpunkten möglich wird. Die Anpassung der Phase des Scheinwerfer-Steuergerätes kann einen Einfluss auf die Helligkeit der Scheinwerfer haben, was vorteilhafterweise durch Anpassung der Dauer der entsprechenden Lichtverteilung, z.B. dem An-Zustand bei der PWM, bei dem einzelne Leuchtdioden Licht aussenden, ausgeglichen wird.
Bei der Bestimmung der Entfernung kann das in 4 gezeigte Rechtecksignal verwendet werden. Die Ausführung als Rechteck ist vorteilhaft, da durch den digitalen Charakter des Signals einfache Schaltungen möglich sind. Dabei wirkt sich jedoch der hohe Modulationsgrad bzw. große Grad der Signaländerung aus, da dies zu einer starken zeitlichen Veränderung der Lichtverhältnisse führen kann („Wabern“), was sich auf andere Messalgorithmen wie beispielsweise der Spurerkennung auswirken kann.
Wenn in einem Ausführungsbeispiel für die Auswertung des Abstandes eine geringere Modulation ausreichend ist, kann der Modulationsgrad reduziert werden. Prinzipiell können auch andere Formen als das in 4 gezeigte Rechteck zur Entfernungsbestimmung genutzt werden. Beispielsweise kann ein geringer konstanter Lichtstrom für geringeres „Wabern" des Bildes sorgen. In diesem Fall kann der der Leuchtdiode zum Betrieb zugeführte Gleichstrom mit einem Offset versehen werden.
An Stelle eines Rechtecksignals mit einer gewissen Amplitude A (Effektivwert entspricht der halben Amplitude A/2) kann auch ein Gleichsignal mit dem Viertel der gewissen Amplitude A/4 verwendet werden mit einem aufaddierten Rechtecksignal der halben Amplitude A/2 (Effektivwert entspricht A/4). In Summe kann so ein Signal mit gleichem Effektivwert (A/2) erzeugt werden, wobei ein deutlich geringerer Modulationsgrad erreicht wurde (Amplitude A/2 statt Amplitude A).
5 zeigt ein Blockschaltbild einer Vorrichtung 120 zur Abstandsbestimmung für ein Fahrzeug, gemäß einem Ausführungsbeispiels der vorliegenden Erfindung. Bei der Vorrichtung 120 kann es sich um die in 1 gezeigte Vorrichtung handeln. Die Vorrichtung 120 weist eine Einrichtung 522 zum Ermitteln eines zeitlichen Versatzes zwischen einer Veränderung einer Abstrahlcharakteristik des Scheinwerfers und einer Auswirkung der Veränderung der Abstrahlcharakteristik auf einen Bildbereich des Bildes der Bilderfassungseinrichtung und eine Einrichtung 524 zum Bestimmen eines Abstands zu einem durch den Bildbereich abgebildeten Objekt in dem Umfeld des Fahrzeugs, basierend auf dem zeitlichen Versatz, auf.
Gemäß diesem Ausführungsbeispiel ist die Einrichtung 522 zum Ermitteln ausgebildet, um erfasste Lichtintensitäten von Bildpunkten auszuwerten, und um basierend auf einer Veränderung der Lichtintensitäten auf den Zeitpunkt der Auswirkung der Veränderung zu schließen. Die Bildpunkte können beispielsweise Bildpunkte des in 4 gezeigten weiteren Pixelstroms sein. Ferner ist die die Einrichtung 522 zum Ermitteln ausgebildet, um basierend auf dem Zeitpunkt der Auswirkung und einem bekannten Zeitpunkt der Veränderung den zeitlichen Versatz zu ermitteln. Die die Einrichtung 522 zum Ermitteln kann ferner ausgebildet sein, um eine Auswertung der Lichtintensitäten der Bildpunkte mit dem bekannten Zeitpunkt der Veränderung zu synchronisieren. Zur Durchführung der Synchronisation zwischen Scheinwerfer und Kamera können geeignete Signale zwischen Scheinwerfer und Kamera oder zwischen Scheinwerfer und Kamera geschalteten Einrichtungen ausgetauscht werden.
Die Einrichtung 524 zum Bestimmen des Abstands ist ausgebildet, um basierend auf dem von der Einrichtung 522 zum Ermitteln ermittelten zeitlichen Versatz und Parametern des Scheinwerfers und der Kamera den Abstand zu dem abgebildeten Objekt zu bestimmen. Die Parameter können beispielsweise Signallaufzeiten des Ansteuersignals zum Ansteuern des Scheinwerfers oder der Messwerte der Kamera, eine Ansprechzeit des Scheinwerfers auf das Ansteuersignal oder einen Abstand zwischen dem Scheinwerfer und der Kamera betreffen.
Das Messprinzip „Kamera mit LED-Scheinwerfer" ist nicht auf Mono-Video-Kameras beschränkt. Es kann auch bei mehreren Kameras eingesetzt werden, um z.B. Stereo-Video zu unterstützen. Bei periodisch wiederkehrenden Mustern kann die Stereo-Kamera keine Entfernung schätzen (vgl. beim Menschen „Magic Eye"-Bilder, die aus 2D Information = Bild einen 3DEindruck erwecken können). Weiterhin könnte durch das Messprinzip „Kamera mit LED-Scheinwerfer" die Genauigkeit und/oder max. Distanz der Entfernungsmessung verbessert werden. Der erfindungsgemäße Ansatz der Abstandsbestimmung lässt sich somit mit bekannten Ansätzen zur Abstandsbestimmung kombinieren, um die Abstandsbestimmung zu verbessern.
Wenn ein Imager mit Phasenmischern bestückt wird, kann an den Stellen, an denen der Imager mit den Phasenmischern bestückt ist, eine „echte" Distanzmessung an Hand von vorzugsweise sinusförmig modulierten Lichtsignalen erfolgen, ähnlich einem Laser-Entfernungsmesser. Der Imager kann dabei vereinzelt mit Phasenmischern bestückt sein. Anstelle von sinusförmigen Signalen können auch andere geeignete Signalformen eingesetzt werden.
Bei der beschriebenen Funktion wird das emittierende Element mit einem periodischen Signal, z.B. Rechteck- oder Sinussignal, angesteuert, wodurch der resultierende Lichtstrom ebenfalls periodisch ist. Die lichtempfindlichen Empfangselemente erfassen kontinuierlich den Lichtstrom und multiplizieren diesen mit dem periodisch ausgesendeten Signal, je nach Ausführungsbeispiel auch nur mit einer binarisierten Form bzw. einem Vorzeichen des ausgesendeten Signals. Der Mittelwert des Ergebnisses der Multiplikation hängt dann von der Phasenverschiebung von ausgesendetem und empfangenem Signal ab, was wiederum von der Signallaufzeit, d. h. dem Abstand, abhängt. Durch Messung des Mittelwertes nach dem Phasenmischen kann demnach der Abstand gemessen werden. Durch Nutzung von mehreren aufsummierten Signalen und entsprechender Anzahl an Phasenmischern kann die Genauigkeit der Abstandsmessung erhöht werden.
Gemäß einem Ausführungsbeispiel kann ein so aufgebauter Imager (Bildaufnahmeeinheit) neben Elementen zur klassischen Bildaufnahme auch einzeln auf der Bildaufnahmefläche verteilte Elemente mit Phasenmischern besitzen. Durch Synchronisation von ausgesendetem Signal der Scheinwerfer (z.B. PWM) und Signal zur Multiplikation, kann an diesen vereinzelten Stellen durch Auswerten des analogen empfangenen Signalverlaufs die Entfernung zu diesem Bildpunkt gemessen werden. Das Bild kann dann mit Entfernungsinformationen angereichert werden, wodurch die Leistungsfähigkeit der Messalgorithmen insgesamt verbessert werden kann.
Gemäß einem Ausführungsbeispiel kann die Entfernungsmessung zusätzlich mit für den Fahrer nicht sichtbaren Licht durchgeführt werden, um auch Bereiche zu erfassen, in denen andere Verkehrsteilnehmer geblendet werden können und daher nicht dauerhaft mit sichtbarem Licht zur Abstandsmessung beleuchtet werden sollen. Vorteilhaft ist für diese Ausführungsform beispielsweise die Verwendung von Licht im Infrarotbereich, wie es bei aktiven Nachtsichtsystemen eingesetzt wird.
Gemäß einem weiteren Ausführungsbeispiel kann die in 5 gezeigte Einrichtung 522 zum Ermitteln ausgebildet sein, um eine Phasenverschiebung zwischen einem von dem Scheinwerfer ausgesendeten Lichtsignals und einem von der Kamera erfassten reflektierten Lichtsignal zu bestimmen oder eine Information über eine solche Phasenverschiebung zu empfangen. Die Einrichtung 522 ist ferner ausgebildet, um den zeitlichen Versatz aus der Phasenverschiebung zu ermitteln. Ist die Einrichtung 522 zum Ermitteln ausgebildet sein, um die Phasenverschiebung zu ermitteln, so kann die Einrichtung ausgebildet sein, um ein moduliertes Ansteuersignal zum Ansteuern des Scheinwerfers zu empfangen und mit dem reflektierten Lichtsignal zu kombinieren, um die Phasenverschiebung zu ermitteln.
6 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels zur Abstandsbestimmung für ein Fahrzeug, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Gemäß dem Verfahren erfolgt die Bestimmung eines Abstands zu einem Objekt basierend auf einer Veränderung der Abstrahlcharakteristik eines Scheinwerfers und der nachfolgenden Detektion der Veränderung mit Hilfe einer Kamera des Fahrzeugs. Das Verfahren kann beispielsweise mittels der in 1 beschriebenen Einrichtungen umgesetzt werden.
In einem Schritt 620 wird zu einem ersten Zeitpunkt die Abstrahlcharakteristik des Scheinwerfers verändert. Eine Information über den ersten Zeitpunkt kann zur weiteren Verwendung bereitgestellt oder bestimmt werden. In einem Schritt 622 wird ein zeitlicher Versatz zwischen der Veränderung der Abstrahlcharakteristik und einem Eintreffen des aufgrund der Veränderung veränderten Lichts an der Kamera ermittelt. In einem Schritt 624 wird der Abstand zu dem Objekt basierend auf dem zeitlichen Versatz bestimmt.
Aus den gesammelten Distanzinformationen von verschiedenen Raumrichtungen kann eine Tiefenkarte erstellt werden, die wiederum anderen Funktionen, beispielsweise Fahrassistenzsystemen des Fahrzeugs, zur Verfügung stehen kann.
Die vorgestellte Tiefenmessung kann insbesondere bei Dunkelheit, beispielsweise nachts, durchgeführt werden. Bei Tage kann die Tiefenmessung, z.B. über LED-Tagfahrlicht, ausgeführt werden.
Die Tiefenmessung über Time-of-Flight kann nicht nur bei LED-Scheinwerfern, sondern auch bei anderen Scheinwerfertypen oder Scheinwerfer- Lichtquellen durchgeführt werden. Solche Scheinwerfer können auf einer Glühlampe, beispielsweise einer Halogenlampe, oder einer Hochdruckgasentladungslampe, beispielsweise einer Xenonlampe basieren. Gemäß einem solchen Ausführungsbeispiel wird der von dem Scheinwerfer ausgesendete Lichtstrom einmalig oder fortlaufen verändert, beispielsweise zerhackt. Die Veränderung kann beispielsweise über eine Blende oder eine Ablenkung durch eine Mikrospiegel-Anordnung erfolgen. Durch eine solche Einrichtung zur Veränderung des ausgesendeten Lichtstroms kann der Lichtstrom und damit auch die Abstrahlcharakteristik des Scheinwerfers auch bei Lichtquellen, die aufgrund ihrer Trägheit eigentlich keine TOF-Tiefenmessung ermöglichen, auf eine zur Abstandsbestimmung geeignete Weise verändert werden.
Beispielsweise kann der in 4 gezeigte Verlauf 420 realisiert werden, indem ein permanent von einer Lichtquelle des Scheinwerfers ausgestrahlter Lichtstrahl von einer geeigneten Einrichtung abwechselnd durchgelassen und blockiert oder abgelenkt wird.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10254806 B4 [0003]

Claims

Verfahren zur Abstandsbestimmung für ein Fahrzeug (100), das einen Scheinwerfer (102) und eine Bilderfassungseinrichtung (104) aufweist, wobei der Scheinwerfer ausgebildet ist, um zur Ausleuchtung des Umfelds Licht (112) in zumindest einen Bereich des Umfelds auszusenden und die Bilderfassungseinrichtung ausgebildet ist, um von der Umgebung reflektiertes Licht (116) des Scheinwerfers in einem Bild (204) abzubilden, wobei das Verfahren die folgenden Schritte umfasst: Ermitteln (622) eines zeitlichen Versatzes zwischen einer Veränderung einer Abstrahlcharakteristik des Scheinwerfers (102) und einer Auswirkung der Veränderung der Abstrahlcharakteristik auf einen Bildbereich des Bildes der Bilderfassungseinrichtung; und Bestimmen (624) eines Abstands zu einem durch den Bildbereich abgebildeten Objekt (114) in dem Umfeld des Fahrzeugs, basierend auf dem zeitlichen Versatz.
Verfahren gemäß Anspruch 1, mit einem Schritt des Auswertens von zeitlich nacheinander erfassten Lichtintensitäten zumindest eines in dem Bildbereich angeordneten Bildpunktes (214), um einen Zeitpunkt der Auswirkung der Veränderung zu ermitteln.
Verfahren gemäß Anspruch 2, mit einem Schritt des Synchronisierens des Auswertens der Lichtintensitäten des zumindest einen in dem Bildbereich angeordneten Bildpunktes (214) mit einem Zeitpunkt der Veränderung der Abstrahlcharakteristik des Scheinwerfers (102).
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Empfangens einer Information über einen ersten Zeitpunkt, der einen Zeitpunkt der Veränderung der Abstrahlcharakteristik des Scheinwerfers (102) repräsentiert, einem Schritt des Empfangens einer Information über einen zweiten Zeitpunkt, der einen Zeitpunkt eines Erkennens der Auswirkung der Veränderung der Abstrahlcharakteristik auf den Bildbereich der Bilderfassungseinrichtung (104) repräsentiert, und bei dem im Schritt des Ermittelns (622) der zeitliche Versatz basierend auf dem ersten Zeitpunkt und dem zweiten Zeitpunkt bestimmt wird.
Verfahren gemäß einem der vorangegangenen Ansprüche mit einem Schritt des Erzeugens eines Veränderungssignals, das ausgebildet ist, um die Veränderung der Abstrahlcharakteristik des Scheinwerfers (102) auszulösen, wobei der Scheinwerfer mindestens eine Leuchtdiode umfasst und das Veränderungssignal ausgebildet ist, um zur Veränderung der Abstrahlcharakteristik eine Helligkeit der Leuchtdiode zu erhöhen oder zu verringern, oder wobei das Veränderungssignal ausgebildet ist, um zur Veränderung der Abstrahlcharakteristik einen Strahlengang des ausgesendeten Lichts (112) des Scheinwerfers zu verändern.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Ermittelns (622) der zeitliche Versatz als eine Phasenverschiebung zwischen dem von dem Scheinwerfer (102) ausgesendeten Licht (112) und dem in dem Bildbereich abgebildeten reflektierten Lichts (116) des Scheinwerfers ermittelt wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Ermittelns (622) ein weiterer zeitlicher Versatz zwischen einer weiteren Veränderung der Abstrahlcharakteristik des Scheinwerfers (102) und einer weiteren Auswirkung der weiteren Veränderung der Abstrahlcharakteristik auf den Bildbereich der Bilderfassungseinrichtung (104) ermittelt wird, und im Schritt des Bestimmens (624) der Abstand zu dem durch den Bildbereich abgebildeten Objekt (114) ferner basierend auf dem weiteren zeitlichen Versatz durchgeführt wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Ermittelns (622) ein zusätzlicher zeitlicher Versatz zwischen der Veränderung der Abstrahlcharakteristik des Scheinwerfers (102) und einer Auswirkung der Veränderung der Abstrahlcharakteristik auf einen zusätzlichen Bildbereich der Bilderfassungseinrichtung (104) ermittelt wird, und im Schritt des Bestimmens (624) ein zusätzlicher Abstand zu einem durch den zusätzlichen Bildbereich abgebildeten zusätzlichen Objekt in dem Umfeld des Fahrzeugs, basierend auf dem zusätzlichen zeitlichen Versatz bestimmt wird.
Vorrichtung zur Abstandsbestimmung für ein Fahrzeug (100), die ausgebildet ist, um die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 8 durchzuführen.
Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, wenn das Programm auf einer Vorrichtung ausgeführt wird.