DE102019114533A1

DE102019114533A1 - Erkennung von visible-light-communication-quellen über einen hohen dynamikbereich

Info

Publication number: DE102019114533A1
Application number: DE102019114533.3A
Authority: DE
Inventors: David M. Herman; Grant Inskeep
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2018-05-31
Filing date: 2019-05-29
Publication date: 2019-12-05
Also published as: US10193627B1; CN110557574A

Abstract

Ein Visible-Light-Communication-Empfänger (VLC-Empfänger) nimmt Bilder einer Szene mit einer Kamera auf, um Blinklichtsignale von einem VLC-Sender, wie einem Array von LEDs, zu erkennen. Das Verfahren setzt eine Bildfolge mit erweitertem Dynamikbereich aus den Einzelbildern zusammen. In der erweiterten Folge wird mindestens eine VLC-Quelle erkannt, wobei die Quelle ein jeweiliges Unterfenster innerhalb der Szene belegt. Eine Bildgebungsbelichtung, wie die Belichtungszeit, die zum Aufnehmen von Bildern am Unterfenster verwendet wird, wird entsprechend einer Helligkeit der jeweiligen VLC-Quelle optimiert. Dann wird eine Vielzahl von Unterfenster-Bildern unter Verwendung der optimierten Belichtung aufgenommen. Dann werden VLC-Daten, die in den Unterfenster-Bildern sichtbar sind, dekodiert.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft im Allgemeinen die Kommunikation mit sichtbarem Licht (Visible Light Communication - VLC), bei der digitale Daten gesendet werden, und insbesondere die Erkennung und Isolierung mehrerer VLC-Quellen in Videokamerabildern und die Optimierung der Signal-Rausch-Leistung und der Datenübertragungsgeschwindigkeit durch Aufnehmen von Bildern in Teilfenstern für jede VLC-Quelle.
ALLGEMEINER STAND DER TECHNIK
Auf sichtbarem Licht beruhende Kommunikation (VLC), auch LiFi genannt, ist eine drahtlose Datenkommunikationstechnologie, die aktiv für Automobilanwendungen und für Verbraucherelektronikanwendungen erforscht wird. Zur Datenübertragung gehört das Modulieren (d. h. Blinken) einer Lichtquelle, wie etwa einer Leuchtdiode (Light Emitting Diode - LED), zum Kodieren von Daten und das Empfangen des modulierten Lichts an einem Lichtsensor, wie etwa einer Fotodiode oder einer Kamera, zum Dekodieren der Daten.
Ein Fahrzeug mit einem VLC-Empfänger kann VLC-Signale von einer festen Quelle (z. B. einer LED-Verkehrsampel) oder von einer mobilen Quelle (z. B. einem LED-Signallicht, wie einem Rücklicht, eines anderen Fahrzeugs) empfangen. Die gemeinsam genutzten Daten können sich auf Verkehrsinformationen oder Verkehrslenkung, Gefahrenwarnungen, Navigationshilfen und viele andere Arten von Daten beziehen. Ein bevorzugter Bildsensor ist eine „Kamera auf einem Chip“, die ein zweidimensionales Array von Pixeln umfasst, um aufeinanderfolgende Einzelbilder aufzunehmen, die mit einer Rate aufgenommen wurden, die das Blinken der Lichtquelle unterscheiden kann. Eine Kamera mit einem weiten Sichtfeld ist wünschenswert, um eine VLC-Bildquelle oder sogar mehrere Quellen gleichzeitig zu erkennen und nachzuverfolgen. Darüber hinaus können mehrere Kameras ein Mosaik aus benachbarten oder überlappenden Bildern mit begrenzten Sichtfeldern bereitstellen, die zusammengefügt werden können. Ein typischer VLC-Sender verwendet eine einzelne LED oder ein Array von LEDs.
Bildsensoren auf Basis von komplementären Metalloxidhalbleitern (Complementary Metal-Oxide Semiconductor - CMOS) sind besonders vorteilhaft, da sie eine gute Bildqualität bei geringem Leistungsbedarf bieten, kostengünstig sind und häufig bereits als Objekterkennungssensor für andere Fahrzeugsysteme (z. B. ein hochentwickeltes Fahrerassistenzsystem, wie etwa eine Spurabweichungsüberwachung, einen Toter-Winkel-Detektor, eine adaptive Geschwindigkeitsregelung, ein Parkleitsystem) in einem Fahrzeug vorhanden sind. CMOS-Bildsensoren sind auch bei anderen Arten von Vorrichtungen üblich, die als VLC-Empfänger verwendet werden können, wie etwa Smartphones.
Ein CMOS-Bildgeber verwendet einen als rollenden Verschluss (Rolling Shutter) bekannten Bildausleseprozess, bei dem die Bildbelichtungsfunktion und die Auslesefunktionen zeilenweise ausgeführt werden (d. h. die Pixelzeilen werden Zeile für Zeile in ein digitales Signal umgewandelt). Die Verwendung eines rollenden Verschlusses führt zu einem zeitlichen Aliasing, wobei die Pixelzeilen/-spalten des Bildes eine geringfügige Zeitverzögerung beinhalten, die Artefakte in sich bewegenden Objekten oder Änderungen der Beleuchtungspegel in der Szene aufnehmen kann, da verschiedene Zeilen innerhalb eines einzelnen Einzelbildes dasselbe Objekt zu etwas unterschiedlichen Zeiten aufnehmen. Diese Eigenschaft des rollenden Verschlusses wurde verwendet, um die Datenrate einer VLC-Übertragung zu erhöhen, indem die LED-Quelle mit einer Frequenz blinkt, die den Belichtungszeiten aufeinanderfolgender Zeilen entspricht (wobei erforderlich ist, dass die LED-Quelle eine Vielzahl der Pixelzeilen in der Kamera abdeckt). Das sich daraus ergebende Bild der LED-Quelle zeigt folglich abwechselnde Bänder von hellen und dunklen Linien, die aufeinanderfolgende Bits in einem seriellen Datenstrom kodieren. Ein Beispiel ist in der US-Anmeldung mit der Seriennummer 15/975,033, eingereicht am 9. Mai 2018, mit dem Titel „Visible Licht Communication System With Pixel Alignment For High Data Rate“ gezeigt, auf die hier in vollem Umfang Bezug genommen wird.
Die Außenumgebungen für Automobilanwendungen von lichtbasierter Kommunikation bringen mehrere wesentliche Herausforderungen mit sich. Eine wesentliche Herausforderung besteht darin, die Datenübertragung von verhältnismäßig schwachen LiFi-Quellen zu erkennen und zu lesen, bei unter anderem hellen Umgebungslichtquellen, wie etwa der Sonne. Eine weitere Herausforderung besteht darin, dass möglicherweise mehrere LiFi-Vorrichtungen gleichzeitig mit unterschiedlicher Lichtintensität senden. Dies führt zu einer schwierigen Umgebung zum Erkennen von schwachen Signalen oder Signalen, bei denen die EIN-/AUS-Zustände schwer zu unterscheiden sind. Alternativ können die Belichtungseinstellungen der Kamera zu Überstrahlungsartefakten führen, wenn der LiFi-Sender während des Betriebs in der Nacht abgebildet wird. Fotodioden würden einen großen Dynamikbereich in der Analog-Digital-Antwort bieten, aber sie wären nicht in der Lage, die Datenübertragung von LEDs ähnlicher Intensität zu unterscheiden, da Fotodioden nicht die Lager einer Lichtquelle erkennen, sondern nur die Intensität. Darüber hinaus fehlt einer Fotodiode die Fähigkeit einer Kamera, einen LiFi-Sender zu lokalisieren. Während ein Kamerasensor, wie etwa eine CMOSbasierte Vorrichtung, die Unterscheidung zwischen zwei LED-Signalen ähnlicher Intensität ermöglichen würde, verfügt er typischerweise nicht über einen ausreichenden Dynamikbereich, um in schwierigen Umgebungen während des Tages mit einer großen Menge Umgebungslicht betrieben zu werden. Darüber hinaus bestehen weitere Herausforderungen, die in Zusammenhang mit LiFi-Signalen unterschiedlicher Intensität in einer Automobilumgebung stehen, die sich gegenseitig stören und es schwierig machen, die Datenübertragungsraten zu erhöhen.
KURZDARSTELLUNG
Um eine oder mehrere VLC-Quellen aus einer Sammlung von Objekten über einen großen Intensitätsbereich innerhalb derselben visuellen Szene zuverlässig zu unterscheiden, erlangt die vorliegende Erfindung zunächst ein Bild mit hohem Dynamikbereich (HDR - High Dynamic Range). In einer bevorzugten Ausführungsform kann das HDR-Bild auf einer Reihe von Einzelbildern basieren, die bei unterschiedlichen Belichtungsdauern aufgenommen wurden und zu einem einzigen zusammengesetzten Bild mit Dynamikbereich verschmolzen sind. Eine Folge von einem oder mehreren HDR-Bildern und/oder den aufgenommenen Einzelbildern wird auf Grundlage dessen, dass sie eine zeitliche Variation (von Bild- zu Bildaufnahme) und/oder einer räumlichen Variation (z. B. aufgrund von Artefakten durch einen rollenden Verschluss einer CMOS-Kamera) aufweisen, nach Hinweisen auf LiFi-Lichtquellen durchsucht. Neben der Erkennung der Positionen von VLC-Quellen (d. h. deren Unterfenster-„Fußabdruck“ im Bildrahmen), wird das HDR-Bild auch verwendet, um eine optimale Belichtungsdauer für jede jeweilige VLC-Quelle zu bestimmen. Beispielsweise wird ein Durchschnitts- oder Medianwert (z. B. Helligkeit) der Pixel innerhalb des Unterfensters (d. h. des Begrenzungsrahmens), das eine einzelne Quelle (z. B. ein LED-Array) enthält, verwendet, um eine jeweilige optimale Belichtung zu berechnen. Alternativ kann die optimale Belichtung als die minimale Belichtungszeit identifiziert werden, die eine ausreichend robuste Unterscheidung zwischen den AN- und AUS-Zuständen bereitstellt. Die optimalen Belichtungen werden vorzugsweise als Belichtungszeitdauer umgesetzt, können jedoch auch eine Einstellung einer Kameraempfindlichkeit (d. h. einer ISO-Einstellung) oder einer Kamerablendenöffnung einschließen. Unter Verwendung der jeweiligen optimierten Belichtungen werden die identifizierten VLC-Quellen in ihren einzelnen Sichtfeld-Unterfenstern (Field of View window - FOV-Unterfenster) separat angezeigt. Durch die getrennte Aufnahme von Bildreihen nur aus den Unterfenstern wird eine höhere Bildfrequenz erzielt, da nur ein Teil der gesamten Pixelmenge der Kamera ausgelesen wird. Die Verwendung einer höheren Bildaufnahmerate und einer optimalen Belichtungszeit stellt die Fähigkeit bereit, die Datenübertragungsraten zu maximieren. Die Verwendung von Unterfenstern vermeidet die Nachteile der Verwendung einer allgemeinen Belichtungszeit, die die Datenübertragung von LED-Quellen geringer Intensität gänzlich verhindern oder die mit LED-Quellen höherer Helligkeit erlangten Datenübertragungsraten verringern kann.
In einem bevorzugten Aspekt der Erfindung umfasst ein Visible-Light-Communication-Verfahren (VLC-Verfahren) das Erfassen von Einzelbildern einer Szene mit einer Kamera. Das Verfahren setzt eine Bildfolge mit erweitertem Dynamikbereich aus den Einzelbildern zusammen. In der erweiterten Folge, die ein entsprechendes Unterfenster belegt, wird mindestens eine VLC-Quelle erkannt. Eine Belichtung an dem Unterfenster wird entsprechend einer Helligkeit der jeweiligen VLC-Quelle optimiert. Dann wird eine Vielzahl von Unterfenster-Bildern unter Verwendung der optimierten Belichtung aufgenommen. Dann werden VLC-Daten, die in den Unterfenster-Bildern sichtbar sind, dekodiert. In dem in dieser Schrift verwendeten Sinne bezieht sich Helligkeit auf eine beliebige bestimmte Intensitätsmodulation (mit oder ohne Farbänderungen) unter Verwendung eines beliebigen bekannten Kodierschemas für VLC.
Figurenliste

1 ist ein Blockdiagramm, das ein herkömmliches VLC-System zeigt.
2 zeigt ein Beispiel eines Videoeinzelbilds, das von einem Bildsensor aufgenommen ist, wobei mehrere Lichtquellen im Einzelbild sichtbar sind.
3 ist ein weiteres Beispiel für innerhalb eines Bildrahmens nachverfolgte Objekte (z. B. Li chtquell en).
4 ist ein Blockdiagramm eines Abschnitts eines CMOS-Bildsensors.
Die 5A-5H zeigen eine Belichtungsreihen-Bildfolge einer Szene mit aufeinanderfolgenden Bildern, die mit einer zunehmend längeren Belichtungsdauer aufgenommen wurden, während die Lichtquellen ihre gleiche Intensität beibehalten.
6 zeigt ein HDR-Bild, das unter Verwendung der Belichtungsreihen-Folge der 5A-5H erstellt wurde.
7 zeigt ein Unterfenster-Bild einer VLC-Quelle, das unter Verwendung eines CMOS-Bildsensors mit einem rollenden Verschluss und einer optimalen Belichtung aufgenommen wurde.
8 zeigt ein Unterfenster-Bild der VLC-Quelle aus 7, bei dem eine Überbelichtung zum Verlust von VLC-Daten führt.
9 ist ein Blockdiagramm, das eine bevorzugte Ausführungsform der Erfindung zeigt, die in einem Kraftfahrzeug verwendet wird.
10 ist ein Ablaufdiagramm, das ein bevorzugtes Verfahren der Erfindung zeigt.
11 stellt ein Einzelbild mit einem relevanten Bereich zum Definieren eines Unterfensters dar.
12 ist ein Ablaufdiagramm, das ein anderes Verfahren der Erfindung zeigt.

DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
1 zeigt ein herkömmliches Visible-Light-Communication-System, das einen VLC-Sender 10 und einen VLC-Empfänger 15 aufweist. Der Sender 10 beinhaltet einen Kodierer 11, der zu sendende Daten 12A empfängt, und der ein LED-Array 13 ansteuert, um ein blinkendes VLC-Lichtsignal gemäß den kodierten Daten und einem ausgewählten Kommunikationsprotokoll zu senden. Das LED-Array 13 kann Teil einer Doppelfunktionslichtquelle sein, die die VLC-Funktion zu einer Verkehrsampel, einem Fahrzeugfahrlicht, einer LCD-/OLED-Anzeige einer mobilen Vorrichtung (z. B. eines Mobiltelefons), einer festen Anzeige oder Beschilderung oder anderen Arten von künstlichen Beleuchtungsanwendungen hinzufügt. Von dem LED-Array 13 projiziertes sichtbares Licht 14 blinkt mit einer hohen Geschwindigkeit, die für das menschliche Auge nicht erkennbar ist, die jedoch Daten zu einem Lichtdetektor 16 (z. B. einer Kamera) in dem Empfänger 15 überträgt. Ein Quellendetektor und -nachverfolger 17 empfängt eine Folge von Einzelbildern von der Kamera 16 und verwendet bekannte Techniken zum Identifizieren beliebiger sendender VLC-Quellen und zum Extrahieren der in den gesammelten Einzelbildern enthaltenen Blinksignale. Die Blinkinformationen werden dann von einem Dekodierer 18 verarbeitet, der die Daten 12B als eine Kopie der Originaldaten 12A wiederherstellt, die von dem Sender 10 ausgesendet werden.
2 zeigt ein von einer Empfangskamera in einem Kraftfahrzeug aufgenommenes Beispielbild 20, das mehr als eine mögliche Quelle für VLC-Signale beinhalten kann. Eine Verkehrsampel 21 beinhaltet ein LED-Array 22 als Teil der Erzeugung von Verkehrssignalen, und ein Fahrzeug 23 beinhaltet ein LED-Array 24 als Teil eines Brems- oder Rücklichts des Fahrzeugs 23. Ein typisches Bild kann andere natürliche oder künstliche Lichtquellen beinhalten, die dahingehend untersucht werden müssen, ob sie VLC-Signale tragen, wie etwa die Sonne 25. Der Quellendetektor und -nachverfolger verwendet herkömmliche Techniken (z. B. Überwachen von Hochfrequenzvariationen der Intensität), um Objekte in den Bildern mit dem charakteristischen Blinken von Standard-VLC-Signalen zu identifizieren, und dann werden die entsprechenden Objekte untersucht, um die Standard-VLC-Signale zu extrahieren.
Das Einzelbild 20 zeigt auch eine Motorhaube 26 des Kraftfahrzeugs und Elemente der Umgebung, wie Fahrbahnspurmarkierungen 27. Die Kamera oder ein anderer Bildsensor, der in der Erfindung verwendet wird, kann vorzugsweise eine Mehrzweckvorrichtung sein, die Bilder zum Empfangen von VLC-Daten sowie Bilder, die zur Unterstützung anderer hochentwickelter Fahrerassistenzsysteme (Advanced Driver Assistance Systems - ADAS), wie etwa einer Spurabweichungswarnung, verwendet werden, aufnimmt. Die Bildaufnahme zum Empfangen von VLC-Daten kann mit Einzelbildaufnahmen für die ADAS-Funktionen durchsetzt werden, und viele Bilderfassungsereignisse könnten für beide Systeme verwendet werden.
3 zeigt ein Einzelbild 28, das ein Raster aus Pixelspalten und -zeilen umfasst (x, y), wobei jedes einzelne Pixel in einem aufgenommenen Bild jeweilige Pixelintensitätswerte beinhaltet. Zum Nachverfolgen der Bewegung zwischen aufeinanderfolgenden Einzelbildern eines Objekts/einer VLC-Quelle und zum Auslesen von Unterfenster-Bildern wird ein Begrenzungsrahmen oder Unterfenster 29 um ein jeweiliges Objekt unter Verwendung bekannter Techniken identifiziert.
4 zeigt einen kleinen Abschnitt einer typischen CMOS-Kamera 30. Eine obere Zeile von Pixeln 31 weist einzelne Pixel 31A, 31B, 31C und 31D auf. Die Zeilen 32, 33 und 34 sind unterhalb der Zeile 31 angeordnet, sodass alle einzelnen Pixel in die Spalten A, B, C und D fallen. Ein Satz von Zeilenauswahlleitungen verbindet sich jeweils mit den Pixeln einer jeweiligen Zeile. Ausgangsleitungen von jedem jeweiligen Pixel derselben Spalte sind direkt mit einem gemeinsamen Spaltenmultiplexer 35 verbunden. Eine Ausgabe von dem Spaltenmultiplexer 35 wird durch einen Pufferverstärker 36 verstärkt, um das Auslesen von Pixelwerten für Einzelbilder aus der Kamera 30 zu ermöglichen, wie es im Stand der Technik bekannt ist. Eine bestimmte Zeilenauswahlleitung wird während der Zeit aktiviert, in der eine bestimmte Zeile ausgelesen wird, sodass jeweils nur die Ausgaben dieser Zeile zum Spaltenmultiplexer 35 gesendet werden. Während einer Unterfenster-Bildaufnahme wird nur auf die Pixel innerhalb eines gewünschten Unterfensters zugegriffen, wodurch die gesamte Teilbild-Auslesezeit wesentlich kürzer ist als die Auslesezeit für einen gesamtes Einzelbild.
Ein bevorzugtes Verfahren zum Erlangen eines Bildes mit hohem Dynamikbereich (HDR-Bild) schließt die Verwendung von Belichtungsreihen ein, wobei separate Einzelbilder unter Verwendung einer Reihe von Belichtungen (d. h. Integrationszeiten) erlangt werden und die resultierenden Einzelbilder zu einem einzelnen Einzelbild kombiniert werden, in dem eine optimale Intensität sowohl für helle als auch für dunkle Bereiche in der Originalszene in einem Bild mit Standardintensität oder hohem Dynamikbereich dargestellt wird. Beispielsweise sind viele Digitalkameras mit einer Funktion zur Erstellung einer automatischen Belichtungsreihe (Automatic Exposure Bracketing - AEB) erhältlich, bei der die Kamera durch einmaliges Drücken eines Auslöseknopfes veranlasst wird, ein dunkleres Bild, ein helleres Bild und ein normales Bild aufzunehmen, und es sind viele Software-Pakete oder Add-ons zum Kombinieren von Einzelbildern einer Belichtungsreihe zu einem HDR-Bild (automatisch oder manuell) erhältlich. Herkömmliche Verfahren sind bei 1) Debevec et al., Recovering High Dynamic Range Radiance Maps From Photographs, ACM SIGGRAPH 2008 classes. ACM, 2008; 2) Robertson et al., Dynamic Range Improvement Through Multiple Exposures, ICIP 99 Proceedings, 1999 International Conference, IEEE, Band 3, Seite 159-163; und 3) Mertens et al., Exposure Fusion, Computer Graphics and Applications, 15th Pacific Conference, IEEE, Seite 382-390. 2007 beschrieben.
Die 5A bis 5H zeigen, wie eine schrittweise erhöhte Belichtungseinstellung eine Reihe von Einzelbildern erzeugt, die von dunkel (d. h. unterbelichtet) bis hell (d. h. überbelichtet) reichen. Für Objekte mit unterschiedlicher Helligkeit (d. h. Intensität) kann eine optimale Belichtung in verschiedenen Einzelbildern der Reihe erzielt werden. In den 5A bis 5H sind die hellsten Objekte 41 und 42 in einem ersten Einzelbild 40 in 5A zu sehen, das eine geringste Belichtung aufweist (z. B. kürzeste Zeit). Die Einzelilder 43-49 in den 5B-5H weisen eine zunehmend höhere Belichtung (längere Belichtungszeiten) auf, so dass auch die zusätzlichen Objekte 50 und 51 sichtbar werden. Wenn die Objekte beginnen überbelichtet zu werden, kann es zu einem Überstrahlen kommen, und nahe beieinander liegende Objekt können verschmelzen, wie dies anhand der Objekte 41 und 51 in 5H gezeigt ist. Der HDR-Prozess kombiniert eine Reihe von Einzelbildern (z. B. die Einzelbilder 40 und 43-49 oder eine geringere oder größere Anzahl von Einzelbildern) zu einem in 6 gezeigten HDR-Bild 52, wobei jeder Bereich des Bildes 52 einen Belichtungswert aufweist, der die beste Sichtbarkeit für jedes vorhandene Objekt zur Folge hat.
Im Fall eines CMOS-Bildsensors mit rollendem Verschluss, bei dem das Blinken der VLC-Quelle mit einer Geschwindigkeit erfolgt, die schneller ist als die Zeit, die zum Belichten aller Zeilen/Spalten, die das Bild der VLC-Quelle empfangen, benötigt wird, wird durch eine optimale Belichtung ein Bild 54 erlangt, das das Blinken deutlich als helle und dunkle Bänder über dem Bild einer VLC-Quelle 55 zeigt. In 7 sind helle Bereiche in Weiß und dunkle Bereiche in Schwarz gezeigt (was entgegengesetzt zu den 5 und 6 ist, in denen hellere Bereiche mit einer dichteren Punktung gezeigt sind, so dass sie in diesen Figuren dunkler erscheinen). Infolge der scharfen Grenzen zwischen hellen und dunklen Bändern kann ein kodiertes digitales Signal 56 präzise aus dem Bild 54 wiederhergestellt werden. Ein unterbelichtetes Bild könnte die beabsichtigten Informationen nicht aufzeichnen. Ein überbelichtetes Bild würde die Informationen verdecken. Wie in 8 gezeigt, führt ein überbelichtetes Bild 57 zu einem Überstrahlen der VLC-Quelle 55 während der Belichtung des AN-Zustands, so dass die dunklen Bänder entlang ihrer Ränder überlagert sind. Da dunkle Bänder schmaler werden oder verloren gehen, können die in den Bändern kodierten Daten nicht wiederhergestellt werden. Um eine hohe Datenübertragungsrate aufrechtzuerhalten, ist es daher wichtig, für jede VLC-Quelle eine geeignete Bildbelichtung aufrechtzuerhalten.
9 zeigt eine erste Ausführungsform einer Einrichtung zum Ausführen der vorliegenden Erfindung, die eine Mehrzweckkamera 60 beinhaltet, die an einem Kraftfahrzeug angebracht ist. Die Kamera 60 verfügt über ein zweidimensionales Array von Pixeln und ist vorzugsweise ein CMOS-Bildsensor. Bilddaten werden zu einem Bildprozessor 61 ausgelesen, der die Auslesevorgänge steuert, Bilddaten kompiliert und Bilddaten an eine VLC-Steuerung 62 und eine ADAS-Steuerung 63 überträgt. Die gleichen oder getrennten Bilddaten können von der Kamera 60 an die miteinander verbundenen VLC- und ADAS-Steuerungen geliefert werden. Insbesondere können die Steuerungen 62 und 63 Bildanforderungen an den Bildprozessor 61 gemäß ihren Erfordernissen ausgeben. Sobald ein VLC-Datenstrom von der VLC-Steuerung 62 wiederhergestellt ist, wird er an die ADAS-Steuerung 63 oder an andere Module 64 innerhalb des Fahrzeugs übertragen, die die Daten für ADAS und andere Funktionen verwenden.
Eine Hauptausführungsform eines Verfahrens der Erfindung ist in 10 gezeigt. In Schritt 70 wird eine Vielzahl von Bildern als eine oder mehrere Folgen von dem CMOS-Bildsensor oder einer anderen Videokamera aufgenommen. Die Bildfolge wird in Schritt 71 kombiniert, um eine Vielzahl von HDR-Bildern zu bilden. Somit kann jedes HDR-Bild aus mehreren Einzelbildern oder aus einem einzelnen Einzelbild in Abhängigkeit von dem bestimmten HDR-Prozess, der ausgewählt werden kann, erlangt werden, und dann werden in Schritt 72 mehrere HDR-Bilder analysiert, um das Blinken einer VLC-Quelle zu erfassen. In einer Ausführungsform kann die in Schritt 70 aufgenommene Bildfolge Bilder einer Belichtungsreihe zur Verwendung mehrerer verschiedener Belichtungen zum Erzeugen jedes HDR-Bildes beinhalten, und in einer anderen später beschriebenen Technik kann ein HDR-Bild direkt aus einem einzelnen Einzelbild gemäß einer variablen Belichtung auf Pixelbasis innerhalb des Einzelbilds erlangt werden. Wenn in Schritt 72 keine VLC-Quellen erkannt werden, fährt das Verfahren mit der Überwachung auf VLC-Quellen fort, indem die Schritte 70-72 wiederholt ausgeführt werden.
Wenn in Schritt 72 eine VLC-Quelle erkannt wird, wird in Schritt 73 für jede Quelle eine optimale Belichtung bestimmt. Die optimale Belichtung wird gemäß der Helligkeit jeder Quelle bestimmt. Dies kann auch durch das Kodierungsschema und die Datenübertragungsrate der Übertragungsquelle beeinflusst werden. Bei Verwendung der Belichtungsfusion zur Erstellung des HDR-Bildes kann der Prozess zum Bilden der HDR-Bilder grundsätzlich die optimale Belichtung identifizieren. Alternativ können, sobald ein Unterfenster definiert ist, das eine VLC-Quelle enthält, die Pixel innerhalb des Unterfensters analysiert werden, um eine optimale Belichtung zu berechnen. Zum Beispiel kann der Medianwert oder ein anderer Durchschnittswert der Pixel innerhalb des Unterfensters berechnet werden, um die optimale Belichtung zu identifizieren (wodurch eine deutliche Differenzierung der Lichtintensitätsschwankungen im Vergleich zu Hintergrundrauschen erzielt wird, während Überbelichtung und Überstrahlen vermieden werden). Wie vorstehend angegeben, kann die optimale Belichtung gemäß einer Belichtungszeit und einer Blende, einer ISO-Empfindlichkeit oder einer Farbfilterung bestimmt werden, die für die Bildaufnahme verwendet werden.
In Schritt 74 werden Unterfenster-Bilder für jede VLC-Quelle aufgenommen, und nachdem eine Reihe solcher Bilder aufgenommen worden ist, können die übertragenen Daten dekodiert werden. Während des Bildaufnahme- und -dekodierungsprozesses wird in Schritt 75 die Bewegung jeder VLC-Quelle nachverfolgt, so dass die jeweiligen Unterfenster über den geeigneten Bereichen innerhalb des Gesamteinzelbildes zentriert bleiben. Während der Nachverfolgung kann es wünschenswert sein, gelegentlich die optimale Belichtung für eine jeweilige VLC-Quelle zu bestimmen, indem zu Schritt 73 anstelle von Schritt 74 zurückgekehrt wird.
11 definiert ein Unterfenster zur Überwachung einer VLC-Quelle. Ein Gesamtkamerabild 76 weist eine Vielzahl von Pixeln auf, beginnend an einem Pixelursprung (0,0). Der Bildsensor hat eine Sensorbreite und eine Sensorhöhe, wobei die Pixel in einem zweidimensionalen rechteckigen Gitter angeordnet sind. Ein Unterfenster 77 entspricht einem relevanten Bereich, der eine erkannte VLC-Quelle enthält. Eine Position des Unterfensters 77 wird durch VersatzX und VersatzY, eine Unterfensterbreite und eine Unterfensterhöhe spezifiziert. Während der Unterfenster-Bildaufnahme erfolgt die Sensorauslesung nur im Unterfenster 77, um ein Bild des relevanten Bereichs in einer viel kürzeren Zeit aufzunehmen, als für die Aufnahme eines Gesamtkameraeinzelbildes und unter Verwendung einer Belichtungseinstellung, die an die Helligkeit der VLC-Quelle angepasst ist, erforderlich ist.
Ein weiteres Verfahren zum Erlangen der HDR-Bilder ist in 12 detaillierter gezeigt. Da die Verarbeitungszeit eine begrenzte Ressource ist, ist es wünschenswert, ein recheneffizientes Verfahren zum Erzeugen der HDR-Bilder zu verwenden. Wenn eine Szene relativ statisch ist, (dh. die Objektpositionen bewegen sich nur wenig zwischen den Einzelbildern), ist das Ableiten eines HDR-Bildes einfacher. Verschiedene Beispiele für geeignete Verfahren sind in Aguerrebere, et al, „Best algorithms for HDR image generation. a study of performance bounds,“ SIAM Journal on Imaging Sciences 7. 1 (2014) S. 1-34 gezeigt. Belichtungsreihen mit variabler Belichtung sind eine bevorzugtes Verfahren, das relativ effizient ist, jedoch möglicherweise weniger robust ist, wenn sich Objekte schnell über das Einzelbild bewegen. Unter diesen Umständen ist möglicherweise ein anderer HDR-Prozess erforderlich. Das in 12 gezeigte Verfahren nimmt in Schritt 80 unter Verwendung einer Belichtungsreihe mit variabler Belichtung eine Bildfolge auf. In Schritt 81 werden die Bilder der Belichtungsreihe kombiniert, um ein HDR-Bild unter Verwendung eines effizienten Prozesses zu bilden, bei dem davon ausgegangen wird, dass sich keine VLC-Quellen mit einer schnellen Geschwindigkeit bewegen (d. h. seitlich verschieben). Der Prozess kann eine fachbekannte Belichtungsfusion oder einen anderen bekannten Prozess wie das Stapeln (Stacking) maskierter Bilder beinhalten. In Schritt 82 wird eine Prüfung ausgeführt, um zu bestimmen, ob sich in dem sich ergebenden HDR-Bild Geisterobjekte befinden. Ein Geisterbild bezeichnet ein Objekt, dessen Position sich zwischen den einzelnen Einzelbildern, die im HDR-Kombinationsprozess verwendet werden, erheblich verschoben hat, so dass das sich bewegende Objekt als mehrere Kopien erscheinen, die jeweils als helleres Bild gesehen werden und sich über andere Positionen im kombinierten Bild erstrecken. Ein bekanntes Bilderkennungsverfahren kann verwendet werden, um die wiederholten Bildblöcke zu erkennen, die mit einem Geisterobjekt verbunden sind. Wenn keine Geisterobjekte erkannt werden, fährt das Verfahren mit der Erkennung von VLC-Quellen nach dem Verfahren aus 10 fort.
Wenn ein Geisterobjekt erkannt wird, wird in Schritt 83 ein alternativer HDR-Bildaufnahme-/-kombinationsprozess verwendet. Es gibt mehrere bekannte Techniken, um ein Bild mit hohem Dynamikbereich mit dynamischen Szenen zu erstellen, bei denen sich bewegende Objekte in einem verschmolzenen Bild „Geisterbild“-Artefakte erzeugen würden. Obwohl das Auftreten eines Geisterbilds relativ gering wäre, da die Bildaufnahmezeit in VLC-Anwendungen in Kraftfahrzeugen im Vergleich zu der sich ändernden visuellen Szene relativ schnell wäre, kann es dennoch vorteilhaft sein, die Möglichkeiten der VLC-Kommunikation auf solche Fälle auszudehnen. Ein bestimmtes HDR-Verfahren ist inChaurasiya, et al, „High Dynamic Range Imaging for Dynamic Scenes. “ Communication Systems and Network Technologies (CSNT), Fourth International Conference, IEEE, 2014, offenbart, wobei ein Einzelbild sofort aufgenommen wird, während die Belichtung auf Pixelbasis variiert wird. Dieses Verfahren mit räumlich variierender Belichtung (Spatial Varying Exposure - SVE) verwendet mehrere Belichtungsfelder (d. h. Muster innerhalb eines Pixel-Arrays) und eine Farbfilterung gemäß einem anderen Muster, um ein HDR-Bild ohne Geisterbilder von sich schnell bewegenden Objekten zu erzeugen.
In Bezug auf die Bestimmung der optimalen Belichtung, die in einem Unterfenster für eine VLC-Quelle (z. B. ein LED-Array) angewendet werden soll, kann es wünschenswert sein, das AN/AUS-Blinken der Quelle zu berücksichtigen. Beispielsweise beinhaltet eine aufgenommene Bildfolge für eine VLC-Quelle ein VLC-Signal, bei dem die entsprechenden Pixel zwischen AN oder AUS wechseln. Aus den Rohpixeldaten können zwei verschiedene Kamera-Antwortkurven über die Bildfolge mit verschiedenen Belichtungen erstellt werden, jeweils eine für die AN- und AUS-Zustände der Quelle. Unter Verwendung einer Verteilung der Pixelanzahl für den AN- und AUS-Zustand über eine Vielzahl der Belichtungen können zwei getrennte Verteilungen (d. h. Populationen) identifiziert werden. Es kann eine minimale optimale Belichtungszeit ausgewählt werden, die ein dunkles Bild für Pixel im AUS-Zustand erzeugt. Eine vorhergesagte minimale Belichtungszeit kann überprüft werden, nachdem eine Anfangsdatenmenge auf Grundlage der Ergebnisse der Fehlerprüfung und der Gesamtbetriebsleistung unter Verwendung des vorhergesagten Werts und der Senderfrequenz dekodiert wurde. Bei diesem Ansatz wird davon ausgegangen, dass der abgebildete Pixelbereich (Unterfenster) gleichmäßig an- oder ausgeschaltet ist. Ist dies nicht der Fall, kann das Unterfenster weiter in zusätzliche Bereiche unterteilt werden, um die gewünschte Kameraantwortfunktionskurve zu erlangen.
Die vorstehende Erfindung stellt ein Erkennungsverfahren bereit, das eine Bildgebung mit hohem Dynamikbereich verwendet (das Verfahren zum Behandeln einer sich dynamisch bewegenden Szene beinhalten kann), um mehrere lichtbasierte Kommunikationsvorrichtungen unterschiedlicher Intensität in Außenumgebungen währen des Tags bei Sonnenlicht oder anderen Rauschquellen zu erkennen, und wobei mehrere lichtbasierte Kommunikationsvorrichtungen senden und sich gegenseitig stören können. Die Erfindung verleiht einem CMOS-basierten Kamerasensor die Möglichkeit, eine optimale Belichtungseinstellung für jede VLC-Quelle zu verwenden, um die Datenübertragung zu maximieren. Darüber hinaus stellt die Erfindung die Möglichkeit bereit, die VLC-Vorrichtung innerhalb des Sichtfelds über die Erstellung von „Unterfenstern“ nachzuverfolgen, wobei nur die Kamerapixel aufgenommen werden, die einem einzelnen Lichtsignalsender entsprechen, was die Bildwiederholrate der Vorrichtung im Vergleich zur Vollbildaufnahme schnell erhöht, so dass höhere Datenübertragungsraten empfangen werden können. Zusätzlich kann die Erfindung zwischen der Gesamtbildaufnahme für ADAS und der Aufnahme von Unterfenster-Bildfolgen für VLC wechseln.
Gemäß einer Ausführungsform besteht die Kamera aus einem CMOS-Bildsensor, der Einzelbilder unter Verwendung eines rollenden Verschlusses aufnimmt.
Gemäß einer Ausführungsform besteht die Kamera aus einer Mehrzweckkamera in einem Personenkraftwagen, und wobei die Kamera verbunden ist, um aufgenommene Einzelbilder für ein hochentwickeltes Fahrerassistenzsystem in dem Fahrzeug bereitzustellen.
Gemäß einer Ausführungsform werden die Einzelbilder unter Verwendung von Belichtungssfusion zusammengesetzt.
Gemäß einer Ausführungsform wertet die Steuerung ein Bild in der Bildfolge mit erweitertem Dynamikbereich auf der Grundlage von Einzelbildern einer Belichtungsreihe mit einer variablen Belichtung für ein vorbestimmtes Geisterbild aus, und wenn das vorbestimmt Geisterbild erkannt wird, wendet die Steuerung eine Geisterbildkorrektur beim Zusammensetzen der erweitertem Bildfolge an.
Gemäß einer Ausführungsform umfasst die Geisterbildkorrektur eine alternative Dynamikbereichserweiterung, wobei eine Farbfilterung und eine Belichtung innerhalb jedes einzelnen aufgenommenen Einzelbildes variiert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Robertson et al., Dynamic Range Improvement Through Multiple Exposures, ICIP 99 Proceedings, 1999 International Conference, IEEE, Band 3, Seite 159-163; und 3 [0014]

Claims

Visible-Light-Communication-Verfahren (VLC-Verfahren), umfassend: Aufnehmen von Einzelbildern einer Szene mit einer Videokamera; Zusammensetzen einer Bildfolge mit erweitertem Dynamikbereich aus den Einzelbildern; Erkennen von mindestens einer VLC-Quelle in der erweiterten Folge, die ein jeweiliges Unterfenster belegt; Optimieren einer Belichtung an dem Unterfenster entsprechend einer Helligkeit der jeweiligen VLC-Quelle; Erfassen einer Vielzahl von Unterfenster-Bildern unter Verwendung der optimierten Belichtung; und Dekodieren der VLC-Daten, die in den Unterfenster-Bildern sichtbar sind.
Verfahren nach Anspruch 1, wobei die Einzelbilder, die zu jedem Bild in der Bildfolge mit erweitertem Dynamikbereich zusammengesetzt werden, aus einer Vielzahl von Einzelbildern einer Belichtungsreihe mit einer variabler Belichtung bestehen.
Verfahren nach Anspruch 2, wobei die variable Belichtung aus jeweiligen Belichtungszeiten für jeweilige Einzelbilder besteht.
Verfahren nach Anspruch 2, wobei der Schritt des Zusammensetzens aus einem Belichtungsfusionsprozess zum Kombinieren der zusammengefügten Einzelbilder besteht.
Verfahren nach Anspruch 2, wobei der Schritt des Zusammensetzens aus einem Bildstapelprozess zum Kombinieren der zusammengesetzten Einzelbilder besteht.
Verfahren nach Anspruch 2, wobei der Schritt des Zusammensetzens Folgendes umfasst: Bewerten eines Bildes in der Bildfolge mit erweitertem Dynamikbereich auf der Grundlage von Einzelbildern einer Belichtungsreihe, die eine variable Belichtung für ein vorbestimmtes Geisterbild aufweisen; und wenn das vorbestimmte Geisterbild erkannt wird, das Anwenden einer Geisterbildkorrektur beim Zusammenstellen der erweiterten Bildfolge.
Verfahren nach Anspruch 6, wobei die Geisterbildkorrektur aus einer alternativen Dynamikbereichserweiterung besteht, wobei eine Farbfilterung und eine Belichtung innerhalb jedes einzelnen aufgenommenen Einzelbildes variiert werden.
Verfahren nach Anspruch 1, wobei die optimierte Belichtung aus einer Belichtungszeit besteht, die während der Aufnahme jedes jeweiligen Unterfenster-Bildes angewendet wird.
Verfahren nach Anspruch 1, wobei die optimierte Belichtung aus einer Bildsensorempfindlichkeit besteht, die während jedes der jeweiligen Unterfenster-Bilder angewendet wird.
Verfahren nach Anspruch 1, wobei eine Vielzahl von VLC-Quellen bei einer Vielzahl von jeweiligen Unterfenstern erkannt wird und wobei jedes Unterfenster-Bild, das bei einem jeweiligen Unterfenster aufgenommen wurde, eine jeweilige optimierte Belichtung aufweist.
Verfahren nach Anspruch 1, wobei die Videokamera aus einem CMOS-Bildsensor besteht, der Einzelbilder unter Verwendung eines rollenden Verschlusses aufnimmt.
Verfahren nach Anspruch 1, wobei die Videokamera aus einer Mehrzweckkamera in einem Personenkraftwagen besteht und wobei die Videokamera verbunden ist, um aufgenommene Einzelbilder einem hochentwickelten Fahrerassistenzsystem bereitzustellen.
Visible-Light-Communication-Empfänger (VLC-Empfänger), umfassend: eine Kamera, die ein zweidimensionales Array von Pixeln aufweist und Einzelbilder aufnimmt, die VLC-Quellen enthalten; und eine Steuerung, die ausgelegt ist, um A) eine Bildfolge mit erweitertem Dynamikbereich aus den Einzelbildern zusammenzusetzen, B) mindestens eine VLC-Quelle in der erweiterten Folge zu erkennen, die ein jeweiliges Unterfenster belegt, C) eine Belichtung an dem Unterfenster gemäß einer Helligkeit der jeweiligen VLC-Quelle zu optimieren, D) mehrere Unterfenster-Bilder unter Verwendung der optimierten Belichtung aufzunehmen und E) VLC-Daten, die in den Unterfenster-Bildern sichtbar sind, zu dekodieren.
Empfänger nach Anspruch 13, wobei die Steuerung ausgelegt ist, die Einzelbilder zu jedem Bild in der Bildfolge mit erweitertem Dynamikbereich unter Verwendung einer Vielzahl von Einzelbildern einer Belichtungsreihe mit variabler Belichtung zusammenzusetzen.
Empfänger nach Anspruch 13, wobei eine Vielzahl von VLC-Quellen an einer Vielzahl von jeweiligen Unterfenstern erkannt werden, wobei Unterfenster-Bilder, die an jedem jeweiligen Unterfenster-Bild aufgenommen wurden, über eine jeweilige optimierte Belichtung verfügen und wobei jede jeweilige optimierte Belichtung aus einer Belichtungszeit besteht.