DE102019128219A1

DE102019128219A1 - Ein Bildverarbeitungsverfahren

Info

Publication number: DE102019128219A1
Application number: DE102019128219.5A
Authority: DE
Inventors: Samantha Chalut; Patrick Eoghan Denny; Brian Michael Thomas Deegan
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2019-10-18
Filing date: 2019-10-18
Publication date: 2021-04-22
Also published as: US11882367B2; US20230156345A1; EP4046373A1; EP4046373B1; WO2021074122A1

Abstract

Ein Bildverarbeitungsverfahren umfasst Folgendes: Durchführen einer Spektralanalyse eines HDR-Bildes (220), um zu bestimmen, ob das HDR-Bild (220) Spektralkomponenten umfasst, die eine Beleuchtung der Szene durch eine modulierte Lichtquelle angeben; Analysieren von Metadaten, die mit einem Satz von Komponentenbildern (221) für das HDR-Bild assoziiert sind, um eine Differenz zwischen Metadaten für ein Komponentenbild des Satzes und Metadaten für mindestens ein anderes Komponentenbild des Satzes zu bestimmen, wobei eine jegliche Differenz ein Artefakt angibt, das durch die Beleuchtung der Szene durch eine modulierte Lichtquelle verursacht wird; Kombinieren eines Ergebnisses der Spektralanalyse und der Metadatenanalyse, um eine Indikation bereitzustellen, dass die Beleuchtung der Szene durch eine modulierte Lichtquelle ein sichtbares Artefakt in mindestens einem der HDR-Bilder verursacht; und entsprechendes Ändern eines HDR-Betriebsmodus des Bildverarbeitungssystems (200).

Description

Gebiet
Die vorliegende Erfindung betrifft ein Verfahren zum Verarbeiten von Komponentenbildern, um ein Bild mit hohem Dynamikbereich (HDR-Bild) einer Szene zu erzeugen.
Hintergrund
Fahrzeugsysteme, wie etwa automatische Notfallbremsung, autonome oder teilautonome Park- oder Fahrsysteme, sind auf Bilderfassungssysteme angewiesen, um den Betrieb des Fahrzeugs zu unterstützen.
Unter Bezugnahme auf 1 umfasst ein Bilderfassungssystem 100 typischerweise ein oder mehrere Kameramodule 110, die um ein Fahrzeug 10 herum angeordnet sind und dazu eingerichtet sind, Bilder einer Szene aufzunehmen, bevor derartige Bilder entweder über einen Fahrzeugbus 104, wie etwa einen CAN- oder Flexray-Bus, oder eine dedizierte Kameraverbindung einem Prozessor 120 bereitgestellt werden, um das Bild zu verarbeiten. Der Prozessor 120 ist mit einer oder mehreren Anzeigeeinrichtungen 150 verbunden, um die durch die Kameramodule 110 bereitgestellten Bilder anzuzeigen.
Bei Nachtfahrbedingungen, bei denen es einen großen Beleuchtungsbereich in einer gegebenen abgebildeten Szene geben kann, zum Beispiel mit Straßenlampen und dunklen Abschnitten einer Fahrbahnoberfläche oder der umliegenden Umgebung, wird ein Einzelbelichtungsbild entweder dazu tendieren, zu gestatten, dass zu stark beleuchtete Gebiete des Bildes gesättigt werden, sodass dunkle Gebiete der Szene richtig abgebildet werden können, oder, falls die Sättigung vermieden wird, dann werden dunkle Gebiete zu schwach beleuchtet sein, was zu einem Verlust von Details führt.
Manche Kameramodule 110 beinhalten Bildsensoren, die zum Erzeugen von Bildern mit hohem Dynamikbereich (HDR-Bildern) verwendet werden können, indem eine Sequenz von Komponentenbildern (manchmal als ein Bildstapel bezeichnet) aufgenommen wird, die zumindest ein Bild mit langer Belichtungszeit (LET-Bild), das die Aufnahme von schwach beleuchteten Merkmalen ermöglicht, und zumindest ein Bild mit kurzer Belichtungszeit (SET-Bild), das die angemessene Aufnahme von hellen Merkmalen ermöglicht, enthält.
Bei der vorliegenden Beschreibung werden die Ausdrücke Komponentenbild und HDR-Bild verwendet, um Daten für derartige Bilder zu bezeichnen, die durch einen Prozessor empfangen und zur Betrachtung einer Anzeige bereitgestellt werden können.
Beispielhafte HDR-Bildsensoren beinhalten AR0270AT oder AR0143AT, die von On Semiconductor in Phoenix, Arizona erhältlich sind. Derartige Bildsensoren können Pixelarchitekturen beinhalten, die entweder eine Split-Diode-Pixelarchitektur, die gleichzeitig überlappende Bilder mit langer und kurzer Belichtung erfasst, oder eine gestaffelte HDR-Technologie, bei der Komponentenbilder nacheinander erfasst werden, umfassen.
In jedem Fall können Komponentenbilder am Prozessor 120 durch das richtige Auswählen von belichteten Abschnitten aus den Komponentenbildern zusammengefügt werden, um ein zusammengesetztes HDR-Bild auszugeben, bei dem sowohl schwach beleuchtete Merkmale als auch helle Merkmale zweckmäßig angezeigt werden können.
„LED flicker: Root cause, impact and measurement for automotive imaging applications“, Brian Deegan, Seiten 146-1... 146-6, IS&T International Symposium on Electronic Imaging, Autonomous Vehicles and Machines Conference 2018, offenbart, dass das Erfassen derartiger Sequenzen von Komponentenbildern in Szenen, die durch modulierte Lichtquellen beleuchtet werden, unakzeptable Artefakte in dem angezeigten HDR-Bild verursachen können.
Es ist ein Ziel der vorliegenden Erfindung, diese Probleme anzugehen.
Kurzfassung
Dementsprechend stellt die Anmeldung in einem ersten Aspekt ein Bildverarbeitungsverfahren nach Anspruch 1 bereit.
In einem zweiten Aspekt stellt die Anmeldung ein Bildverarbeitungsverfahren nach Anspruch 2 bereit.
In einem weiteren Aspekt ist ein Computerprogrammprodukt bereitgestellt, das bei Ausführung auf einer Recheneinrichtung dazu eingerichtet ist, das Verfahren entweder des Anspruchs 1 oder des Anspruchs 2 durchzuführen.
In noch einem weiteren Aspekt ist ein System bereitgestellt, das dazu eingerichtet ist, die Schritte entweder des Anspruchs 1 oder des Anspruchs 2 durchzuführen.
Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen bereitgestellt.
Figurenliste
Eine Ausführungsform der Erfindung wird nun beispielshalber unter Bezugnahme auf die begleitenden Zeichnungen beschrieben, in denen gilt:

1 veranschaulicht eine Seitenansicht eines Fahrzeugs, das ein Bilderfassungssystem gemäß dem Stand der Technik umfasst;
2 ist ein Blockdiagramm, das eine Konfiguration eines Bildverarbeitungssystems gemäß einer Ausführungsform der Erfindung veranschaulicht;
3A veranschaulicht ein Bild einer Szene ohne durch die Lichtquelle verursachte Artefakte;
3B veranschaulicht ein Bild der Szene von 3A einschließlich durch die Lichtquelle verursachte Artefakten;
4 ist ein Blockdiagramm, das ein Bildverarbeitungsverfahren veranschaulicht, das im System von 2 durchgeführt wird;
5 ist ein Blockdiagramm, das Einzelheiten des Bildverarbeitungsverfahrens von 4 veranschaulicht; und
6-8 veranschaulichen beispielhafte Bilder, die mit Ausführungsformen der vorliegenden Erfindung verarbeitet werden.

Ausführliche Beschreibung der Zeichnungen
2 veranschaulicht ein Blockdiagramm, das eine Konfiguration eines Systems 200 gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht. Das System 200 umfasst eine oder mehrere Bildaufnahmeeinrichtungen 230 (wobei nur eine dargestellt ist), eine oder mehrere Anzeigen 250 (wobei nur eine dargestellt ist), eine Datenbank 260 und einen Speicher 270, die über einen Systembus 204 mit einem Bildprozessor 240 verbunden sind. (Es versteht sich nichtsdestotrotz, dass die Komponenten des Systems auch durch eine beliebige verdrahtete oder drahtlose Verbindung verbunden sein können.) Bei manchen Ausführungsformen kann der Bildprozessor 240 in einer elektronischen Steuereinheit (ECU) getrennt von der einen oder den mehreren Bildaufnahmeeinrichtungen 230 integriert sein und über den Systembus 204, zum Beispiel einen CAN- oder Flexray-Bus, oder eine dedizierte Kameraverbindung mit den Bildaufnahmeeinrichtungen 230 verbunden sein, wohingegen bei anderen Ausführungsformen der Bildprozessor 240 und eine oder mehrere Bildaufnahmeeinrichtungen 230 integriert sein könnten - zum Beispiel könnten eine Bildaufnahmeeinrichtung und ein Bildprozessor eine integrierte Rückansichtskameraeinheit umfassen.
Die eine oder die mehreren Bildaufnahmeeinrichtungen 230 können eine beliebige Art von Bildaufnahmeeinrichtung zum Aufnehmen eines Bildes in zumindest dem sichtbaren Lichtspektrum umfassen. Die eine oder die mehreren Bildaufnahmeeinrichtungen 230 können digitale Kameras sein, wie etwa CMOS-Kameras (CMOS: Complementary Metal-Oxide Semiconductor - komplementärer Metalloxidhalbleiter), CCD-Kameras (CCD: Charged Coupled Device - ladungsgekoppelte Einrichtung) oder dergleichen.
Die eine oder die mehreren Bildaufnahmeeinrichtungen 230 können in einem beliebigen Teil des Fahrzeugs angeordnet sein, um ein Eingangsbild der umliegenden Szene aufzunehmen. Eingangsbilder können eine unterschiedliche oder die gleiche Auflösung und/oder ein unterschiedliches oder das gleiche Format aufweisen und Bildinformationen in einer beliebigen Kombination von Intensitätsebenen, wie etwa YCC, YUV oder LAB; oder einer beliebigen Kombination von Farbebenen, zum Beispiel RGB, umfassen.
Bei manchen Ausführungsformen können die eine oder die mehreren Bildaufnahmeeinrichtungen 230 in einem Einzelbelichtungsmodus oder einem Mehrfachbelichtungsmodus betrieben werden, um einen HDR-Inhalt einer Szene aufzunehmen; wohingegen bei anderen Ausführungsformen die Einrichtungen 230 immer in einem Mehrfachbelichtungsmodus betrieben werden können. Wenn sie in einem Einzelbelichtungsmodus betrieben wird, ist eine Einrichtung 230 dazu ausgelegt, eine Einzelbelichtung 210 der Szene zu erfassen, die in einem Speicher 270 des Systems 200 gespeichert, möglicherweise verarbeitet und dann angezeigt wird. Andererseits ist die Einrichtung 230, wenn sie im Mehrfachbelichtungsmodus betrieben wird, dazu ausgelegt, mehrere Komponentenbilder der Szene mit unterschiedlichen Belichtungen zu erfassen, wobei jedes Komponentenbild als ein Komponentenbild 221 für die Szene im Speicher 270 gespeichert wird. Sowohl die Einzelbelichtung 210 als auch die Komponentenbilder 221 weisen assoziierte Metadaten 212 auf. Die Metadaten 212 umfassen Informationen bezüglich des aufgenommenen Bildes, einschließlich zum Beispiel Weißabgleichinformationen, Sensorverstärkung und Belichtungszeit für das Bild. Die Metadaten 212 können in einem Header einer Bilddatei enthalten sein oder separat bereitgestellt werden.
Wenn sie im Mehrfachbelichtungsmodus betrieben wird, können die Komponentenbilder 221 durch den Prozessor 240 zusammengeführt werden, um ein HDR-Bild 220 der Szene bereitzustellen, das auch im Speicher 270 gespeichert und angezeigt werden kann. Es ist auch möglich, wenn im Mehrfachbelichtungsmodus gearbeitet wird, nur eines der Komponentenbilder 221 zur Anzeige auszuwählen, wenn es als ungeeignet erachtet wird, ein HDR-Bild anzuzeigen, wie zum Beispiel unten erläutert wird.
Es versteht sich, dass die Eingangsbilder 210, 221, die von der einen oder den mehreren Einrichtungen 230 aufgenommen werden, verarbeitet werden können, um ein Gebiet von Interesse (ROI: Region of Interest) aus dem Bild auszuwählen, und/oder ihre Auflösung reduziert werden kann. Der Prozessor 240 kann das ROI als ein Eingangsbild zur anschließenden Verarbeitung und/oder Anzeige verwenden.
Der Prozessor 240 kann einen einzelnen Allgemeinprozessor; einen dedizierten Prozessor oder einen Multiprozessorkern umfassen, der mehrere entweder dedizierte Prozessoren oder Allgemeinprozessoren umfasst, die eine gewisse Verarbeitung parallel durchführen können. Es versteht sich, dass der Ausdruck Allgemeinprozessor auf große Befehlssatzprozessoren sowie RISC-Prozessoren zutrifft, wie etwa jene, die durch ARM bereitgestellt werden.
Die 3A und 3B veranschaulichen ein Einzelbelichtungsbild 310 bzw. ein HDR-Bild 312 derselben Szene. Die Szene ist ein typisches Nachtfahrtszenario, das mehrere Lichtquellen und genauer gesagt einen beleuchteten Parkplatz beinhaltet. Dieses Szenario ist für standardmäßige Szenarios beispielhaft, die häufig während des Nachtfahrens auftreten. Andere Beispiele für Szenarios beinhalten das Fahren unter Natriumdampflampen, das Fahren mit eingeschalteten Scheinwerfern, das Fahren in Tunneln usw. Insbesondere beinhaltet das Szenario schwach beleuchtete und helle Merkmale.
Im Einzelbelichtungsmodus nehmen die Aufnahmeeinrichtungen 230 ein Bild mit einem relativ reduzierten Dynamikbereich auf, wobei in diesem Fall Details von schwach beleuchteten Gebieten verloren werden.
Im Mehrfachbelichtungsmodus werden mehrere Komponentenbilder 221 zusammen am Prozessor 240 verarbeitet, um ein HDR-Bild 312 derselben Szene bereitzustellen. In diesem Betriebsmodus resultiert das Zusammenführen in sichtbaren Artefakten/Anomalien 314, 316 im angezeigten HDR-Bild 312.
Es versteht sich, dass, obwohl die Artefakte 314, 316 in der 3B in Grautönen dargestellt sind, diese eine andere oder dieselbe Farbe und/oder eine andere oder dieselbe Farbintensität aufweisen können. Die erste Gruppe von Artefakten 314 kann zum Beispiel alternativ dazu violett sein und die zweite Gruppe kann gelb sein, oder umgekehrt. In diesem Bild wechseln sich die Artefakte der ersten Gruppe mit jenen der zweiten Gruppe ab, um eine Anzahl von aufeinanderfolgenden horizontalen Bändern zu bilden.
Wie in der Einführung angedeutet, ist zu verstehen, dass diese Artefakte in HDR-Bildern durch die Beleuchtung der Szene durch eine oder mehrere modulierte Lichtquellen verursacht werden können. In modulierten Lichtquellen wird die Amplitude (Intensität) und/oder Phase und/oder Frequenz und/oder Polarisation des abgestrahlten Lichts geändert. Beispiele für modulierte Lichtquellen beinhalten Lichtquellen mit 50 Hz oder 60 Hz, Natriumlampen, pulsbreitenmodulierte (PWM) Lichtquellen, wie etwa eine PWM-angesteuerte LED-Beleuchtung, oder dergleichen. Falls der Zustand der Lichtquelle zwischen für ein HDR-Bild aufgenommenen Komponentenbildern verschieden ist, dann können, wenn die Komponentenbilder zusammengeführt werden, wie in 3B veranschaulichte Artefakte auftreten.
Wie zu verstehen ist, sind mechanische Lösungen, wie etwa in CN 206568652 U offenbart, die eine physische Membran zum Entfernen von Regenbogenrauschen von einer Anzeigevorrichtung bereitstellen, nicht effektiv, um derartige Artefakte anzugehen.
Unter Bezugnahme auf 4 ist ein Zustandsmaschinenfluss 400 eines Bildverarbeitungsverfahrens dargestellt, um die Anzeige von durch modulierte Lichtquellen verursachten Artefakten zu vermeiden. Obwohl dieses Verfahren nachfolgend unter Bezugnahme auf eine einzige Bildaufnahmeeinrichtung 230 beschrieben ist, versteht es sich, dass es auf mehrere Bildaufnahmeeinrichtungen erweitert werden kann.
Das Verfahren beginnt bei Schritt 401, bei dem das Bildverarbeitungssystem 200 aktiviert wird. Bei Schritt 402 werden anfängliche Kameraeinstellungen bei der Aufnahmeeinrichtung 230 angewendet. Die Anfangseinstellungen beinhalten anfängliche Belichtungssteuerungen und Parameter, die mit der Konfiguration einer HDR-Belichtung assoziiert sind. Diese Parameter können geändert werden, um zum Beispiel die Belichtungszeiten und Belichtungsverhältnisse der Komponentenbilder 221 für das HDR-Bild und selbst Parameter, die bestimmen, wie die Komponentenbilder zum Bereitstellen des HDR-Bildes 220 zusammengesetzt werden, zu regeln. Diese Parameter werden typischerweise nur allmählich von Einzelbild zu Einzelbild geändert, um plötzliche visuelle Änderungen zwischen nacheinander angezeigten HDR-Bildern zu vermeiden.
Bei Schritt 403 nimmt die im Mehrfachbelichtungsmodus arbeitende Aufnahmeeinrichtung 230 die Komponentenbilder 221 der Szene gemäß den im Schritt 402 festgelegten Parametern auf. Die Komponentenbilder 221 werden dann zu dem Prozessor 240 gesendet, um ein HDR-Bild 220 der Szene auf möglicherweise eine herkömmliche Art und Weise bereitzustellen.
Bei der Ausführungsform werden dann eine Anzahl von unterschiedlichen Tests an den erfassten Komponentenbildern 221, ihren assoziierten Metadaten und dem zusammengesetzten HDR-Bild 220 durchgeführt, um zu bestimmen, ob das HDR-Bild 220 möglicherweise unter beleuchtungsquelleninduzierten Artefakten leidet.
Bei Schritt 404 wird der räumliche Inhalt der Komponentenbilder 221 und/oder des zusammengesetzten Bildes 220 nach dem Vorhandensein einer oder mehrerer Lichtquellen in dem einen oder den mehreren Bildern der Szene analysiert. Diese Analyse kann auf eine Anzahl von Weisen durchgeführt werden, einschließlich des Verwendens von algorithmischer Analyse, Heuristik und/oder künstlichen Neuronalnetzwerken oder anderen Klassifizierern, um derartige Lichtquellen zu identifizieren.
Ein Teil einer derartigen Analyse basiert auf entweder dem expliziten oder implizierten Identifizieren des Vorhandenseins von Hotspots in einem oder mehreren der Bilder 220, 221. Hotspots umfassen ein Gebiet von benachbarten Pixeln, deren Kanäle, die die Helligkeit im Bild repräsentieren, zum Beispiel ein Y-Kanal in YCC- oder YUV-Format-Bildern, ein L-Kanal in LAB-Format-Bildern, oder ein oder mehrere der Farbkanäle in RGB-Format-Bildern, in dem Sinne abgeschnitten oder gesättigt werden, dass sie denselben oder nahezu einen maximalen Intensitätswert aufweisen.
Durch die Kenntnis des Standorts der Kamera bezüglich der Fahrbahnoberfläche, einschließlich ihrer Höhe über der Oberfläche, sowie der Winkelorientierung der Kamera (Neigen, Gieren und Rollen) und des Sichtfelds der Kamera basierend auf dem Kameraprojektionsmodell, können Regeln bestimmt werden, um Hotspots mit einer erwarteten Form, Größe und/oder Lage im Sichtfeld zu identifizieren, die einen oder mehrere Fahrzeugscheinwerfer oder eine oder mehrere Straßenlampen umfassen könnten.
Fahrzeugscheinwerfer treten gewöhnlich in Richtung der Mitte eines Bildes auf, möglicherweise paarweise mit einer Orientierung, die fast parallel mit einer Fahrbahnoberfläche ist, und bis zu etwa einem Meter über der Fahrbahnoberfläche. Typischerweise treten Fahrzeugscheinwerfer als ein elliptischer Hotspot mit einem größeren horizontalen Ausmaß als vertikalem Ausmaß auf.
Im Gegensatz zu Autoscheinwerfern treten Straßenlampen gewöhnlich mehrere Meter über dem Boden und entlang von der Mitte des Bildes ausstrahlenden Linien auf.
Es versteht sich jedoch, dass Hotspots nicht auf Straßenlampen oder Fahrzeugscheinwerfer beschränkt sind, und es versteht sich, dass, falls andere Lichtquellen, wie etwa Rückscheinwerfer, als Artefakte in HDR-Bildern verursachend angesehen werden, die Bilder 220, 221 auch auf das Vorhandensein derartiger Quellen analysiert werden können.
Hinsichtlich der Größe wird die erwartete Größe von Scheinwerfer-/Straßenlampen-Hotspots in einem Bild natürlich gemäß dem Abstand eines entgegenkommenden Fahrzeugs vom Ego-Fahrzeug oder dem Abstand von Straßenlampen vom Ego-Fahrzeug variieren.
Der Abstand von entgegenkommenden Fahrzeugen oder Straßenlampen kann unter Verwendung einer Anzahl unterschiedlicher Techniken bestimmt werden, einschließlich: intrinsischer Bildanalyse; Tiefe aus Disparität - Vergleichen der Verlagerung von Bildmerkmalen in einem Bild mit denselben Merkmalen in einem anderen Bild, das von einem anderen Standpunkt aus erfasst wird (d. h. eine Stereokamera oder ein Bild von einer gegebenen Kamera, das zu einer anderen Zeit erfasst wird), oder das Verwenden von zum Beispiel einer Eingabe von Radarsensoren, die um das Ego-Fahrzeug herum angeordnet sind. Andere Techniken, wie etwa das Verwenden eines optischen Flusses von einer Sequenz von Bildern, die durch die Kamera erfasst werden, wie in Ilg E, Mayer N, Saikia T, Keuper M, Dosovitskiy A, Brox T „Flownet 2.0: Evolution of optical flow estimation with deep networks“, IEEE Conference on Computer Vision and Pattern Recognition (CVPR) S. 1647 - 1655, 2017, oder WO2019/068699 (Ref: SIE 524) oder US 2009/0297036 , Klappstein et al. beschrieben, können verwendet werden, um zu bestimmen, ob Hotspots Scheinwerfer eines entgegenkommenden Fahrzeugs oder Straßenlampen umfassen.
Zusätzlich oder als eine Alternative zum expliziten Suchen nach Hotspots einer gegebenen Größe, Form und/oder Lage, um einen Konfidenzwert für das Vorhandensein von Lichtquellen in einem Bild einer Szene bereitzustellen, können Klassifizierer trainiert werden, um Hotspots zu detektieren, die den Lichtquellen in einem Bild entsprechen. In derartigen Fällen können das eine oder die mehreren Bilder 220, 221 unter Verwendung eines Bildklassifizierers, eines semantischen Segmentierungsnetzwerks oder einer dedizierten Funktion verarbeitet werden, um derartige Gebiete von benachbarten Pixeln zu erkennen und, als Reaktion darauf, eine Konfidenzbewertung bereitzustellen, die das Vorhandensein von problematischen Lichtquellen in den Bildern 220, 221 angibt. Beispielhafte Bildklassifizierer und semantische Segmentierungsnetzwerke können zweckmäßig trainierte Neuronalnetzwerk-Klassifizierer oder semantische Segmentierungsnetzwerke beinhalten. Semantische Segmentierungsnetzwerke können ein Bild in Untergebiete aufteilen und diese Gebiete gemäß ihrem Inhalt labeln, wobei jedes Pixel mit der Klasse seines umschließenden Objekts oder Gebiets gelabelt wird.
Es versteht sich, dass die Identifikation von Lichtquellen in den Bildern 220, 221 bei Schritt 404 auch Informationen, wie etwa die Tageszeit (da Hotspots wahrscheinlich nachts auftreten) und auch den Standort des Fahrzeugs (um zu bestimmen, ob das Fahrzeug in einem Tunnel oder einem Parkhaus betrieben wird, der bzw. das wahrscheinlich durch modulierte Lichtquellen beleuchtet wird), berücksichtigen kann. Für den letztgenannten Fall kann das System 200 die Position des Fahrzeugs unter Verwendung eines Standortsensors, wie etwa eines GPS-Sensors, erfassen und diese mit Karteninformationen vergleichen, um die Hotspot-Identifikation zu ergänzen.
Bei Schritt 405 werden Metadaten, die mit den Komponentenbildern 221 und dem HDR-Bild 220 assoziiert sind, analysiert, um zu bestimmen, ob die Komponentenbilder 221 unter der Beleuchtung einer modulierten Lichtquelle auf eine Art und Weise erfasst wurden, die wahrscheinlich sichtbare Artefakte im HDR-Bild verursacht.
Eine derartige Technik umfasst das Bestimmen einer Farbtemperatur für jedes Komponentenbild 221. Derartige Informationen können entweder zu der Zeit der Erfassung jedes Komponentenbildes erzeugt und in mit jedem Komponentenbild assoziierten Metadaten im Speicher 270 gespeichert werden; oder alternativ dazu kann der Prozessor 240 eine Farbtemperatur, zum Beispiel wie in Tominaga, Shoji & Ebisui, Satoru & Wandell, Brian (1999) „Color Temperature Estimation of Scene Illumination“, Tech Rep IEICE. PRMU99-184. 42-47 offenbart, für jedes Komponentenbild 221 berechnen. Insbesondere berechnet der Prozessor 240 eine Überlappung zwischen einem Farbraum, der für ein Komponentenbild und ein anderes Komponentenbild berechnet wird, und liefert einen Korrelationswert zwischen den beiden. Falls sich die Farbtemperatur eines Komponentenbildes um mehr als einen Schwellenbetrag von der Farbtemperatur von mindestens einem anderen Komponentenbild unterscheidet, somit einen niedrigen Korrelationswert aufweist, dann gibt dies das Potenzial für unerwünschte Artefakte im HDR-Bild 220 an. Je stärker sich Farbtemperaturen für Komponentenbilder voneinander unterscheiden, desto größer wird somit die Möglichkeit sein, dass das HDR-Bild 220 aufgrund der Beleuchtung mit einer modulierten Lichtquelle Artefakte enthalten wird.
Andere Tests von Bildmetadaten können auch durchgeführt werden, zum Beispiel durch das Vergleichen der Differenz zwischen Weißabgleichinformationen für ein Komponentenbild 221 und andere der Komponentenbilder 221. Je stärker sich die Weißabgleichinformationen für Komponentenbilder voneinander unterscheiden, desto größer ist wiederum die Möglichkeit, und desto höher ist die Konfidenz, dass das HDR-Bild 220 aufgrund der Beleuchtung mit einer modulierten Lichtquelle Artefakte enthalten wird.
Bei Schritt 406 wird eine Spektralanalyse des HDR-Bildes durchgeführt, um zu bestimmen, ob es Spektralkomponenten umfasst, die die Beleuchtung der Szene durch eine modulierte Lichtquelle angeben. Obwohl eine beispielhafte Implementierung ausführlicher mit Bezug auf die folgenden 5-8 beschrieben wird, umfasst dieser Schritt im Allgemeinen Erzeugen einer Spektralenergieverteilung des HDR-Bildes 220 und Bestimmen, ob es eine Korrelation zwischen dem Leistungsspektrum des HDR-Bildes 220 und Leistungsspektren einer oder mehrerer bekannter modulierter Lichtquellen, die in der Datenbank 260 gespeichert sind, gibt. Die Korrelation entspricht einem Konfidenzwert, der die Wahrscheinlichkeit angibt, dass die Szene durch die bekannte modulierte Lichtquelle beleuchtet wird.
Es ist anzumerken, dass jeder der Schritte 404-406 nicht an jedem Satz von Komponentenbildern 221 und entsprechenden HDR-Bildern 220 durchgeführt werden muss, und zum Beispiel manchmal einer oder mehrere der Schritte an einem Satz von Bildern 220, 221 durchgeführt werden kann und der eine oder die mehreren verbleibenden Schritte an anschließend erfassten Bildern 220, 221 durchgeführt werden. Die Schritte können mit einem regelmäßigen Zeitintervall in einem vorbestimmten Zeitraum oder als Reaktion auf ein sich änderndes Szenario, zum Beispiel als Reaktion darauf, dass sich der Inhalt eines Bildes wesentlich ändert oder sich der Standort des Ego-Fahrzeugs um mehr als einen Schwellenbetrag ändert, ausgeführt werden.
Bei Schritt 407 kann das System 200 Belichtungszeiten und Verstärkungen der Komponentenbilder 221 erneut aus mit den Bildern assoziierten Metadaten erfassen, und diese Informationen können als Basis für weitere Tests verwendet werden, um zu bestimmen, ob eine Szene durch eine modulierte Lichtquelle beleuchtet wird, und/oder, ob Artefakte wahrscheinlich aus dieser Beleuchtung hervorgehen werden; oder einfach, um die Einstellungen für die Erfassung eines anschließenden Satzes von Komponentenbildern bei Schritt 402 anzupassen.
Bei Schritt 408 bestimmt das System 200 eine gewichtete Summe oder eine andere derartige Kombination der Konfidenzwerte, die bei den Schritten 404, 405 und 406 erzeugt werden. Falls somit die Tests der Schritte 404 und 406 signalisieren, dass eine Szene durch eine modulierte Lichtquelle beleuchtet wird, und falls der Test des Schritts 405 signalisiert, dass die Komponentenbilder bei ihrer Kombination sichtbare Artefakte verursachen können, würde ein hohes Ergebnis bereitgestellt werden, wohingegen selbst, wenn das Konfidenzniveau von den Schritten 404 und 406 hoch wäre, niedrige Ergebnisse vom Schritt 405 signalisieren werden, dass wahrscheinlich keine unerwünschten Artefakte im HDR-Bild 220 erzeugt werden, und somit würde ein niedrigeres Ergebnis bereitgestellt werden. Sobald das Ergebnis bestimmt wurde, geht das System 200 zum Schritt 409 über.
Bei Schritt 409 prüft das System 200, ob das Ergebnis vom Schritt 408 größer als eine vorbestimmte Schwelle ist, und falls dem so ist, wird geschlussfolgert, dass die Szene durch eine modulierte Lichtquelle beleuchtet wird und das HDR-Bild 220 wahrscheinlich unerwünschte Artefakte aufweisen wird. In diesem Fall geht das Verfahren zum Schritt 410 über, bei dem das System 200 bestimmt, ob der Dynamikbereich (DR) wichtiger als die Bildästhetik ist.
Falls der Dynamikbereich von angezeigten Bildern nicht kritisch ist, geht das Verfahren zum Schritt 411 über und schaltet zum Anzeigen eines Einzelbelichtungsbildes. Dies kann ein Bild der Komponentenbilder 221 sein, die im HDR-Modus erfasst werden, oder das System kann in der Tat einfach zum Erfassen von nur einem Belichtungsbild für eine Anzahl von Bildframes wechseln.
Falls der Dynamikbereich bevorzugt wird, möglicherweise als Reaktion auf eine Benutzereingabe, fährt das System mit dem Betrieb im HDR-Modus fort und macht mit dem Schritt 403 weiter, um einen anschließenden Satz von Komponentenbildern entsprechend zu erfassen.
Falls das Ergebnis vom Schritt 408 geringer als eine vorbestimmte Schwelle ist, dann wird geschlussfolgert, dass wahrscheinlich keine Artefakte im HDR-Bild 220 vorhanden sind, selbst wenn die Szene durch eine modulierte Lichtquelle beleuchtet werden würde, und somit geht das System 200 zum Schritt 402 über, bei dem es die Anfangseinstellungen anwendet und Komponentenbilder 221 für ein anschließendes HDR-Bild 220 erfasst.
Um ein Flackern zwischen Einzelbelichtungs- und HDR-Anzeigemodi zu vermeiden, kann ein Paar von Schwellen verwendet werden, eine höhere Schwelle zum Schalten zum Einzelbelichtungsanzeigemodus und eine niedrigere Schwelle, unter der die Konfidenzniveaus für die Schritte 404-406 liegen müssen, bevor das System zurück zum HDR-Anzeigemodus schaltet.
Bei derartigen Ausführungsformen, wenn das Ergebnis vom Schritt 408 zwischen der höheren und niedrigeren Schwelle liegt, ist es dann möglich, die für die Mehrfachbelichtung eingesetzten Einstellungen anzupassen, wie etwa das Variieren der Verhältnisse von langen und kurzen Belichtungszeiten oder der Anzahl von Komponentenbildern, um zu versuchen, die Wahrscheinlichkeit zu verringern, dass Artefakte aus der Beleuchtung durch eine modulierte Lichtquelle hervorgehen. Das System 200 könnte zum Beispiel veranlassen, dass die längsten und kürzesten Belichtungszeiten der Komponentenbilder näher zueinander liegen.
Das im Schritt 408 bereitgestellte Ergebnis kann nicht alleine für die Entscheidung verwendet werden, zwischen einem Einzelbelichtungs- und HDR-Anzeigemodus zu schalten, aber es kann verwendet werden, um HDR-Bilder als potenziell durch Artefakte beeinträchtigt zu kennzeichnen, und dies kann in anderen Anwendungen nützlich sein, wie etwa fortgeschrittenen Fahrerfahrsystemen (FAS) und/oder Maschinenvisionsdetektionsalgorithmen, die auf die Qualität von HDR-Bildern angewiesen sein können.
Bei alternativen Ausführungsformen können Artefakte, wie etwa die in 3B veranschaulichte Bänderung, aus HDR-Bildern unter Verwendung einer Fourier-Kerbfilterung entfernt werden, ohne die Qualität des Bildes zu beeinträchtigen. Dies beinhaltet Durchführen einer Fourier-Transformation des HDR-Bildes, Identifizieren und Entfernen einer Bänderungssignatur im Frequenzbereich unter Verwendung einer Fourier-Kerbfilterung und Durchführen einer inversen Fourier-Transformation, um ein HDR-Bild ohne Bänderung zu erzeugen. Obwohl diese Lösung rechnerisch aufwendig ist, ermöglicht sie das Entfernen des Artefaktes, ohne die Qualität des Anzeigebildes zu opfern.
Jetzt unter Bezugnahme auf 5, ist, wie oben erwähnt, ein Verfahren zum Durchführen des Schritts 406 ausführlicher dargestellt.
Bei Schritt 510 erhält der Prozessor das HDR-Bild 220 vom Speicher 270 des Systems 200 und bei Schritt 520 erzeugt er eine Graustufenversion des Bildes. Falls das HDR-Bild eine Intensitätsebene umfasst, könnte diese direkt verwendet werden, aber bei alternativen Implementierungen könnte diese durch das Kombinieren von chromatischen Bildebeneninformationen bereitgestellt werden.
Bei Schritt 530 führt der Prozessor 240 eine gestapelte schnelle Fourier-Transformation (FFT) für jede der Spalten der Graustufenversion des Bildes durch, um die Spektralenergieverteilung des Bildes zu erzeugen. Die gestapelte FFT beinhaltet Entfernen der Komponente bei Frequenz Null (DC-Offset) und Addieren von jeder der FFTs, um ein Leistungsspektrum über die Spalten des Bildes zu erhalten. Falls eine modulierte Lichtquelle die Szene beleuchtet, kann sich dies als ein Satz von horizontalen Bändern im HDR-Bild 220 manifestieren. Die gestapelte FFT-Analyse verstärkt ihre spektrale Signatur relativ zu den spektralen Beiträgen anderer Szenenobjekte, die sich typischerweise über Spalten hinweg in ihrer Art (d. h. Amplitude und/oder Phase) ändern. Dementsprechend besitzt das Erscheinungsbild unterschiedlicher Szenenobjekte über Spalten hinweg eine statistische Abschwächung in seinem Beitrag zu den gestapelten Spektralwerten, was zu einem schwächeren Beitrag zu den erzeugten Leistungsspektren führt. Da die aus einer modulierten Lichtquelle resultierende Bänderung typischerweise vollwellengleichgerichtet ist, d. h. die Form des absoluten Wertes eines kosinusbasierten Signals aufweist, wird ihr spektraler Beitrag nicht nur durch das Stapeln verstärkt, sondern ist ausgeprägter, wenn die Fourier-Leistungsspektren der Szene angeschaut werden.
Bei Schritt 540 führt der Prozessor eine Korrelationsanalyse zwischen den Leistungsspektren des HDR-Bildes 220 und den Leistungsspektren einer oder mehrerer bekannter modulierter Lichtquellen, die in der Datenbank 260 gespeichert sind, durch. Falls der bestimmte Korrelationswert über einer Schwelle liegt, dann gibt es eine wahrscheinliche Übereinstimmung mit der modulierten Lichtquelle, und gibt es daher eine Wahrscheinlichkeit, dass die Szene durch eine modulierte Lichtquelle beleuchtet wird und dass sich dies im HDR-Bild manifestiert. Gleichermaßen könnten die Leistungsspektren des HDR-Bildes für ein Sweep von Spektren erzeugt werden und eine Korrelationsanalyse kann über einen Bereich von Frequenzen durchgeführt werden. Dies resultiert vorteilhafterweise in weniger Verarbeitungsaufwand.
Jetzt unter Bezugnahme auf 6 ist ein Bild eines Bänderung-Overlay 610 einer bekannten modulierten Lichtquelle und eine Einzelbelichtung 620 und HDR-Bilder 630 einer typischen Nachtfahrtszene unter Natriumdampflampen dargestellt. Diese Bilder sind in den Frames 612, 622 und 632 jeweils im Frequenzbereich präsentiert. Das Bänderung-Overlay 610 wird unter Verwendung des Mehrfachbelichtungsmodus auf einem weißen/grauen Hintergrund aufgenommen und beinhaltet einen Satz von sichtbaren horizontalen Bändern. Die Leistungsspektren des Bänderung-Overlay sind bei 612 dargestellt. Die Frequenzspektren des Bänderung-Overlay beinhalten ausgeprägte Spitzen, die Frequenzkomponenten der Spektren entsprechen, diese Spitzen sind die Frequenzsignatur der bekannten modulierten Lichtquelle.
Es wird angemerkt, dass das Erscheinungsbild eines regelmäßigen Satzes von horizontalen Bändern mit der Schwebungsfrequenz der modulierten Lichtquellen in Beziehung steht. Falls dementsprechend eine modulierte Lichtquelle eine schnellere/langsamere Schwebung als eine andere modulierte Lichtquelle desselben oder eines anderen Typs aufweist, wird erwartet, dass das Bänderung-Overlay verschieden ist. Die Frequenzsignatur der Lichtquelle würde somit anders sein.
Als Ergebnis des Zusammenführens von Komponentenbildern beinhaltet das HDR-Bild 630 eine Bänderung, während das jeweilige Einzelbelichtungsbild der Szene 620 keine Bänderung beinhaltet. Die Leistungsspektren 622 des Einzelbelichtungsbildes sind über den Frequenzbereich ausgedehnt und beinhalten keine Spitzen, die die Frequenzsignatur einer modulierten Lichtquelle repräsentieren. Im Gegensatz dazu liefert die Bänderung einen deutlichen Beitrag zu den Leistungsspektren des HDR-Bildes 630.
Der Leistungsspektren-Korrelationswert zwischen dem Bänderung-Overlay 610 der bekannten modulierten Lichtquelle und dem HDR-Bild 630 der Szene ist hoch, bei 0,6000572, wohingegen die Korrelation zwischen dem Bänderung-Overlay 610 und dem Einzelbelichtungsbild der Szene 620 niedrig und nahe null ist, bei -0,01730139. In diesem Beispiel wird bestimmt, dass es wahrscheinlich eine Übereinstimmung mit der modulierten Lichtquelle gibt und es daher eine Wahrscheinlichkeit gibt, dass eine Bänderung infolge der Beleuchtungsquelle im HDR-Bild 630 auftritt.
7 veranschaulicht ein anderes Beispiel, das ein Bild eines Bänderung-Overlay 710 einer bekannten modulierten Lichtquelle und Bilder eines anderen typischen Nachtfahrtszenarios 720, 730 beinhaltet. Das Nachtfahrtszenario beinhaltet Fahrzeugscheinwerfer, die eine Bänderung im HDR-Bild 730 induzieren.
Der Leistungsspektren-Korrelationswert zwischen dem Bänderung-Overlay 710 und dem HDR-Bild 730 der Szene ist hoch, bei 0,659236, wohingegen die Korrelation zwischen dem Bänderung-Overlay 710 und dem Einzelbelichtungsbild der Szene 720 nahe null ist, bei -0,017341. In diesem anderen Beispiel wird außerdem bestimmt, dass es eine wahrscheinliche Übereinstimmung mit der modulierten Lichtquelle gibt. Wiederum gibt es eine Wahrscheinlichkeit, dass eine Bänderung infolge der Beleuchtungsquelle im HDR-Bild 730 auftritt.
8 stellt ein Bänderung-Overlay 810 einer bekannten modulierten Lichtquelle und Bilder 820, 830 einer Szene dar, die ein elektrisches Garagenrolltor beinhaltet. In diesem Fall sind keine Lichtquellen im Bild repräsentiert, da die Szene durch eine LED-Beleuchtung von Ego-Fahrzeugscheinwerfern beleuchtet wird, die eine Bänderung im HDR-Bild 730 verursachen.
In diesem Beispiel wird der Leistungsspektrum-Korrelationswert zwischen dem Bänderung-Overlay 810 und dem HDR-Bild 830 der Szene bei 0,506129 registriert. Es ist anzumerken, dass dieser Wert geringer als der Korrelationswert ist, der in den vorherigen Beispielen erhalten wird. Dies ist darauf zurückzuführen, dass die Szene eine regelmäßige, sich wiederholende Struktur beinhaltet, die das Bild dominiert. Die Korrelation zwischen dem Bänderung-Overlay 810 und dem Einzelbelichtungsbild der Szene 830 ist jedoch weiterhin nahezu null, bei -0,05018271.
Bei Variationen der oben beschriebenen Implementierung könnte, anstatt eine Korrelation zwischen den HDR-Bildspektren 632, 732, 832 und den Spektren 612, 712, 812 für verschiedene bekannte Lichtquellen durchzuführen, ein einfacher Schwellentest eingesetzt werden, und falls die Amplitude eines gegebenen Satzes von Frequenzen in den HDR-Bildspektren über einer gegebenen Schwelle liegt, kann dies als eine unerwünschte Bänderung angebend angenommen werden, die durch eine modulierte Lichtquelle im HDR-Bild verursacht wird.
Bei weiteren Variationen kann das Verfahren modifiziert werden, um Ergebnisse zu kombinieren, die aus einer Sequenz von Komponenten- und HDR-Bildern erhalten werden. Falls die Ergebnisse aus den Schritten 405, 406 somit zum Beispiel konsistent hoch bleiben, obwohl sich das Ego-Fahrzeug bewegt, kann dies ein starker Hinweis darauf sein, dass Straßenlampen oder Lichter anderer Fahrzeuge, die nicht immer direkt in den Bildern auftreten, Artefakte in den HDR-Bildern verursachen könnten.
Noch weitere Variationen der oben beschriebenen Ausführungsformen sind möglich. Zum Beispiel können andere Techniken ähnlich zu jenen, die in der PCT-Anmeldung WO2011/000392 offenbart sind, auch im Schritt 404 verwendet werden, um zu bestimmen, ob Lichtquellen in einer abgebildeten Szene vorhanden sind. Andere Implementierungen können auch versuchen, die Art von Artefakten, die durch eine Beleuchtung durch modulierte Lichtquellen im HDR-Bild 220 verursacht werden, direkt zu identifizieren, obwohl zu verstehen ist, dass die Ergebnisse einer derartigen Analyse möglicherweise nicht so zuverlässig wie die Tests der Schritte 404-406 beitragen, und somit eine geringere Gewichtung im Schritt 408 als die anderen Beiträge einbringen können.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

CN 206568652 U [0029]
WO 2019/068699 [0041]
US 2009/0297036 [0041]
WO 2011/000392 [0073]

Claims

Bildverarbeitungsverfahren, das in einem Bildverarbeitungssystem (230) betreibbar ist, das eine Bildaufnahmeeinrichtung (230) und einen Prozessor (240) umfasst, wobei das Verfahren umfasst, dass der Prozessor: von der Bildaufnahmeeinrichtung (230) aufeinanderfolgende Sätze von Komponentenbildern (221) einer Szene erfasst, wobei jedes Bild in einem Satz eine andere Belichtung als jedes andere Komponentenbild des Satzes aufweist; ein Bild mit hohem Dynamikbereich bzw. HDR-Bild (220) aus einem assoziierten Satz von Komponentenbildern (221) erzeugt; eine Spektralanalyse des erzeugten HDR-Bildes (220) durchführt, um zu bestimmen, ob das HDR-Bild (220) Spektralkomponenten umfasst, die eine Beleuchtung der Szene durch eine modulierte Lichtquelle angeben; Metadaten, die mit einem Satz von Komponentenbildern (221) assoziiert sind, analysiert, um eine Differenz zwischen Metadaten für ein Komponentenbild des Satzes und Metadaten für mindestens ein anderes Komponentenbild des Satzes zu bestimmen, wobei eine jegliche Differenz ein Artefakt angibt, das durch die Beleuchtung der Szene durch eine modulierte Lichtquelle verursacht wird; ein Ergebnis der Spektralanalyse und der Metadatenanalyse kombiniert, um eine Indikation bereitzustellen, dass eine Beleuchtung der Szene durch eine modulierte Lichtquelle ein sichtbares Artefakt in mindestens einem der HDR-Bilder verursacht; und als Reaktion auf eine derartige Indikation, einen HDR-Betriebsmodus des Bildverarbeitungssystems (200) ändert.
Bildverarbeitungsverfahren, das in einem Bildverarbeitungssystem (230) betreibbar ist, das eine Bildaufnahmeeinrichtung (230) und einen Prozessor (240) umfasst, wobei das Verfahren umfasst, dass der Prozessor: von der Bildaufnahmeeinrichtung (230) aufeinanderfolgende Sätze von Komponentenbildern (221) einer Szene erfasst, wobei jedes Bild in einem Satz eine andere Belichtung als jedes andere Komponentenbild des Satzes aufweist; ein Bild mit hohem Dynamikbereich bzw. HDR-Bild (220) aus einem assoziierten Satz von Komponentenbildern (221) erzeugt; eine räumliche Analyse eines oder mehrerer der Komponentenbilder eines Satzes oder des erzeugten HDR-Bildes (220) durchführt, um zu bestimmen, ob eine modulierte Lichtquelle in der abgebildeten Szene vorhanden ist; Metadaten, die mit einem Satz von Komponentenbildern (221) assoziiert sind, analysiert, um eine Differenz zwischen Metadaten für ein Komponentenbild des Satzes und Metadaten für mindestens ein anderes Komponentenbild des Satzes zu bestimmen, wobei eine jegliche Differenz ein Artefakt angibt, das durch die Beleuchtung der Szene durch eine modulierte Lichtquelle verursacht wird; ein Ergebnis der räumlichen Analyse und der Metadatenanalyse kombiniert, um eine Indikation bereitzustellen, dass die Beleuchtung der Szene durch eine modulierte Lichtquelle ein sichtbares Artefakt in mindestens einem der HDR-Bilder verursacht; und als Reaktion auf eine derartige Indikation, einen HDR-Betriebsmodus des Bildverarbeitungssystems (200) ändert.
Verfahren nach Anspruch 2, ferner umfassend: Durchführen einer Spektralanalyse des erzeugten HDR-Bildes (220), um zu bestimmen, ob das HDR-Bild (220) Spektralkomponenten umfasst, die eine Beleuchtung der Szene durch eine modulierte Lichtquelle angeben; und Kombinieren der Ergebnisse der räumlichen Analyse, der Metadatenanalyse und der Spektralanalyse, um die Indikation bereitzustellen, dass die Beleuchtung der Szene durch eine modulierte Lichtquelle ein sichtbares Artefakt in mindestens einem der HDR-Bilder verursacht.
Verfahren nach Anspruch 1, 2 oder 3, wobei die Metadatenanalyse auf einem oder mehreren der Folgenden basiert: Weißabgleichinformationen und/oder Farbtemperatur des Satzes von Komponentenbildern.
Verfahren nach Anspruch 1, 2 oder 3, wobei die Metadatenanalyse an einem Satz von Komponentenbildern durchgeführt wird, die mit dem HDR-Bild assoziiert sind.
Verfahren nach Anspruch 1, 2 oder 3, wobei das Ändern des Betriebsmodus des Bildverarbeitungssystems (200) ein Schalten vom Bereitstellen des HDR-Bildes zu einer Anzeige (250) zum Bereitstellen eines Einzelbelichtungsbildes der Szene zu der Anzeige (250) umfasst.
Verfahren nach Anspruch 6, wobei das Einzelbelichtungsbild ein Komponentenbild von anschließend erfassten Sätzen von Komponentenbildern umfasst.
Verfahren nach Anspruch 1, 2 oder 3, wobei das Ändern des Betriebsmodus des Bildverarbeitungssystems (200) ein Ändern von Bilderfassungsparametern von anschließend erfassten Sätzen von Komponentenbildern umfasst.
Verfahren nach Anspruch 8, wobei das Ändern der Bilderfassungsparameter ein Reduzieren der Differenz der Beleuchtung zwischen Komponentenbildern von anschließend erfassten Sätzen von Komponentenbildern umfasst.
Verfahren nach Anspruch 1, 2 oder 3, wobei das Ändern des Betriebsmodus des Bildverarbeitungssystems (200) ein Schalten zu einem Einzelbilderfassungsmodus für einen gegebenen Zeitraum umfasst.
Verfahren nach Anspruch 1 oder 3, wobei das Durchführen einer Spektralanalyse des HDR-Bildes (220) Folgendes umfasst: Durchführen (530) einer gestapelten schnellen Fourier-Transformation bzw. FFT einer Graustufenversion des HDR-Bildes, um eine Spektralenergieverteilung des zusammengesetzten Bildes zu erhalten; Vergleichen (540) der Spektralenergieverteilung mit jeweiligen Leistungsspektren einer oder mehrerer bekannter modulierter Lichtquellen, um zu bestimmen, ob das HDR-Bild (220) Spektralkomponenten umfasst, die Artefakte in dem HDR-Bild angeben, die durch die Beleuchtung der Szene durch eine modulierte Lichtquelle verursacht werden.
Verfahren nach Anspruch 2, umfassend Durchführen der räumlichen Analyse mit entweder einem Klassifizierer oder einem künstlichen Neuronalnetzwerk oder einer regelbasierten Engine.
Computerprogrammprodukt, das computerlesbare Anweisungen umfasst, die auf einem computerlesbaren Medium gespeichert sind und bei Ausführung auf einem Prozessor dazu eingerichtet sind, das Verfahren nach einem der vorangegangenen Ansprüche auszuführen.
Bildverarbeitungssystem (200), das eine Bildaufnahmeeinrichtung (230) und einen Prozessor (240) umfasst, wobei der Prozessor dazu ausgelegt ist, die Schritte nach einem der Ansprüche 1 bis 12 durchzuführen.
Fahrzeug, das das Bildverarbeitungssystem nach Anspruch 14 und eine Anzeige (250) zum Anzeigen von durch das Bildverarbeitungssystem bereitgestellten Bildern beinhaltet.