-
Die Erfindung betrifft ein Verfahren zur Umwandlung eines Rohbilds in ein Farbbild gemäß dem Oberbegriff des Anspruchs 1.
-
Aus dem Stand der Technik sind Verfahren zur Umwandlung eines Graustufenbilds in ein Farbbild bekannt. Dabei wird jedem Bildpunkt des erfassten Graustufenbilds eine Farbe zugeordnet. Hierfür wird ein Programm in Form eines künstlichen neuronalen Netzwerks mit einer großen Datenmenge von Referenzbildern eingestellt. Mittels dieser Einstellung ist das Programm in der Lage, Merkmalsdeskriptoren eines jeden Bildpunkts eines Bilds zu extrahieren, um Chrominanzwerte jedes korrespondierenden Bildpunkts zu ermitteln und anschließend den entsprechenden Chrominanzwert einer Leuchtdichte, d. h. einer Helligkeit eines Graustufen-Bildpunktwerts, zuzuordnen. Dadurch werden Farbwerte jedes korrespondierenden Bildpunkts ermittelt.
-
Ein Verfahren zur Umwandlung eines Graustufenbilds in ein Farbbild beschreibt „Zezhou Cheng, Qingxiong Yang, Bin Sheng: Deep Colorization; In: 2015 IEEE International Conference on Computer Vision“. Hierbei erfolgt die Umwandlung vollautomatisch unter Verwendung eines so genannten Perfect-Patch-Matching-Ansatzes und einer großen Referenzdatenbank, welche eine ausreichende Anzahl an Farbbildern enthält. Um ein Rauschen aus den erzeugten Farbbildern zu entfernen, wird ein so genanntes Deep-Learning-Verfahren verwendet. Um eine Artefaktfreiheit zu realisieren, wird ein gemeinsamer bilateraler und filterbasierter Nachbearbeitungsschritt angewendet.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Umwandlung eines Rohbilds in ein Farbbild anzugeben.
-
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In dem Verfahren zur Umgebungserfassung mit zumindest einer Fahrzeugkamera werden aus mittels der Fahrzeugkamera erfassten Rohbildern unter Verwendung eines modellbasierten Deep-Learning-Kolorisierungsverfahrens Farbbilder rekonstruiert.
-
Erfindungsgemäß wird bei der Rekonstruktion das modellbasierte Deep-Learning-Kolorisierungsverfahren mit einem dünnbesetzten Farbfilter, beispielsweise einem Farbfilter-Array (auch als Color Filter Array, kurz CFA, bezeichnet) kombiniert.
-
Hierdurch wird erreicht, dass auch in Situationen mit geringem Umgebungslicht Rot-Grün-Blau-Farbbilder vollständig aus Rohbildern rekonstruiert werden können.
-
Unter einem Rohbild wird dabei vorliegend ein mittels der Fahrzeugkamera erfasstes Bild in einem Zustand vor der Filterung, beispielsweise einem so genannten Debayering, d. h. einer Bearbeitung mit einem als Bayer-Filter ausgebildeten Farbfilter, verstanden. Das Rohbild spiegelt Helligkeiten wieder, welche unter dem Farbfilter-Array übertragen werden und somit pro Bildpunkt bzw. Pixel nur einen Helligkeitswert aufweist. Das Farbfilter-Array ist beispielsweise eine so genannte Bayer-Matrix mit einer Farbfolge „Rot - Grün - Grün - Blau“, kann jedoch auch andere Muster, beispielsweise mit einer Farbfolge „Rot - Klar-Klar - Blau“ oder „Rot - Klar - Klar - Klar“, aufweisen, was für vorwärts gerichtete, nicht anzeigenden Fahrzeugkameras verwendet wird.
-
Das Ergebnis der Filterung, beispielsweise dem Debayering, ist eine Abbildung, welche ein aus dem Rohbild unter Verwendung des Farbfilters und Bildsensor- und Filtereigenschaften durch örtliche Interpolation und/oder Filterung erzeugte Farbabbildung oder Grauwertabbildung darstellt.
-
Im Gegensatz zu aus dem Stand der Technik bekannten Verfahren, welche insbesondere bei Fahrerassistenzkameras angewendet werden und bei welchen das Debayering rein durch örtliche Filterung durchgeführt wird, wird mittels des erfindungsgemäßen Verfahrens aufgrund der Kombination des dünnbesetzten Farbfilters mit dem modellbasierten Deep-Learning-Kolorisierungsverfahren eine Farbbilderzeugung realisiert, bei welcher modellbasiert plausible Farbwerte vorgeschlagen werden.
-
Als Deep-Learning-Kolorisierungsverfahren wird beispielsweise ein aus „Zezhou Cheng, Qingxiong Yang, Bin Sheng: Deep Colorization; In: 2015 IEEE International Conference on Computer Vision“ oder aus „Richard Zhang, Phillip Isola, Alexei A Efros: Colorful Image Colorization; On: http://richzhang.github.io/colorization/“ bekanntes Verfahren verwendet.
-
Das mittels des modellbasierten Deep-Learning-Kolorisierungsverfahrens durchgeführte modellbasierte Vorschlagen der plausiblen Farbwerte wird mit der mittels des dünnbesetzten Farbfilters durchgeführten Filterung, d. h. insbesondere dem Debayering, derart fusioniert bzw. plausibilisiert, dass in der mittels des dünnbesetzten Farbfilters aus dem Rohbild erzeugten Farbabbildung oder Grauwertabbildung an dort vorhandenen, insbesondere möglichst wenigen, Stellen plausible Farbwerte modellbasiert vorgeschlagen werden. Hierdurch wird sichergestellt, dass die erzeugten Farbbilder nicht nur plausibel sind, sondern in möglichst hohem Maße der Realität entsprechen.
-
Zukünftige Anforderungen an Fahrzeuge, beispielsweise Anforderungen des so genannten Euro NCAP, können für kamerabasierte Anwendungen nur mit einer besonders hohen Lichtsensitivität, einer so genannten Low-Light-Sensitivität, erfüllt werden. Beispiele hierfür sind eine automatische Bremsung aufgrund von Personen bei Nacht unter Verwendung von Bildern einer so genannten Multi-Purpose-Kamera und eine automatische Notbremsung unter Verwendung von Bildern einer Rückfahrkamera (= Rear View Camera) bei Nacht.
-
Mittels des Verfahrens ist eine Low-Light-Performance von Fahrzeugkameras signifikant erhöht und gleichzeitig wird ein vollwertiges und plausibles Farbbild zur Darstellung und weiteren Verarbeitung, d. h. eine hohe Farbtreue, erzeugt.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
-
Dabei zeigt:
- 1 schematisch ein Blockschaltbild einer Vorrichtung zur Umgebungserfassung mit einer Fahrzeugkamera.
-
In der einzigen 1 ist ein Blockschaltbild eines möglichen Ausführungsbeispiels einer Vorrichtung 1 zur Umgebungserfassung mit zumindest einer Fahrzeugkamera 2 dargestellt.
-
Bei der Fahrzeugkamera 2 handelt es sich beispielsweise um eine so genannte Multi-Purpose-Kamera oder eine Kamera zur Erfassung eines rückwärtigen Bereichs, beispielsweise eine Rückfahrkamera.
-
Insbesondere bei geringem Umgebungslicht, beispielsweise bei Nacht, ist eine Erfassung von Rot-Grün-Blau-Farbbildern, im Folgenden als Farbbilder FB bezeichnet, mittels der Fahrzeugkamera 2 nicht möglich. Hierbei kann im Allgemeinen unter zwei Extremen unterschieden werden: Einerseits eine Erfassung eines Farbbilds FB bei geringer Low-Light-Performance und andererseits eine verbesserte Low-Light-Performance, jedoch kein Farbbild FB.
-
Um dennoch bei geringem Umgebungslicht eine Fahrzeugkamera 2 mit hoher Low-Light-Performance bei gleichzeitiger Möglichkeit der Erzeugung eines Farbbilds FB mit hoher Farbtreue zu realisieren, ist vorgesehen, dass aus mittels der Fahrzeugkamera 2 bei geringer Umgebungshelligkeit erfassten Rohbildern GB zunächst mittels eines dünnbesetzten Farbfilters F unter Verwendung von Bildsensor- und Filtereigenschaften durch örtliche Interpolation und/oder Filterung eine farbige Abbildung erzeugt wird. Zur Verbesserung einer Qualität des zu erzeugenden Farbbilds FB wird diese Filterung mit modellbasierten Deep-Learning-Kolorisierungsverfahren V kombiniert, insbesondere fusioniert und/oder plausibilisiert.
-
Als dünnbesetzter Farbfilter F wird dabei insbesondere ein dünnbesetztes Farbfilter-Array, auch als sparse Color Filter Array (kurz: sparse CFA), wie beispielsweise ein so genannter Bayer-Filter oder Bayer-Sensor, verwendet. Dabei ist ein Fotosensor mit einem schachbrettförmigen Farbfilter überzogen.
-
Lichtempfindliche Zellen einer einzelnen Fotozelle auf einem Halbleiter des Fotosensors können nur Helligkeitswerte erfassen. Um Farbinformationen zu erhalten, ist vor jeder einzelnen Fotozelle ein Farbfilter in einer der Farben Rot, Grün oder Blau angeordnet. Die Farbfilter sind beispielsweise in ungeraden Zeilen des Arrays in einer Farbfolge Grün-Rot und in geraden Zeilen in einer Farbfolge Blau-Grün aufgebracht. Jeder Farbpunkt, d. h. jeder Pixel oder Bildpunkt, liefert entsprechend nur Informationen für eine einzige Farbkomponente an dieser Stelle, so dass für ein vollständiges Farbbild FB mit denselben Abmessungen die jeweils benachbarten Bildpunkte derselben Farbe zur Farbinterpolation herangezogen werden.
-
Unter einem Rohbild GB wird dabei vorliegend ein mittels der Fahrzeugkamera 2 erfasstes Bild in einem Zustand vor der Filterung, beispielsweise einem so genannten Debayering, d. h. einer Bearbeitung mit einem als Bayer-Filter ausgebildeten Farbfilter F, verstanden. Das Rohbild GB spiegelt Helligkeiten wieder, welche unter dem Farbfilter-Array übertragen werden und somit pro Bildpunkt bzw. Pixel nur einen Helligkeitswert aufweist. Das Farbfilter-Array ist beispielsweise eine so genannte Bayer-Matrix mit einer Farbfolge „Rot - Grün - Grün - Blau“, kann jedoch auch andere Muster, beispielsweise mit einer Farbfolge „Rot - Klar - Klar - Blau“ oder „Rot - Klar - Klar - Klar“, aufweisen.
-
Eine Dichte und Anordnung der einzelnen Farb-Elemente des dünnbesetzten Farbfilters F (= sparse Color Filter Array) ist dabei flexibel änderbar und kann so kontinuierlich zwischen besonders hoher Lowlight-Performance (sehr dünnbesetzter Farbfilter F) und hoher Validierungssicherheit variieren und an die Entwicklungsziele adaptiert werden. In einer möglichen Ausführung kann auch das bestehende volle Color Filter Array, wie beispielsweise ein Farbfilter F mit einer Bayer-Matrix mit einer Farbfolge „Rot - Grün - Grün - Blau“, „Rot - Klar - Klar - Blau“ oder „Rot - Klar - Klar - Klar“, verwendet werden.
-
Das Ergebnis der Filterung, beispielsweise dem Debayering, ist eine Abbildung A, welche ein aus dem Rohbild GB unter Verwendung des Farbfilters F und Bildsensor- und Filtereigenschaften durch örtliche Interpolation und/oder Filterung erzeugte Farbabbildung oder Grauwertabbildung darstellt.
-
Das heißt, es wird bei geringem Umgebungslicht aus dem mittels der Fahrzeugkamera 2 erfassten Rohbild GB mittels des dünnbesetzten Farbfilters F, ein Rohbild GB erzeugt. Dabei weist die Fahrzeugkamera 2 eine hohe Low-Light-Performance auf.
-
Um aus diesem Rohbild GB ein vollständiges Farbbild FB zu rekonstruieren, wird das Rohbild GB an eine Datenverarbeitungseinheit 3 übermittelt, welche aus diesem unter Verwendung des dünnbesetzten Farbfilters F das Debayering durchführt und so die Abbildung A erzeugt.
-
Anschließend wird die mittels des dünnbesetzten Farbfilters F erzeugte Abbildung A dem modellbasierten Deep-Learning-Kolorisierungsverfahrens V zugeführt, wobei mittels des Deep-Learning-Kolorisierungsverfahrens V in der Abbildung A an dort vorhandenen, insbesondere möglichst wenigen, Stellen plausible Farbwerte modellbasiert vorgeschlagen werden. Das Ergebnis dieser Fusion und/oder Plausibilisierung ist das Farbbild FB, wobei durch die Fusion und/oder Plausibilisierung sichergestellt wird, dass die erzeugten Farbbilder FB nicht nur plausibel sind, sondern in möglichst hohem Maße der Realität entsprechen. Als Deep-Learning-Kolorisierungsverfahren V wird beispielsweise ein aus „Zezhou Cheng, Qingxiong Yang, Bin Sheng: Deep Colorization; In: 2015 IEEE International Conference on Computer Vision“ oder aus „Richard Zhang, Phillip Isola, Alexei A Efros: Colorful Image Colorization; On: http://richzhang.github.io/colorization/“ bekanntes Verfahren verwendet.
-
Eine Verwendung des modellbasierten Deep-Learning-Kolorisierungsverfahrens V kann dabei beispielsweise direkt auf der als Farbabbildung ausgebildeten Abbildung A oder durch vorheriges Grauwert-Debayering des Rohbildes GB erfolgen.
-
Bezugszeichenliste
-
- 1
- Vorrichtung
- 2
- Fahrzeugkamera
- 3
- Datenverarbeitungseinheit
- A
- Abbildung
- F
- Farbfilter
- FB
- Farbbild
- GB
- Rohbild
- V
- Deep-Learning-Kolorisierungsverfahren
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Zezhou Cheng, Qingxiong Yang, Bin Sheng: Deep Colorization; In: 2015 IEEE International Conference on Computer Vision [0013]
- Richard Zhang, Phillip Isola, Alexei A Efros: Colorful Image Colorization; On: http://richzhang.github.io/colorization [0013]
